ASR系统核心是音频特征提取与模型映射：先将波形转log-Mel谱（预加重、分帧加窗、STFT、梅尔压缩、对数化），再依场景选模型（whisper/Wav2Vec微调或cnn-BiLSTM-CTC），并注重数据清洗、增强及CER评估。
语音转文字（ASR）系统的核心在于把原始音频信号转化为计算机能处理的数值特征，再用模型学习语音与文本的映射关系。特征提取不是“越细越好”，而是要保留发音辨识的关键信息、抑制噪声干扰；模型搭建也不是堆参数，而是在识别精度、推理速度和部署可行性之间找平衡。
特征提取：从波形到可建模的向量
原始音频是时间域的一维数组，直接喂给模型效果差且计算开销大。主流做法是先转为时频表示：
- 预加重：对高频小幅提升（如用 y[t] = x[t] − 0.97 × x[t−1]），补偿语音产生过程中声道对高频的衰减
- 分帧加窗：每25ms切一帧（常用16kHz采样率下取400点），加汉明窗减少帧边界突变
- 短时傅里叶变换（STFT）→ 梅尔频谱图：将频谱压缩到梅尔刻度（更贴合人耳感知），再取对数得 log-Mel Spectrogram（常用 n_mels=80）
- 可选进阶：叠加一阶/二阶差分（delta/delta-delta）增强动态特征；或用 MFCC（梅尔频率倒谱系数）替代，但近年端到端模型多直接用 log-Mel
python中可用 librosa 快速实现：librosa.feature.melspectrogram(y, sr=16000, n_mels=80, n_fft=400, hop_length=160)，再用 librosa.power_to_db() 转对数尺度。
模型选择：根据资源与场景定路线
没有“最好”的模型，只有“更适合”的选择：
立即学习“Python免费学习笔记（深入）”；
- 轻量级实时场景（如会议记录app）：用 Wav2Vec 2.0 Base 或 Whisper Tiny/Small 微调。它们已预训练，只需少量标注数据 + 冻结部分层 + 接上CTC或transformer解码头
- 高精度离线任务（如医疗转录）：微调 Whisper Medium/Large，配合 speaker diarization（说话人分离）模块；注意中文需替换词表并重训 Tokenizer
- 完全自研可控（如嵌入式设备）：用 CNN+BiLSTM+CTC 架构——CNN 提取局部时频特征，BiLSTM 建模长程依赖，CTC 解决对齐问题；输入是 (T, 80) 的 log-Mel，输出是字符/子词序列
关键细节：CTC 训练需用 blank token 占位；Transformer 类模型建议用 Hugging Face Transformers 库加载预训练权重，避免从零训练。
数据准备与训练要点
再好的模型也依赖干净、匹配的数据：
- 音频清洗：剔除静音过长、信噪比＜10dB、严重失真样本；用 noisereduce 或 WebRTC VAD 做语音活动检测（VAD）切分有效语音段
- 文本规整：统一标点（中文不加空格）、转全小写（英文）、过滤特殊符号；对专业领域（如法律、电力），构建领域词典辅助解码时热词插入
- 增强实用技巧：在训练时随机加混响（模拟房间声学）、加背景噪声（咖啡馆/街道）、变速（±10%），提升泛化性；但验证集必须保持干净，才能真实反映性能
评估务必用 **CER（字错误率）** 或 **WER（词错误率）**，而非准确率；中文推荐用 CER，因无天然词边界。
推理与部署简要路径
训练完模型只是开始，落地还需考虑实际约束：
- 推理加速：用 ONNX Runtime 替换 pytorch 直接推理，提速 2–5 倍；对 Whisper 类模型，启用 Flash Attention 和 kv-cache 可显著降低长音频延迟
- 流式支持：若需实时语音转写，优先选 rnn-T 或 Chunked Conformer 架构，它们原生支持增量解码；Whisper 默认非流式，但可通过滑动窗口模拟（牺牲少量精度）
- 轻量化部署：用 TorchScript 或 openvino 转模型；边缘设备可考虑 PaddleSpeech 或 WeNet 的 c++ SDK，启动快、内存占用低
基本上就这些。特征决定上限，模型决定效率，数据决定下限——三者环环相扣，不必追求一步到位，从 log-Mel + Whisper Tiny 微调跑通 pipeline 开始，再逐步迭代优化。