密集特征学习是通过深度网络自动提取高维连续向量表示，常用预训练模型（如ResNet、bert）直接提取；标注少时可用对比学习等自监督方法增强判别力；需L2归一化、PCA降维等后处理提升下游效果。
什么是密集特征学习
密集特征学习指的是从原始数据中自动提取出高维、连续、信息丰富的表示，而不是依赖人工设计的稀疏规则或离散统计量。在图像、文本、时序等任务中，它通常通过深度神经网络（如cnn、transformer、MLP）实现，输出的是每个样本对应的稠密向量（例如 128 维、512 维浮点数组），能更好捕捉语义、结构和上下文关系。
用预训练模型快速提取密集特征
不从头训练，直接复用成熟模型的中间层输出是最高效的方式。比如：
- 图像：用
torchvision.models.resnet50(pretrained=True)，去掉最后分类层，取avgpool或某一层的特征图展平成向量 - 文本：用
transformers.AutoModel.from_pretrained("bert-base-chinese")，取last_hidden_state[:, 0, :]（[CLS] 向量）作为句向量 - 音频/时序：可用 Wav2Vec2、TS-TCC 等模型提取帧级或序列级嵌入
注意冻结主干参数（model.eval() + torch.no_grad()）可大幅提速且避免干扰原模型分布。
自监督学习提升特征判别力
当标注数据少时，密集特征容易过拟合或泛化差。可引入自监督策略增强表达能力：
立即学习“Python免费学习笔记（深入）”；
- 对比学习（如 SimCLR、MoCo）：对同一样本做不同增强，拉近其特征距离，推远其他样本
- 掩码重建（如 MAE、BERT）：随机遮盖输入的一部分，让模型重建原始内容，迫使网络学习深层结构
- 预测未来片段（时序场景）：给定前 N 步，预测后 M 步的特征变化趋势
这些方法不要求标签，只靠数据自身结构就能训练出更鲁棒的特征编码器。
特征后处理与降维实用技巧
原始深度特征维度高、含冗余、分布偏斜，直接用于下游任务可能效果不佳：
- 做 L2 归一化：
F.normalize(feature, p=2, dim=1)，让相似样本在余弦空间更易聚类 - 用 PCA 或 UMAP 降到 32~128 维，兼顾保留信息与计算效率（尤其适合检索、可视化）
- 对 batch 内特征做 LayerNorm 或 BatchNorm，缓解 domain shift，提升小样本适应性
别跳过这步——未经归一化的 ResNet 特征在 KNN 检索中准确率可能下降 15% 以上。
基本上就这些。密集特征不是越深越好，关键是匹配任务目标、控制信息粒度、做好分布对齐。练得多，自然就清楚哪一层的输出最“带感”。