模型调优需围绕数据流、任务目标和部署约束系统性收敛，聚焦脚本动作拆解、真实日志负样本构造、端到端成功率统计及轻量化结构选型。
自动化脚本项目中模型调优不是“调参比赛”，而是围绕数据流、任务目标和部署约束做系统性收敛——核心在于让模型在真实脚本执行环境中稳定输出可解释、可复现、低延迟的决策。
聚焦脚本任务场景定义评估指标
脱离脚本行为逻辑的AUC或F1没有意义。例如：一个自动填写表单的脚本，关键指标是“字段识别准确率+填入超时率（>2s记为失败）+异常跳转拦截成功率”，而非整体分类准确率。
- 把脚本每一步动作（点击、输入、等待、校验）拆解为可量化的子任务，对应设计指标
- 用真实回放日志构造负样本：如页面加载缓慢时ocr误识、弹窗未捕获导致后续操作偏移等
- 避免使用离线测试集单独评估；必须在模拟运行管道中嵌入评估器，统计连续10轮脚本端到端成功率
轻量化结构优先于复杂模型堆叠
脚本环境对推理延迟敏感，且多数任务本质是模式匹配（如按钮定位、状态判断）。ResNet50+bert这类组合常造成过重、过慢、难调试。
- 视觉任务优先用MobileNetV3 + 小尺寸YOLOv5s（输入640×480，检测框回归+置信度双输出）
- 文本交互类（如解析提示语、提取验证码语义）用DistilBERT微调，max_length限制在64，蒸馏后模型
- 所有模型导出为ONNX格式，用ONNX Runtime启用TensorRT或OpenVINO加速，实测推理耗时压至80ms内
构建闭环反馈的数据增强机制
脚本运行天然产生大量带时序标签的行为日志。不利用它，调优就成“盲调”。
- 自动截取失败帧+前后3帧组成片段，打上“定位失败/OCR错别/等待超时”细粒度标签
- 用Diffusion模型生成对抗性UI变体（如按钮颜色渐变、字体模糊、遮挡20%区域），注入训练集提升鲁棒性
- 每轮训练后，用最新模型跑全量历史脚本案例，将新暴露的失败case自动加入下一轮训练集（增量式飞轮）
参数搜索绑定执行上下文约束
学习率、NMS阈值、等待超时时间等不能孤立优化——它们共同决定脚本是否“敢动”“能稳”“不卡”。
- 用贝叶斯优化联合搜索：{confidence_thres, iou_thres, max_wait_sec, lr}，目标函数=0.7×成功率 + 0.2×平均耗时倒数 + 0.1×内存峰值倒数
- 在Docker沙箱中统一硬件环境（CPU型号、内存配额、网络延迟模拟）做搜索，排除环境抖动干扰
- 保留Pareto最优解集（如“高成功率低速度”和“中等成功率极速版”），按脚本用途（定时批处理 vs 实时响应）动态加载
基本上就这些。模型调优在自动化脚本里不是终点，而是让每一次点击、每一行输入，都更接近人工操作的确定性与容错力。