2026.09 – 至今

ms-swift / SFT / GRPO / OPD / DeepSpeed / vLLM

背景：基于支付宝真实数据，处理用户反馈场景：用户提交反馈并上传截图后，系统通过 UI 理解与推理判断用户遇到的状况，帮助用户排除问题，或将相关反馈交由开发团队处理。

• 后训练与对齐：基于定制版 ms-swift 搭建教师和学生 SFT、GRPO 后，学生继续 OPD 、Attention KD的训练链路。GRPO阶段每个问题采样 8 条回答计算组内相对优势；OPD阶段在自身采样的轨迹上接受冻结教师指导，通过输出分布的 reverse-KL 蒸馏和末层因果注意力的 JSD 蒸馏，将答案行为与关注上下文的位置一起对齐。
• 分布式训练与消融：参与 4B／32B 模型在 16×Nvidia A100 80G 环境下的多卡训练、实验复现与结果分析；采用 DeepSpeed ZeRO 分片和梯度检查点控制显存占用，在 GRPO 与 OPD 阶段均设置格式、答案正确性、超长惩罚奖励，权重为 1.0∶1.0∶0.5，并启用动态采样。负责分阶段消融，对比引入 SFT、GRPO、OPD，Attention KD后的效果，拆解各阶段对最终表现的贡献。
• 数据与效果评测：负责内部 UI 数据清洗、评测集整理和模型评测。采用VLM自动清洗标注管线标注数据超57万条，包含清洗和收集整理3大类任务，其中元素可用性类、信息架构类和设计一致性类分别23.2万、22.7万、11.6万条。利用多种benchmark进行评测，其中4B 学生模型在内部评测集上提升 33.4 个百分点；注意力蒸馏较仅使用输出蒸馏的方案进一步提升 2.7 个百分点；相较UI-TARS-7B模型，在UI-Vision和OSWorld-G基准上分别高出 9.1 个百分点和 11.0 个百分点。

南京大学推理与学习（R&L）联合实验室（万维艾斯）· 算法实习 2025.07 – 2025.09

• 参与某研究所 127 个机器学习算法集成平台建设，在 NVIDIA 环境复现传统机器学习算法，并在 Ascend 910 上适配、修改并重新训练 FairMOT 等视觉模型。
• 参与江苏路政道路异物识别系统数据链路开发，处理约 7 万张道路场景图片，完成视频关键帧抽取、YOLO 自动预标注与数据整理。