小爱智能助手介绍
小爱智能助手采用语义标签结构，包括领域（Domain）、意图（Intent）和命名实体（Named Entity），例如在音乐领域通过歌手查询歌曲。其语义理解流程涵盖查询意图预判、垂域意图解析、意图分类和结果排序等环节，并依赖离线算法指标进行评估。
AI算法评估遇到的数据问题
NLP应用开发中常见问题包括：上线前评测数据量级选择、持续获取高质量训练/评测集的难度，以及离线指标与线上表现的不一致性。具体表现为同一时间段多次评测模型时指标波动，如多轮对话准确率提升但用户重说率未显著降低，或搜索推荐算法评测指标良好但线上首条完听率未提升。
线下线上评价结果不一致的解决方案
表现不一致的原因包括：训练和评测使用历史数据、评测环境难以评估多系统交互影响、线上线下评价体系差异（如算法团队关注AUC/F1值，业务团队关注收听时长和用户感知），以及滥用标签导致偏离用户认知（如“安静”被标注为静音）。解决方案包括：深入了解用户以新视角看待数据，承认随机性，反思指标体系以警惕其与用户感知脱节，并采用全链路自动化评测（通过环境路由实现模块和整体效果比较）。
多次评测指标波动问题解决方案
影响评测指标的因素包括：语义标签分类（标签正交性）、评测环境、数据质量。解决指标波动的方法：
- 分类标签正交化：避免标签冲突，优先考虑精细化运营的垂直领域标签和直接满足用户需求的标签，并提前定义标注原则。
- 指标误差率计算：基于大数定律，通过样本容量n计算多次评测的准确率平均值，公式为
n = (t^2 * σ^2 * (1/MOE))^2，其中MOE为误差率，σ为总体标准差，t为置信度下的t值。实验步骤包括固定样本量多次评测，计算平均值和标准差，再根据业务需求确定所需样本量。
新探索与总结
探索使用半监督学习解决新业务标注数据少的问题。总结：
- 算法研发需保证分类标签符合质量需求、指标体系符合用户感知、数据符合业务实际状况。
- 模型策略迭代应真正推动业务发展。
