黎立-端侧大模型落地关键技术探索

核心观点与关键技术

大模型入端趋势
智能手机厂商正推动AI云应用向端侧演进，形成"AI原生智能"操作系统，核心场景由端侧大模型决策，非核心场景沿用云端模型。大模型入端面临数据、性能、安全等挑战，需结合大模型基础技术（微调、小型化）和应用编程框架（如CangChain）解决。

数据清洗与保护

1. 数据清洗：高质量标注数据是基础，需通过规则（如语法级过滤）和模型（语义级过滤）去除无关注释，但规则过滤存在可扩展性不足问题。
2. 数据保护：提出数据水印技术，通过代码语义等价变换实现隐蔽保护，解决传统投毒攻击的隐蔽性难题。

模型性能优化

1. 硬件依赖：大模型推理成本高，性能提升主要依赖硬件，需通过前处理（小模型预判）和分支限界法（跳过无效分支）降低访问次数。
2. 动态推理：通过层间判断逻辑动态调整推理过程，代码生成模型可节省20%-30%推理成本，同时保持结果质量。

大模型编程框架

1. CangChain框架：对标LangChain，支持词向量计算、Agent快速实现（如ReAct Agent），通过Prompt模板驱动不同职责Agent执行任务。
2. 实践案例：基于CangChain实现"2048游戏"智能体，及RAG技术赋能鸿蒙应用代码缺陷自动修复。

未来展望

1. 端云协同：端侧大模型需与云端协同实现最优用户体验。
2. 技术挑战：需解决终端内存限制、整机性能瓶颈、模型安全等问题。
3. 应用场景：端侧大模型仍需明确应用场景，目前尚未形成用户心智。