传媒专属精调模型建设

大模型在落地应用时存在幻觉、指令遵循效果差、行业知识不足等问题。为解决这些问题，可综合运用提示工程（如few-shot prompt）、检索增强生成（RAG）和模型精调（FT）等技术手段。

精调面临的主要挑战包括：需要大量高质量数据进行训练和优化，对技术人才储备和技术能力要求高，对计算和存储资源需求高，导致客户难以支持大模型的训练和推理。

腾讯提供的解决方案包括：

1. 交付模式：客户准备脱敏后的训练数据，在腾讯的模型训练工具（TI-ONE）上进行fine-tuning，生成专属大模型；新模型部署在客户本地进行推理使用；编辑老师基于输出结果进行调整修改，积累反馈数据；一段时间后，在公有云上进行迭代训练。
2. 定义场景：输入内容为新闻采访稿，期望输出为编辑老师改写后的送审稿。
3. 设定标准：技术指标包括上下文最长token数。
4. 数据准备：
   • 无监督数据（原始数据）：格式为网页数据、word、TXT、语音；数据量越多越好，包括原始新闻采访数据，数万条；数据质量需case-by-case评估；腾讯提供数据脱敏工具。
   • 有监督数据（标注数据）：格式为TXT、word；从无监督数据中挑选一定比例标注；数据量要求1000条（内容摘要）；数据质量需case-by-case评估。
5. 训练资源：提供丰富的基底模型选择。
6. 模型训练：采用监督微调（SFT）技术，更新预训练模型权重以适应特定任务，优点是预训练模型权重被更新以更好地适应任务，缺点是所需资源和时间更多。

竞争优势：

• 全链路的训练工具平台。
• 训练最佳实践方法论。
• 低成本训练+推理服务。
• 合作模式灵活：训练和推理均支持公有云和私有化。
• 算法人员陪跑。
• 提供丰富有效的prompt模板、方便直观。
• 提供丰富的基底模型选择。
• 针对长文本理解和生成优化。
• 多年媒体行业新闻数据的积累。
• 依托腾讯云大模型底座，不断迭代升级。
• 训练平台框架加速能力，训练和推理性能提升30%+。