AI实践中如何节约token消耗20260722

核心观点与关键数据

• KimiK3性能突破：参数量达2.8T，为国内最大，前端建模等长程任务表现优于GPT-4.6和Claude Opus 4.8。
• Lin2.6模型优化：预训练优化后，15兆token输入测试中比Neptune3节省86%推理成本，证明底层架构提升token效率是降本核心。
• 智能路由系统：实现成本精细化管理，高复杂度任务调用顶级云端模型，简单或脱敏任务由0.8B-1.3B端侧小模型处理。

投研数据获取与成本优化

• API接口优先：应优先选择Tushare/AKShare等API接口而非MCP模式，JSON结构化数据可大幅减少冗余token消耗。
• MCP与API对比：MCP方式会返回日志填充上下文，增加token成本；API接口获取结构化数据更优。

金融RAG场景优化

• GraphRAG应用：建立逻辑图谱解决股权穿透等复杂推理，本地小模型打标签索引精简上下文并提升检索精度。
• 人机协同模式：多模型交叉验证（如A模型点评、B模型再分析）及人机协同模式，确保核心决策逻辑的可追溯性。

模型蒸馏与核心竞争力

• 模型蒸馏局限：虽能固化专家经验（Skill），但无法应对动态市场；投资核心竞争力在于Skill的迭代、诊断与环境适配能力。
• Skill迭代重要性：比Skill本身更关键的是Skill的迭代能力，包括校验、诊断和微调。

多Agent协同与Token消耗

• 多Agent任务：Token消耗大的主要原因是智能体运行机制，提升模型自身能力可减少Token消耗。
• AI辅助编程建议：深入了解模型能力边界，避免无效尝试，选择合适的模型完成任务。

AI应用未来发展方向

• “第二增长曲线”探索：寻找除编程之外的高价值文本输出领域，如金融、生物科技、法律、医学等。
• 评测体系标准化：金融领域AI应用瓶颈在于缺乏统一评估标准，需建立科学、统一的评估机制。

金融场景AI应用边界

• AI处理任务：基础性调研工作和初步数据分析任务。
• AI局限：编程能力强不等于金融分析能力强，参数量决定世界知识密度。
• 数据准确性提升：AI与算法结合进行财务数据核对，人机协同提升准确率至99%以上。

RAG技术具体应用案例

• 贷款用户财务数据分析：AI结合公式校验，算法计算、公式校验与AI辅助相结合，降低人工审核压力。
• 逻辑推理问答：GraphRAG技术建模逻辑关系，如股权穿透分析，提升检索质量和准确度。

AI与人工工作流程分工

• 不适合完全依赖AI的环节：个人工作方法论和核心决策部分。
• 人机协同原则：不能将所有工作都交给AI，必须做好人机协同，关键部分由人类主导。

多模型选择与配合

• 模型能力差异：不同模型在领域知识、知识边界和能力上存在细微差别，需根据模型特点选择。
• 国内外模型对比：国内模型在中文互联网信息获取上更具优势，海外模型在英文文献处理上更优。

模型蒸馏实际意义

• 蒸馏局限：仅凭蒸馏无法实现模型能力跃升，需进行大量二次调整。
• 推理能力提升：分析顶级模型推理链是研究起点，但仅凭此无法达成最终目标。