国内在模型蒸馏技术上应用广泛且深入。近年来,OpenAI和Claude等海外大厂采取反蒸馏措施,显著提高蒸馏成本(成本提升十倍以上),迫使国内专业模型公司调整战略,将研发重心转向轻量级模型。蒸馏成本主要分为API购买、人力算力时间投入和工程系统投入三部分,近期成本上升主要源于API购买成本增加。国内厂商需付出更高成本以生成更多连贯问题、增加数据量和工程系统复杂度,这将促使行业研发成本增速放缓、迭代周期拉长,但路径更正轨。
模型蒸馏赛道发展趋势显示,国内厂商面临成本显著上升的挑战,需调整研发路径。若领先企业持续抬高技术壁垒,国内厂商将被迫回归扎实研发。国内5T级别大模型大概率由独立模型厂商率先推出,预计2026年底至2027年初推出超过3T模型。字节跳动“千问4”计划在2026年10月发布,文本模型参数量约3T,多模态分支可能接近5T,但标准文本模型或被KIMI反超。若“千问4”进展顺利,预计2026年12月可发布超2T模型,最乐观达2.8T或3T;不顺则可能在2T至2.2T。
本报告重点分析了国内模型公司蒸馏技术的现状、成本构成与上升原因、国内外大厂模型能力差异以及5T级别大模型推出路径。报告指出,国内蒸馏技术应用普遍深入,但面临反蒸馏措施带来的成本压力,需调整研发重心。报告还分析了国内外大厂模型能力差异,以及国内5T级别大模型推出时间表,认为独立模型厂商可能率先推出,字节跳动“千问4”计划在2026年10月发布,但标准文本模型或被KIMI反超。
当前模型蒸馏市场现状显示,国内厂商面临成本显著上升的挑战,需付出更高成本以生成更多连贯问题、增加数据量和工程系统复杂度。OpenAI和Claude等海外大厂的反蒸馏措施已十分有效,主要通过提高蒸馏成本而非阻止访问,迫使国内专业模型公司调整战略,将研发重心转向轻量级模型。蒸馏成本分为API购买、人力算力时间投入和工程系统投入三部分,近期成本上升主要源于API购买成本增加。国内厂商需调整研发路径,回归扎实研发,导致行业研发成本增速放缓、迭代周期拉长。
本报告提示的风险包括:国内模型公司蒸馏成本显著上升,可能导致部分厂商资金链紧张;若领先企业持续抬高技术壁垒,国内厂商可能被迫回归扎实研发,导致迭代周期拉长;5T级别大模型推出时间存在不确定性,若“千问4”进展不顺,可能影响国内厂商的领先地位。此外,国内外大厂模型能力差异可能导致国内厂商在技术竞争中处于不利地位。