提升大模型知识密度，做高效的终端智能

面壁智能CEO李大海演讲核心内容总结

高效大模型与面壁智能

• 高效大模型理念：以更快速度、更低成本提供最优智能实现方案，强调“高效”是一种惯性，面壁智能是持续引领大模型前沿的领导者。
• 领跑智能体：超前入局大模型领域，持续推动技术发展。

大模型规模法则与半导体发展趋势

• 大模型规模法则（Scaling Law）：自2018年以来，OpenAI引领验证，大数据+大算力支持下，越大的模型越能产生越强的智能水平。
• 半导体发展趋势：类比摩尔定律，半导体行业通过提升芯片电路密度实现计算设备小型化。
• 高效大模型第一性原理：知识密度 = 模型能力 / 模型参数参与计算的量，大模型数据驱动技术方向仍高速迭代，需持续改进模型制程，极致提升知识密度。

大模型发展趋势与面壁定律

• 大模型知识密度持续增强：2020年GPT-3 175B能力到2024年MiniCPM 2.4B模型即可达到，知识密度提高约86倍。
• 面壁定律：芯片电路密度每18个月提高1倍，模型知识密度每8个月提高1倍，两者交汇揭示端侧智能巨大潜力。

人工智能科学化与高质量发展

• 科学化历程：推动大模型高质量发展，围绕如何极致提升“知识密度”，探索大模型科学化建设方案。
• 大模型科学化问题：科学化引领高质量发展，重点在于模型风洞技术，构建模型风洞，让模型成长摆脱“炼丹”窘境。

面壁模型风洞与高效成长

• 面壁模型风洞：探寻大模型高效成长规律，摆脱“炼丹”窘境，更高知识密度带来更高效模型。
• 成果展示：通过科学提升训练方法与数据质量，2024年2月发布的MiniCPM 2.4B以小博大、越级超越Mistral-7B、Llama2-13B等明星模型。

旗舰端侧大模型系列

• MiniCPM-V 多模态模型：极致以小博大+高效低成本，GPT-4V级最强端侧多模态，国际开源明星。
  • 长文本与MoE模型：实时视频、多图联合理解，首次上端9倍像素更清晰，难图长文本精准识别全方面GPT-4V级最强端侧多模态+OCR SOTA。
  • 极致以小博大+极致高效低成本：2.4B+1.2B+1.2B极速版，适配更多场景，新一代高效低能耗架构，2.8倍迅疾响应。
  • 最小128K长文本模型高性能MoE模型：全球技术社区好评如潮，成为端侧AI性能标尺。
• 旗舰端侧基座大模型面壁MiniCPM-2B：极致高效低成本，极致以小博大。
  • 性能超越：同等性能参数更小，同等参数性能超强，上千次“模型沙盒”实验，1元=1,700,000 tokens*。
  • 多AI硬件适配：AMD、Intel、高通、MTK等已适配，支持主流CPU推理。
  • 消费级显卡玩转大模型：越级7B、13B量级模型比肩ChatGLM3-6B等。
• MiniCPM-Llama3-V 2.58B：GPT-4V级端侧多模态小钢炮，最强端侧多模态综合性能。
  • OCR能力SOTA：9倍像素更清晰，长图难图长文本精准识别，面壁自研高清图像解码技术突破传统20w像素小图困境。
  • OCRBench SOTA：越级超越GPT-4o、GPT-4V、Gemini Pro等标杆模型。
  • 端侧高效运行：首次端侧系统级多模态加速，图像编码加速快150倍，消费级显卡轻松推理4070。
  • 实时视频理解：实时看见与理解真实世界，开启具身智能等AGI无限可能。

端侧方寸之地大模型技术极限竞技场

• 首创：180万像素高清图像解码技术：180万1:9极限宽高比，180万任意长宽比高清图像，高清图像高效编码，任意宽高比图像无损识别。
• 高清图像高效编码背后的独家技术：LLaVA-UHD：模块化视觉编码，视觉压缩模块，空间修饰方法，统一高清视觉架构。
• 多语言：跨模态跨语言泛化技术：解决中文领域缺乏高质量、大规模多模态数据的挑战，基础能力跨语言泛化，中文多模态能力高效激发。

端侧算力分布离散、总量巨大亟待激活

• 端侧AI市场势能强劲：构建世界最好的端侧大模型。