计算机行业动态跟踪：Kimi支持200万字上下文，AI应用有望加速落地

核心观点 ⚫3月18日，月之暗面宣布旗下的智能助手Kimi的上下文长度突破到200万字。2023年10月，月之暗面就发布了支持20万汉字上下文长度的智能助手Kimi，在当时就是全球市场上能产品化使用的大模型服务中最长的。现在Kimi的能力上限又提升了十倍，达到了国际领先的水平。目前全球最长上下文的模型是谷歌于2023年2月推出的Gemini 1.5 Pro，最极限情况下能够达到1000万token，但是并没有开放使用，日常对外开放的仅有100万token长度。 ⚫上下文技术是大语言模型能力的核心之一，它决定了模型对信息的理解深度和广度。支持更长的上下文长度能够让模型在处理大量信息时都能保持较高的准确性，让模型的应用场景得到进一步拓宽，例如对完整代码库的分析理解、自主完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。就好比是计算机的RAM，操作系统保留了所有应用程序的实时上下文，由于上下文长度充足，LLM可以像“推理计算机”一样，保留大量用户上下文。 浦俊懿021-63325888*6106pujunyi@orientsec.com.cn 执业证书编号：S0860514050004陈超021-63325888*3144chenchao3@orientsec.com.cn执业证书编号：S0860521050002 ⚫大模型上下文长度拓展存在“不可能三角”：文本长度、注意力和算力。Transformer架构依赖于自注意力机制来处理输入序列。随着序列长度的增加，自注意力层的计算复杂度呈二次方增长，其中n是序列长度。这意味着对于较长的序列，模型需要进行大量的计算，这也对算力提出了更高的要求，从两个方面共同限制了大模型上下文长度的无限拓展。上下文文本越长，模型越难聚焦充分注意力，难以完整理解用户意图；注意力限制下，短文本无法完整解读复杂信息；处理长文本需要大量算力，从而提高了成本。按GPT-4 Turbo目前API的输入输出价格来计算，要用满128k的长度进行一次输入输出的话，一次问答的价格超过30元。 覃俊宁qinjunning@orientsec.com.cn宋鑫宇songxinyu@orientsec.com.cn ⚫随着大模型长文本技术不断深入，AI应用落地的曙光初现。目前业界已经逐步形成共识，即使是千亿参数的大模型也无法完全避免幻觉和胡说八道的问题。相比于短文本，长文本可以通过提供更多上下文信息和细节信息，来辅助模型判断语义，进一步减少歧义，并且基于所提供事实基础上的归纳、推理也更加准确。长文本技术既可以解决大模型诞生初期被诟病的一些问题，增强一些功能，同时也是当前进一步推进产业和应用落地的一环关键技术。随着Kimi率先在国内突破长文本技术，AI相关的应用落地也有望进一步加速。目前月之暗面瞄准的是2C的赛道，未来在2B赛道中长文本能力更有广阔的施展空间。 ⚫算力需求预计也会迎来提升。考虑到Transformer本身架构因素，上下文长度的提升必然会带来算力消耗的提升，即使在业界不断优化的情况下，对于算力的需求仍会有较大程度的增长。随着Kimi带动的长文本技术逐步延展，我们认为各大模型厂商均会逐步开启对于长文本模型的训练和研究，对算力的需求将会进一步提升。 投资建议与投资标的 我们认为，大模型上下文长度持续拓展有望加速AI相关应用落地，同时对于算力的需求也会随之大幅提升。 ⚫AI应用：建议关注金山办公(688111，增持)、新致软件(688590，未评级)、科大讯飞(002230，买入)、同花顺(300033，未评级)、彩讯股份(300634，未评级)、上海钢联(300226，增持)等公司 ⚫AI算力：建议关注中科曙光(603019，买入)、海光信息(688041，买入)、寒武纪-U(688256，未评级)、云赛智联(600602，未评级)、润泽科技(300442，未评级)、华铁应急(603300，买入)等公司⚫其他工具：星环科技-U(688031，未评级) 风险提示 技术落地不及预期；政策监管风险 目录 Kimi上下文长度再突破，达国际领先水平......................................................4模型长上下文技术原理探索............................................................................6AI应用有望加速落地，算力需求也随之提升..................................................8投资建议与投资标的....................................................................................10风险提示......................................................................................................10 图表目录 图1：Kimi支持200万字上下文...................................................................................................4图2：Gemini 1.5 Pro最长能支持1000万token..........................................................................4图3：Kimi可以一次性读500个简历并分析.................................................................................5图4：Kimi可以分析过往英伟达的财报........................................................................................5图5：月之暗面发展历程..............................................................................................................6图6：大模型长文本的“不可能三角”..............................................................................................6图7：全注意力和稀疏注意力图解（全注意力就是完整的图网络）..............................................7图8：RoPE算法原理示意...........................................................................................................8图9：随机位置编码原理示意.......................................................................................................8图10：Character.AI提供数字智能体陪伴....................................................................................9 表1：全球大模型上下文长度持续突破.........................................................................................5 Kimi上下文长度再突破，达国际领先水平 上下文技术是大语言模型能力的核心之一，它决定了模型对信息的理解深度和广度。大模型上下文是指模型在生成文本、回答问题或执行其他任务时，能够考虑并参照的前置文本的数量或范围。文本生成以token作为处理文本的单位，最大上下文长度则是prompt输入合计使用的token数量上限。支持更长的上下文长度能够让模型在处理大量信息时都能保持较高的准确性，让模型的应用场景得到进一步拓宽，例如对完整代码库的分析理解、自主完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。就好比是计算机的RAM，操作系统保留了所有应用程序的实时上下文，由于上下文长度充足，LLM可以像“推理计算机”一样，保留大量用户上下文。 3月18日，月之暗面宣布旗下的智能助手Kimi的上下文长度突破到200万字。2023年10月，月之暗面就发布了支持20万汉字上下文长度的智能助手Kimi，在当时就是全球市场上能产品化使用的大模型服务中最长的。而现在，Kimi的能力上限又提升了十倍，达到了国际领先的水平。目前全球最长上下文的模型是谷歌于2023年2月推出的Gemini1.5Pro，最极限情况下能够达到1000万token，但是并没有开放使用，日常对外开放的仅有100万token长度。 数据来源：谷歌，东方证券研究所 更长的上下文能够支撑更广泛的应用场景。超长的无损上下文能力，让Kimi的智能搜索和指令循环能力得到了进一步提升。现在Kimi能够一口气精读500个甚至更多数量的文件，帮助用户快速分析所有文件的内容，并且支持通过自然语言进行信息查询和筛选。或是把英伟达过去几年的完整财报一次性扔给Kimi，让它成为一位临时的英伟达财务研究专家，来分析总结英伟达历史上的重要发展节点。 数据来源：Kimi，东方证券研究所 数据来源：Kimi，东方证券研究所 月之暗面成立于2023年3月，由出身清华大学的核心团队领衔，成员曾参与多个重量级AI模型的研发，现在是国内大模型领域的头部企业之一。除了专注于语言文本模型外，月之暗面也在积 极布局多模态模型的研发，并预计在今年内推出相关产品。公司在多模态相关技术方面已有多项储备，包括基于对比学习的视觉预训练范式MoCo、高效视觉网络结构ShuffleNet等。 模型长上下文技术原理探索 一般可以通过以下两种途径得到一个长上下文的大模型。一种是大模型在初始阶段被设置为长上下文，然后经过预训练，指令微调，对齐训练等方式得到一个长上下文大模型。另外一种方式是选择已经训练好的大模型，通过技术改造扩展其上下文长度，然后再进行微调训练得到长上下文模型，例如很多开发者基于开源的LLaMA模型，通过微调将上下文窗口从2k拓展到32k。 大模型上下文长度拓展存在“不可能三角”：文本长度、注意力和算力。Transformer架构依赖于自注意力机制来处理输入序列。随着序列长度的增加，自注意力层的计算复杂度呈二次方增长，其中n是序列长度。这意味着对于较长的序列，模型需要进行大量的计算，这也对算力提出了更高的要求，从两个方面共同限制了大模型上下文长度的无限拓展。上下文文本越长，模型越难聚焦充分注意力，难以完整理解用户意图；注意力限制下，短文本无法完整解读复杂信息；处理长文本需要大量算力，从而提高了成本。按GPT-4Turbo目前API的输入输出价格来计算，要用满128k的长度进行一次输入输出的话，一次问答的价格超过30元。 目前围绕模型长上下文技术主要有三种解决方案： 1>长文本切分：主要方法是将长文本数据切分为多个短文本处理。模型处理长文本prompt时，会先在数据库中对短文本进行检索，以此来获得多个短文本回答构成的长文本。每次只加载所需要的短文本片段，从而避开了模型无法一次读入整个长文本的问题。 2>重建Self-Attention机制：