AI周观察第1期谈谈作为智能本身的记忆20251024

2025年10月25日09:55 关键词关键词 记忆功能长期记忆短期记忆工作记忆情景记忆语义记忆认知科学大语言模型chatbot OpenAI XAI group anodic阿里字节豆包上下文参数化非参数化记忆大模型 全文摘要全文摘要 在AI生成内容（AIGC）领域，记忆功能的引入标志着AI从被动问答向主动个性化助手的转变，显著增强了AI应用的实用性和个性化体验。从OpenAI的GPT系列到XAI Group、Anodic Clock和Google等机构的进展，记忆功能的发展推动了AI产品形态的演进。OCR技术在信息压缩和提升记忆效率方面的作用不容忽视。 AI周观察周观察第第1期期-谈谈作为智能谈谈作为智能本身的本身的“记忆记忆”20251024_1_导读导读 2025年10月25日09:55 关键词关键词 记忆功能长期记忆短期记忆工作记忆情景记忆语义记忆认知科学大语言模型chatbot OpenAI XAI group anodic阿里字节豆包上下文参数化非参数化记忆大模型 全文摘要全文摘要 在AI生成内容（AIGC）领域，记忆功能的引入标志着AI从被动问答向主动个性化助手的转变，显著增强了AI应用的实用性和个性化体验。从OpenAI的GPT系列到XAI Group、Anodic Clock和Google等机构的进展，记忆功能的发展推动了AI产品形态的演进。OCR技术在信息压缩和提升记忆效率方面的作用不容忽视。未来，大模型需具备选择和遗忘能力，以更智能地处理信息。记忆功能的重要性在于它促进了AI的自主学习和适应能力，为AI的持续发展提供了关键支持。 章节速览章节速览 ● 00:00 AI记忆功能的发展与影响记忆功能的发展与影响对话回顾了AI记忆功能的发展脉络，从OpenAI的早期上线到各大AI 玩家的跟进，包括阿里和字节跳动的最新进展。讨论了记忆功能在AI大模型中的重要性，以及未来可能带来的定制化私人助理产品形态的变革。同时，提及了OCR技术在拓宽上下文信息密度和承载量方面的潜力，为记忆系统的选择和遗忘机制提供了仿生化的解决方案。 ● 03:59人类与大语言模型记忆模式的比较分析人类与大语言模型记忆模式的比较分析对话深入探讨了人类记忆的分类，包括短期记忆（感官记忆与工作记忆）和长期记忆（外显记忆与内隐记忆）， 并指出大语言模型的记忆功能与人类记忆模式存在显著相似性，特别是在记忆的分类和功能上。 ● 07:50大模型记忆系统的分类与认知科学对应大模型记忆系统的分类与认知科学对应 对话探讨了大模型记忆系统在参数化与非参数化、短期与长期维度下的分类，及其与认知科学中记忆类型的对应关系，包括感官记忆、工作记忆、情景记忆和语义记忆等，强调了上下文窗口在非参数化记忆中的核心作用及参数化调整的多样化手段。 ● 12:50认知科学与认知科学与LLM中的记忆机制中的记忆机制讨论了记忆作为信息获取、存储与检索过程的重要性，强调了记忆在认知科学及大型语言模型（LLM ）中的核心作用，解析了记忆机制对系统功能提升的关键价值。 ● 13:48长期记忆与智能本质的紧密联系长期记忆与智能本质的紧密联系 对话探讨了记忆随时间变化的特性，指出长期记忆，尤其是非陈述性程序化记忆和语义记忆，更接近智能的本质。条件反射等能力被视为在强化学习环境中获得的初步智能表现，强调长期记忆是智能不可分割的重要组成部分。 ● 15:21光学压缩技术提升信息处理效率光学压缩技术提升信息处理效率对话围绕一种名为dipstickCOCR的光学压缩技术展开，该技术能在保持高准确率的同时大幅减少文本token 的数量，有效提升信息处理效率。通过编码器和解码器的组合，该技术能将图像像素进行多级压缩，最终将大量信息压缩至少量token。此外，该技术在金融、医疗和法律等领域展现出精确提取表格信息的能力，促进了国内相关OCR模型的活跃度。 ● 18:29 OCR技术与记忆提升：推动技术与记忆提升：推动Chatbot向私人助理转型向私人助理转型对话讨论了OCR技术在AI领域的应用，尤其是压缩文本光学识别技术的进展，以及其对Chatbot 性能的提升作用。通过增强记忆功能，Chatbot能更好地理解用户，提高交互频率和留存时间，逐渐从被动问答工具转型为私人定制助理。此外，通过主动推送信息和收集用户偏好，Chatbot有望扩大用户基础，特别是在知识型和教育背景不足的地区，促进用户增长。 ● 21:16大模型记忆机制与未来发展方向探讨大模型记忆机制与未来发展方向探讨讨论了大模型记忆机制的重要性，强调了记忆对AI 发展成个性化助理的关键作用。指出当前模型的记忆功能尚处于初级阶段，借鉴认知科学中多类型记忆的有机转化，提出未来模型需学习如何从工作记忆中挑选信息进行深层次转化，以实现更智能的信息处理与推送。 ● 24:03 OCR技术与人类记忆机制的仿生联系技术与人类记忆机制的仿生联系对话探讨了OCR技术如何通过降低文本token 数量来模仿人类记忆模糊过程，指出随着压缩率提高，图像清晰度和准确性下降，与人类长期记忆的遗忘模式相似。未来评估AI记忆机制成熟度将关注信息选择性记录与远期信息模糊处理能力，以优化对话体验。 要点回顾要点回顾 记忆功能在记忆功能在AI大模型中起到什么关键作用，以及它可能推动的形态变化是什么？大模型中起到什么关键作用，以及它可能推动的形态变化是什么？ 记忆功能在AI大模型中扮演着长期记忆的角色，能够保留每次交互中的关键信息。这种能力有望推动chatbot产品形态从被动的短视问答工具演变为能够主动进行交互和推送信息的定制化私人助理。 记忆功能最早由哪家公司上线，其发展脉络如何？记忆功能最早由哪家公司上线，其发展脉络如何？ 记忆功能最早由OpenAI在2023年年初上线，用户可以在聊天过程中要求模型记住特定内容或自行获取详细信息。随后，包括GT5在内的多家公司也相继在更新中增强了记忆能力，并扩展了上下文长度。 从中国的视角来看，哪些企业在记忆功能方面有所布局？从中国的视角来看，哪些企业在记忆功能方面有所布局？ 国内方面，Kimi作为长上下文早期推动者，在2023年5月开始内测记忆空间功能，并在同年6月推出了首个企业级AI agent。阿里和字节跳动旗下的相关产品也在近期启动了记忆功能的内测，并于10月16日由阿里官宣上线。 记忆在大语言模型（记忆在大语言模型（LLM）中的定义是什么，为什么记忆很重要，以及未来）中的定义是什么，为什么记忆很重要，以及未来LLM需要什么样的记忆机需要什么样的记忆机制？制？ 记忆在大语言模型中是从概念层面理解记忆的本质，探讨记忆的重要性，并分析未来大语言模型需要具备何种记忆机制。同时，也会涉及上下文光学压缩等技术，它们有助于提高信息承载量和优化记忆系统的内容选择与遗忘机制。 生物和认知科学角度如何解读记忆，有哪些不同类型的记忆？生物和认知科学角度如何解读记忆，有哪些不同类型的记忆？ 从生物和认知科学角度来看，人类记忆与大语言模型记忆有相似之处。记忆按照留存时间长短可分为短期记忆（如感官记忆和工作记忆）和长期记忆（包括外显记忆和内隐记忆）。其中，短期记忆主要用于短时间内信息的快速获取和保持，而长期记忆则具有更长的留存时间，其中外显记忆可被语言表述，内隐记忆则主要表现为行为和程序性记忆。 语义记忆是什么，有哪些特点？语义记忆是什么，有哪些特点？ 语义记忆是第二类外显记忆或陈述性记忆，它包含一些共识性和关键性的信息，如太阳东升西落的规律、斑马黑白相间的颜色等基本语义信息。这类记忆可以长期存在于大脑中，作为常识性基础。 内隐记忆或非陈述性记忆的特点是什么？内隐记忆或非陈述性记忆的特点是什么？ 内隐记忆或非陈述性记忆难以用语言明确表征，但留存时间长，通常通过行为表现出来，例如骑自行车和打字等技能。这种记忆在认知科学中被视为程序性记忆，不依赖于语言表达。 大语言模型的记忆功能与认知科学中的记忆分类有何对应关系？如何理解感官记忆在大语言模型中的作大语言模型的记忆功能与认知科学中的记忆分类有何对应关系？如何理解感官记忆在大语言模型中的作用？用？ 大语言模型的记忆功能与认知科学中的记忆分类存在较好的一一对应关系。可以按照个人记忆（用户输入prompt）与系统记忆（模型输出结果）、参数化永久性改进与非参数化记忆（基于提示词交互调整模型状态）、以及短期记忆和长期记忆三个维度进行划分，这八种不同类型的记忆在模型中能找到对应表现。在与用户的对话过程中，每次的提示词输入相当于对模型的一种感官刺激，它构成了模型获取外部用户信息的输入信号，即感官记忆层面。 工作记忆在大语言模型中的体现是什么？大语言模型如何体现情景记忆？工作记忆在大语言模型中的体现是什么？大语言模型如何体现情景记忆？ 当对话进行多轮后，模型能记住较长时间段内的上下文信息，并在后续对话中调用这些信息，展现出了类似工作记忆的机制，能够回顾和关联之前话题的背景信息。模型不仅能把握当前对话中的上下文内容，还能跨轮次记忆不同话题之间的关联，结合过往的对话内容和用户偏好，形成对用户的立体认知，这是对应认知科学中的长期情景记忆。 大语言模型如何实现标签化记忆并应用于对话中？大语言模型如何实现标签化记忆并应用于对话中？ 模型可以被要求记住用户的个人信息或职业身份等核心信息，在所有对话中以此为出发点和分析问题的依据，实现个性化和生活化对话，这类似于语义记忆中的标签和符号对整体对话风格定位和定调的作用。 大元模型是否真正进入了物理世界，以及在认知科学中非陈述性程序化记忆是否得到了体现？大元模型是否真正进入了物理世界，以及在认知科学中非陈述性程序化记忆是否得到了体现？目前大元模型还未深入到物理世界，非陈述性程序化记忆类的记忆形式在大元模型中还没有得到很好的体现。大部分记忆功能和实现都在上下文窗口中完成，而涉及到参数化调整的记忆类型则可以通过微调、编辑或机制调整等方式实现知识传递。 从认知科学角度到从认知科学角度到LLM（（Language Model），如何看待记忆的重要性以及其定义？），如何看待记忆的重要性以及其定义？ 认知科学与LLM之间存在较强的映射关系，记忆被定义为获取、存储、保留和检索信息的过程。这一过程包括信息的编码、存储、检索和提取。记忆之所以重要，是因为各大厂近期上线的记忆功能，以及它是理解智能系统的关键维度。 长期记忆在技术和智能本质上的位置是什么？长期记忆在技术和智能本质上的位置是什么？ 长期记忆从技术本质上看，更加接近于本质信息，并且是智能不可剥离的重要组成部分。无论是非陈述性的程序化行为记忆还是长期语义记忆，都与底层智能紧密相关。此外，光学压缩技术如dipstick COCR有助于在有限算力下拓宽记忆的时间和内容体量。 dipstick COCR技术如何实现对上下文的压缩并提升记忆效能？技术如何实现对上下文的压缩并提升记忆效能？ dipstick COCR技术通过图像像素压缩，对文本token进行数量级上的提升压缩，例如将1024乘1024像素点压缩至256个token数，从而有效解决了当前上下文窗口信息处理的算力消耗问题，提高了记忆效能。该技术采用编码器-解码器结构，并提供多种分辨率的选择，以适应不同的压缩需求。 在大模型的应用层面上，记忆功能的重要性体现在哪些方面？从记忆的机制角度出发，理想的聊天机器在大模型的应用层面上，记忆功能的重要性体现在哪些方面？从记忆的机制角度出发，理想的聊天机器人人应如何处理信息和记忆？应如何处理信息和记忆？ 记忆功能在应用层面上的重要性主要体现在两个方面。首先，它有助于AI对话机器人从被动问答的角色转变为能主动推送信息、发起对话的私人化定制助理，从而提升用户交互的频率和留存时间。其次，记忆机制的发展将影响未来大模型的记忆模式，使其具备更高级别的认知功能，如多类型记忆的同时运行和相互转化。理想的聊天机器人应该能够模拟人类记忆的复杂性，包括不同类型记忆的并行发生