大模型时代的可信自然语言处理（演讲PPT）

丁效 哈工大社会计算与信息检索研究中心2023年6月9日 R自然语言处理的五次范式变迁 真的是在指数级发展吗？ 模型规模越来越大R 模型规模与表现正相关，因此不停追求越来越大的规模随着模型规模越来越大，“涌现”出了令人惊呀的"智能"模型参数规模超过22B，才涌现”有可能智能[Deep Ganguli, et al., 2023, arXiv] GPT-3没有解决的问题R ·GPT-3测试样例 Qusetion:Whichisheavier，atoasterorpencil?(烤箱和铅笔哪个更重?）GPT-3：Apencilisheavierthanatoaster.(铅笔比烤箱重。） Qusetion:Howmanyeyedoesmyfoothave?（我的脚有几只眼睛？)GPT-3:Yourfoothastwoeyes.（你的脚有两只眼睛，） 2019年，融入显性知识的威力R OpenAI实验室 哈工大提出增加目标任务间的知识迁移能力（丁效2019） 论文发表于NeurIPS2020论文被引10708次（据谷歌学术统计） 四句故事上文：汤姆和玛丽在一起两年了。一天，他 们一起参加狂欢节。他给她赢了很多玩偶还给她买了精美的杯子蛋糕。当他们走到摩天轮下，他单滕跪地， We next evzluate GPT-3 on the StoryCloze 2016 dataset [MCH16], which inwelves selecting the eorrect endingsecalcnce for fxe-sctterce long stories. Here GPT:3 achieves 83.2% in the zero-shot secting and 87.7% in he fewshotseting (sith K 70], This is sill 4.1% kowar han the fine-untel SOTA uning a BERT based model[LDL,19] butimproxes owcr previous zero-sbotresulis hy nugly 10%. 正确结尾：汤姆向玛丽求婚错误结尾：他擦去鞋子上的泥 OpenAI推出的大规模语言模型GPT-3，其论文指出在故事结尾预测认知推理任务上比丁效等提出的模型低4.1%！! [LDL19] Zhongyang Li, Xiae Ding, and Ting Liu. Story ending predictien by transferable bert. erKiv pepriararXiv:7905.07504, 2019. RChatGPT能够很好地回答常识类问题 OpenAI ( https://chat.openai.com/ ) 烤箱和铅笔邮个更重？ 一般来说，烤箱会比铅笔重得多。烤箱是一种电器，通常用于烘焙食物或加热食物，因此它遵常会比铅笔生得多。铅笔是一种小巧的文具，通常用于写字或画画，因此它通常不会很 我的脚有几只眼请？ 人的脚并没有眼睛。人的脚是由脚趾、脚躁和脚跟组成的，它们可以帮助我们维持平衡，走路和进行其他活动。人的脚趾上有许多小骨略和肌腱，使我们能够抓地、走路和平衡，人的脚上并没有服睛。 CRGPT 4 “想来想去，只有一种职业不会受到ChatGPT的威胁：无业游民”，这句话的含义是什么？ PH 这句话的含义是，由于ChatGPT等人工智能技术的发展，许多职业可能会受到影响，甚至有可能被取代。然而，对于那些无业游民（即没有固定职业的人），这种技术对他们的生活和工作没有直接影响。这句话有些讽刺意味，暗示了人工智能的发展可能导致一些人失去工作，而无业游民却不受其影响。 RChatGPT仍然存在潜在事实性错误 进日战争可以分为以下几个阶段： 事实上，大模型长于对于事实的记忆，短于对于事理的归纳。这是因为：√大模型在训练过程中对于所有数据一视同仁，并未对于特定的重要部分加以强调。√大模型没有经历观察归纳演绎纠正等这一环路。 R:大模型背景下的自然语言理解挑战 存在问题 知识增强的可信自然语言理解 因果机制引导的稳定自然语言理解 基于大模型辩论的去偏自然语言理解 大模型存在的问题R 口对事实型问题的回答不准确 哈工大刘班是谁？ 哈工大刘挺（TingLiu）是一位著名的计算机科学家和教育家，现任哈尔滨工业大学(Harbin Institute of Technology）计算机科学与技术学院数授、博士生导师，以及人工智能与自然语言处理实验室主任。 刘挺教授的研究领城通盖人工智能、机器学习、自然语言处理等方面，炮在这些领或中做出了杰出的贡Rt。 他是《IEEE Transactions on Neural Networks and Learning Systems》和≤ACM Transactions on Asian and Low-Resource Language Information Processing) 等重要国际期刊的编委，也胃多次担任国际计算语言学领规的顶级会议ACL（Association forComputational Linguistics)）的程序委员会主廖或领域主席。 刘艇教授多次获得国际和国内学术奖项，包括2018年度"CCF（中国计算机学会）人工智能领域态出责就奖”、2017年度“国家白然科学基金委杰出青年科学基金”、2015年度CCF青年科学家奖”等，他也是多个国际计算机科学组织的会员和顾问，积极促进中外学术界的交流与合作。 符号化的知识v.s.大模型中以参数存储的知识R ·符号化表示的知识 参数化的知识（大模型作为知识库） 图灵奖在什么时候设立？ 图灵奖（ACMA.M.TuringAward）是计算机科学领域最高莱誉之一，以纪念英区数学家、遇辑学家、密码学家艾伦图灵（AlanTuring）的贡献而设立。图灵奖由美国计算机协会(ACM）于1966年设立。 优势分析CR ·实时动态的更新·基于检索获取信息，可溯源可追踪，人工构建，可信度高 ，遵从以自然文本形式提供的指令 ：基本的推理能力 大模型擅长于可泛化的语言理解和推理，但并不擅长于记忆特定的知识 基于检索技术从离散知识库中检索知识增强大模型 CR检索增强的大语言模型 如今： REPLUG: Retrieval-Augmented Black-Box Language Models. arXiv:2301.12652.2023.1 R关于事理知识：ChatGPT无法对实时事件进行响应 实时事件理解 重要进展？发生原因？影响几何？ 终于结束了！加享大央行成为全球首个停下加息“狂飘”的主要央行 加大央行最近加息情况如何？为什么？ 根据我了解到的信息，加拿大央行最近加息了，具体来说，加拿大央行在2022年10月26日将其隔夜利率提高了25个基点，至1.00%。 Bank of Canada maintains policy rate, continuesquantitative tightening 加拿大央行此举是为了应对通胀压力，特别是由于新冠疫情造成的全球供应链问题导致的物价上涨。央行表示，经济数据显示，加拿大经济正在强劲复苏，并且物价压力已经持续了一段时间。央行认为，加息有助于控制通胀并防止经济过热。 此外，央行还表示，它将继续密切关注经济和通胀情况，并在必要时采取进一步的行动。 R事理图谱的研究意义 口现有的知识库普遍是以“概念及概念间的关系”为核心的，缺乏对“事理逻辑”知识的挖掘 口事理逻辑（事件之间的演化规律与模式）是一种非常有价值的人类知识，挖掘这种知识对我们认识人类行为和社会发展变化规律非常有意义 事理图谱定义R 口事理：Eventics（类比物理、生理） 口事理图谱：EventicGraph（EG） 口英文译法类比：语义Semantics，语义网SemanticWeb 口定义：事理图谱是一个事理逻辑知识库，描述了事件之间的演化规律和模式。结构上事理图谱是一个有向有环图，节点代表事件有向边代表事件之间的顺承、因果、条件和上下位等逻辑关系。 R事理关系 基于多粒度事理图谱的实时事件跟踪OR 基于多粒度事理图谱优化大模型呈现效果 事理图谱提供事件发展脉络的归纳，提供智慧大脑设计合适的prompt，使得大模型能够动态整合事件要素，发现关键事件，优化输出图谱深度 R通过构建事理图谱，对事件发展抽丝拨茧 知识增强的可信自然语言理解 因果机制引导的稳定自然语言理解 基于大模型辩论的去偏自然语言理解 结果的不稳定：因果关系下的视角R Common Cause Principle 如果两个随机变量X与Y表现出了统计上的相关性，那么一定存在另一个随机变量Z，Z为X与Y的共因 结果的不稳定：因果关系下的视角R 如何区分表面线素与语义信息，使模型仅利用语义信息？ 借助先验知识识别表面线素 经验性的稳定的自然语言理解方法 >经验性地捕获数据集中表面线索，随后排除表面线索的于扰 ，依赖研究者对于数据集中表面线索的经验性知识，探测可能存在表面线索的样本·依赖经验性假设，从数据集中自动捕获表面线索，小数据集上，模型倾向于捕获表面线索·弱模型倾向于利用表面特征 》“经验”与实际情况之间可能存在偏差 ·经验性假设并不必然成立：经验性地获得的表面线素和模型所利用的表面线索可能存在差距限制了模型表现 CR基于因果不变性的稳定自然语言理解 语义信息与表面线索的关键区别在于是否具有因果不变性 表面线索：与任务标签之间为相关关系：语义信息：与任务标签之间为因果关系因果不变性：语义信息与任务标签之间的因果关系在各个样本上均成立 利用语义信息与表面特征在因果不变性上的区别，探测表面线素分布 ·利用表面线索的模型不具有因果不变性，若能找到模型违反因果不变性的实例，则可能能够探测到模型所利用的表面线索 通过约束模型，使得模型具备因果不变性，从而排除表面特征带来的影响 R基于因果不变性的稳定自然语言理解 训练过程 ：两个交替进行的环节：表面线索发现/因果不变性约束下的模型训练：实现表面线索分布的动态更新 知识增强的可信自然语言理解 因果机制引导的稳定自然语言理解 三基于大模型辩论的去偏自然语言理解 大模型存在偏置R 大模型执行常识推理任务： ChatGPT(gpt-3.5-turbo) 我认为删除文档是最直接可以删除语法错误的办法. 我觉得敲退格键能够删除语法错误并保留大部分的工作，是最划算的选择 大模型对部分知识的偏好使得大模型在常识推理任务上表现不佳！ 大模型之间进行辩论R >动机 ·不同大模型有不同的偏好，这些偏好会导致模型在下游任务上的性能有所折扣 ，辩论能够使得参与者探索他们自己对向题的理解，发现与他人在概念上的差异，利用新的证据反驳他人，或者向他人妥协，完善和提升自己 大模型之间进行辩论R 解决思路 Question：处理文档的时候，我犯了一个语法错误，请问后面会发生什么？ Question:马路是湿的，请问这是什么原因导致的？ 马路是湿的很有可能可能是因为刚下了场大雨 我认为删除整个文档重新输入是一个最直接的方法 我认为可能是有人把水泼在马路上，导致马路是湿的 我觉得敲退格键是更可能的方法，因为它可以直接删除错误，并保留大部分的没有问题的工作 我不认同你的观点，下雨是一个导致马路变湿的常见原因，往马路上泼水这个事情并不是很常见 对不起，你是对的，敲退格键确实是个成本更低的方法，会被大家普追采用 (b）模型通过发现别人观点上的漏洞或者是不合理的部分，对别人更不合理的观点进行反驳 (a）模型通过对比，可以发现自己的缺陷从而向更合理的观点妥协 大模型之间进行辩论R >主要方法 多个大模型独立