大模型：从单词接龙到行业落地

杨洋，浙江大学 人工智能前夜：图灵测试 图灵测试会在测试人在与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问门问过一些问题后，如果超过30%的答复不能使测试人认出哪个是人、哪个是机器的回答，那么这台机器就通过了测试，并被认为具有人类智能。 人工智能前夜：图灵测试 在提出图灵测试的《计算机器与智能》一文里，图灵描述了想象中未来的智能计算机测试可能的样子（人提出问题，计算机回答）： Q：请给我写一首有关福思桥（ForthBridge）主题的十四行诗。A：这种事情别找我。我从来都不会写诗 文学 Q：34957+70764等于多少？A:（停顿了约30秒后再给出答案）105621 数学 Q：在国际象棋中，我在K1处有一个王，除此之外没有棋子了。你在K6处有一个王且在R1处有一个车。现在你会怎么走？A：（15秒停顿后）将车移动到R8，然后将死。 逻辑 大模型与图灵测试 文学 数学 You You 请给我写一首有关福思桥（ForthBridge）主题的十四行诗。 34957+70764等于多少? ChatGPT ChatGPT 在福思桥上横跨天际，钢铁雄伟贯穿云宵。巍哦身姿如梦幻，下，展翅飞翔， 34957+70764等于105721 逻辑 You你会下国际象棋吗？ 红色末穆如晚霞，寻常人间难得见。迎风飘扬铁索声，音律奏响过往年。 ChatGPT 是的，我可以提供国际象棋方面的信息和建议。如果你有任何关于国际象棋的问题，或者想要进行象棋对局的话，我会尽力帮助你。 过去百年光阴深，桥上列车穿梭间。时光在再如梦幻，福思桥，永垂不朽颜。 You 我在K1处有一个王，除此之外没有棋子了。你在K6处有一个王且在R1处有一个车。现在由你走，你会怎样走？ ChatGPT 在这种情况下，我可以进行一次长移动，将手移动到L6处，这是合法的走法，因为在L这个位置，你的车无法直接提住我的至据分析及ofice字） 大语言模型：单词接龙 大语言模型：单词接龙 大语言模型：单词接龙 单词接龙：通过条件概率计算实现 给定上下文（Context）计算下一个生成词（Token）的概率口根据所计算的条件概率进行采样获得生成词，拼接至上下文末尾，并预测下一个生成词，直至生成一个结束符（End-of-Sequence，EOS）利用Transformer计算条件概率 将各类下游任务转化为单词接龙 输入：景点（（如断桥残雪）输出：该景点所在城市 为什么单词接龙？ 针对特定任务的端到端学习 <断桥残雪，杭州>，<长城，北京>，<故宫，北京>…输入数据标注 预训练-微调：机器学习新范式 预训练 杭州是中国浙江省的省会城市，是一座历史悠久直富有文化的城市，被誉为”人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。 如何培育小火龙，成为宝可梦世界冠军？ 如何培育小火龙，成为宝可梦世界冠军？ 预训练的优势：从训练的角度 顽训练数据：网页、书籍、新闻、对话等多种类型的无标注数据 杭州是中国浙江省的省会城市，是一座历史悠久直富有文化的城市，被誉为”人间天堂。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖者称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。 10月下旬，这则消息引发广泛关注。玛莎拉蒂母公司斯泰兰蒂斯集团15亿欧元入股浙江零跑科技股份有限公司，10月下旬，这则消息引发广泛关注。拥有自研智能动力、智能网联、智能驾驶三天核心技术，工厂预计年产可达70万辆...在零跑科技创始人朱江明看来，这次强强联合，将是企业欧洲布局的重要一步。 传统NLP任务鲜有超过1GB的标注数据用于模型训练GPT3使用45TB数据进行预训练 大模型从海量无标注数据中学习了物理世界的知识以及人类遣词造句的模式数据分析及office学习 预训练的优势：从应用的角度 大模型的训练 监督微调（SFT）：通过经标注的[输入-输出]对数据调整模型部分参数，优化特定任务性能指令微调（InstructionTuning）：通过[指令-输出]对使模型泛化到未见过的指令<5% 大模型的训练 监督微调（SFT）：通过经标注的[输入-输出】对数据调整模型部分参数，优化特定任务性能指令微调（InstructionTuning）：通过[指令-输出]对使模型泛化到未见过的指令强化学习（RLHF）：通过人类对回答的评分训练奖励模型，再用强化学习对齐人类偏好（如安全性、流畅性等）公众号·史老师数据分析及office学习 如何让大模型输出更好的结果？ 大模型的三大问题 幻觉 “在一个黑暗的夜晚，古堡里的居民们聚在壁炉旁 “突然，一群穿着未来科技装备的士兵从天而降，他们携带着激光枪，手中高举光剑，准备与古堡中的恐龙进行战斗。 检索增强生成（RAG) 使用案例 根据最新的官方消息和可靠爆料，2025年宝可梦系列将有一款重新作发售，而2024年暂无全新正统作品推出，以下是具体信息： 2025年宝可梦新作 1.《宝可梦传说Z-A》 6发售时间：2025年（具体日期可能为8月15日，根据亚马逊泄露信息）68。 ，回归MEGA进化系统，战斗策略性更强2。，舞台设定在“密阿雷市”（卡洛斯地区），主打人与宝可梦共存的都市再开发主题（26。“由《宝可梦传说：阿尔宙斯》团队开发，可能延续开放世界玩法10， 其他信息： ，该作已获评"2025年最受期待游戏奖项10。·2025年被官方定为“伊布年，可能暗示新伊布进化形态登场艺。 2024年宝可梦相关动态 ：无全新正统续作，但有以下更新： 《宝可梦朱/紫》持续推出"七星最强太晶团体战等活动2。o：衍生手游《PokemonTradingCardGamePocket》（宝可梦卡牌手游）预计2024年上线2。《PokemonSleep》新增"三圣兽（雷公、炎帝、水君）等更新4， 总结 ?2024年：主要是现有游戏的更新和衍生手游，无全新正统作品。：2025年：《宝可梦传说Z-A》将是核心新作，预计8月发售，值得期待6810。 Searchresults 2024//00 《宝可梦》系列时最移突破1亿，2025年新作束装二游戏玩家_全球 新作的的期在诺入记的量的联时影，任天堂还宜布，（宝）系乳的新作（常可款持送2-A格于2025年全联带步发布。 根据最新的官方消息和可靠爆料，2025年宝可梦系列将有一款重磅新作发售，而2024年暂无全新正统作品推出。以下是具体信息： M码2024/03/27 《宝可梦传说Z-A>新作正式公布：2025年发售，MEGA国妇_mon_Pok_活动 在今德单行的宝的梦）格m意能活动PokemonPresen发车会上，GameFreak正式公多了全新的（宝可梦调Z-A）作 2025年宝可梦新作 1.7《宝可梦传说Z-A》 9B#20248101 舒电竞酒店-宝可梦新作质计于2025年发售；来游登顶202-今日头条 0发售时间：2025年（具体日期可能为8月15日，根据亚马逊泄露信息）68. 首再讲说实可梦系事的新游戏常可禁伤说Z·A），丽说速款尊戏带在2026年格出限收事情照设在卡第斯能同需，通据在 回归MEGA进化系统，战斗策略性更强2：，舞台设定在密阿雷市”（卡洛斯地区），主打*人与宝可梦共存"的都市再开发主题26。，由《宝可梦传说：阿尔宙斯》团队开发，可能延续开放世界玩法10， M12925/0319 (PokemonSleep）首度出现「三圣兽）掌公、资谢、水君（PokemonGO》联动宝可款地平线》 在少年的宝可梦日，禁了公车榜手2026年发行的新作（全间岁 其他信息： e30M3R2024/02/27 该作已获评*2025年最受期待游戏~奖项10。·2025年被官方定为"伊布年”，可能暗示新伊布进化形态登场7。 《宝可梦传说Z-A3公东2025年登陆Switch_3DM单机 今日口最联公周公寿了宝可梦系新作《宝得梦停讲Z-A）， 2024年宝可梦相关动态 预线207%/01/59 《宝可梦传谢Z-A3发售日期成定于2026年8月15日，亚品进播示潜在新作信息游效_玩家二进化 无全新正统续作，但有以下更新： 采日，来自有国量导语网站的一事用息，引发了万千宝可梦格让的热关注一这送款斯新件款试售日期或将定于2026年8月15日，宽使 衔生手游《PokemonTradingCardGamePocket》（宝可梦卡牌手游）预计2024年上线2。《PokemonSleep》新增"三圣兽”（雷公、炎帝、水君）等更新4 30M82020102 《宝可多》官方宜布2025年为“伊布年"_3DM单机 对式外域生urogam情道，等手2025事发的（宝可梦传说Z人），吸许会出限全新的伊源诺化用态单典自伊存的第8个语化用。 总结 82076/01/30 亚马进意外港露（宝可梦传说Z-A》发售日期：2026年8月15日值得端满戏_玩家_系列 .2024年：主要是现有游戏的更新和衔待生手游，无全新正统作品。.2025年：《宝可梦传说Z-A》将是核心新作，预计8月发售，值得期待6810. 英目，原双黑内一引发了众多家的美注一莫国至妈速思外博（宝可禁传说-A的期发售日用6配分2026年8月15日 20230799 待新《宝可梦传说》旺天堂2025年Switch新作萍容落戏_玛格诺利亚_平台 已销北转于2026年售的5ch单：海别归0 RAG的优势 明确信息的来源，提升可解释性 幻觉 利用外部数据源补充长尾知识 偏见 过时 实现轻量级的垂域私有化部署公众号史老师数据分析及office学习 思维链“咒语” X8(andno) Pr（答案问题）问题->答案 (Test-time Scaling)推理时扩展 扩展大规模自监督预训练阶段的计算量一→扩展推理时的计算资源以获得更好的结果 Howmanyrinraspberry? Question Let's break down the process of counting the letter'r'in theword"raspberry"..* First letter: 'r'- This is an 'r', count = 1.* Second letter: 'a' - Not an 'r', count remains 1 ..* Sixth letter: 'e' - Not an 'r', count remains 1.* Seventh letter: 'r'- This is an 'r', count = 2.* Eighth letter: 'y' - Not an 'r', count remains 2 ..The number of 'r's in "raspberry"is 2.Wait, let's re-read the question carefully.It asks"How manyrin raspberry?" ... * r - a -s - p-b -e-r -r-y... * First'r'...*Second 'r' ...* Third 'r'... Count = 3 ...Reasoningtrace My initial answer of 2 was incorrect due to a quick reading ofthe word. Final Answer: The final answer is 3Response S