大模型时代的危与机

张奇 复旦大学 ChatGPT仿佛电影中的AI就在眼前 ChatGPT给公众展现出来的是无所不能 大模型认知 语言模型预训练完成后，仍然需要大量标注数据 very low latency (<30 mins)high throughput (~5,000 labels/hr) https://scale.com/blog/how-to-label-1m-data-points-week 大模型认知 语言模型预训练完成后，仍然需要大量标注数据 OpenAILLC has reportedly hired about1,000 contractorsover the past six months. About 60%of the 1,000 hires reportedly onboarded in the past six months work on data labeling projects. A software developer in South America who completed a five-hour unpaid coding test forOpenAItoldSemaforhe was asked to tackle a series of two-part assignments.First, he was given a codingproblem and asked to explain in written English how he would approach it.Then, the developer wasasked to provide a solution.If he found a bug,OpenAItold him to detail what the problem was andhow it should be corrected, instead of simply fixing it. https://siliconangle.com/2023/01/27/report-openai-hired-1000-contractors-improve-ai-models-coding-capabilities/ 大模型认知 语言模型预训练完成后，仍然需要大量标注数据 GPT-NeoXT-Chat-Base-20B-v0.16 TLDR:AspartofOpenChatKit(codebaseavailablehere),GPT-NeoXT-Chat-Base-20B-v0.16isa20Bparameterlanguagemodel,fine-tunedfromEleutherAI’sGPT-NeoXwithover40millioninstructionson100%carbonnegativecompute. 6 https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B 大模型认知 大模型认知 所谓的能力涌现也许仅是评价指标的问题 LLM涌现能力的两个决定性属性： 在BIG-Bench任务中，>92%的涌现能力是这两个度量下出现的：1.敏锐性，从「不存在」到「存在」似乎只是瞬间的过渡；2.不可预测性，在看似不可预见的模型规模内过渡。 随着模型规模提升，如果将度量从非线性/不连续的度量（图2CD）换成线性/连续的度量（图2EF），具有有平滑的、连续的、可预测的性能提升。 大模型认知 不能迷信和依赖任务能力涌现 大模型认知 不能迷信和依赖任务能力涌现 大模型认知 大模型是否真的具备推理能力仍然有待讨论 ChatGPT和GPT-4都擅长解决著名的逻辑推理阅读理解基准，但在处理分布外数据集方面很困难。它们在需要逻辑推理的自然语言推理任务上的性能仍有待提高。 大模型认知 不是所有场景下都必须要使用千亿大模型 语言学任务：词性、句法、组块语义任务：语义匹配、关系抽取等世界知识任务：指代消解 猴子吃了那个香蕉，因为它饿了猴子吃了那个香蕉，因为它熟透了 同一个时代没有什么黑科技 当前时代机器学习基础理论是什么？ 模型：学习什么样的模型策略：按照什么样的准则学习或选择最优的模型算法：学习模型的具体计算方法数据：高质量、大规模训练数据 ChatGPT真正做的事情—文字接龙 大模型真正展现了什么能力？ 超强的文本建模能力：25K英文单词的理解和生成能力 多任务统一学习范式：将所有NLP任务统一到生成式多任务学习框架 任务泛化能力：数千种任务统一框架学习后，部分无标注数据任务上效果很好 机遇在哪里？ 小模型时代的难点 任务开发成本高、时间周期长 相同任务的微小需求变化，需要30%-70%的重新开发成本，无法产品化 模型开发和维护成本高 高水平算法研究员稀缺 将来会演变成什么样子？ 任务范式发生巨大变化 使用自然语言对模型进行训练和使用 【句子输入】，上述文字表达了褒义和贬义倾向？ 【文章输入】，上述文章中包含哪些公司主体？ 大模型优势 非常少量算法研究员 新任务可以快速训练，并且不需要模型重新部署低成本产品化 可以应用于哪些场景—银行 银行应用方式 【句子输入】，上述文字表达了褒义和贬义倾向？ 【文章输入】，上述文章中包含哪些公司主体？ 大模型时代的自然语言处理研究变化 大模型时代从单个小任务的研究，转向一类问题统一框架研究 挑战：赢者通吃，不紧跟步伐就会造成代差，并且不容易弥补 对话交互方式，使得先发优势更加明显，用户数据无法获取的情况下，追赶代价更大 机遇：NLP从手工作坊转向蒸汽机时代，人工智能的Iphone时代来临面向B端私有化部署的"小"模型 大模型时代的NLP研究重点 领域大模型----对话、摘要、改写、NLP任务集成等1B-50B模型族大模型可控文本生成大模型隐私大模型鲁棒性评测与提升超小规模任务模型构建1M-50M-->是否可以脱离深度神经网络？大模型推理能力构建大模型可解释性因果机制与大模型融合中文开源大模型族1-20B 怎么搞？ 不同的业务类型差别很大 模型需求稳定，模型数量少，目前效果较好 大模型的长距离建模能力，解决歧义问题 模型需求稳定，但效果亟待提升 AIGC：对话、问题、生成等 特别提醒：大多数情况下仍然依赖一定数量的训练数据 如何搞 如何搞 Megatron-DeepSpeedNVIDIA/Megatron-LM 如何搞 如何搞 大模型需要： 1.好的基础语言模型2.任务训练数据要足够3.任务训练方法要合适 如何搞 1.基础语言模型选择 •中英文能力、Code能力、模型大小•任务相关文本增强 2.任务数据构造 •任务种类、指令构造、数据构造 3.类人回答 •Award函数选择、Award函数训练 如何搞 InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction Task:NER Please list all entity words in the text that fit the category.Output format is ( word1, type1), ( word2, type2).Option: location, else, organization, personText: Germany 's representative to the European Union 's veterinary committee Werner Zwingmann said on Wednesday consumers should buy sheepmeatfrom countries other than Britain until the scientific advice was clearer .Answer:( Germany, location), ( European Union, organization), ( Werner Zwingmann, person), ( Britain, location) 不要神话和拟人化大模型依然是统计机器学习范畴 C端—大模型B端—"小"模型 谢谢！