AI智能总结
在本文档中,我将披露我收集到的有关OpenAI(延迟)到2027年创建人类级AGI的计划的信息。并非所有这些都很容易验证,但希望有足够的证据说服您 摘要:OpenAI于2022年8月开始训练125万亿参数多模态模型,第一阶段是Arrakis,也称为Q *。模型于2023年12月完成训练,但由于推理成本高,发布被取消。这是计划于2025年发布的原始GPT - 5。Gobi(GPT - 4.5)已更名为GPT - 5,因为原始GPT - 5已被取消。 Q *的下一阶段,最初是GPT - 6,但更名为GPT - 7(最初于2026年发布),由于埃隆·马斯克最近的诉讼而被搁置 Q * 2025(GPT - 8)计划于2027年发布,实现完整的AGI Elon Musk因为他的诉讼而导致延误。这就是为什么我现在要透露这些信息,因为无法造成进一步的伤害 我看过很多关于AGI的定义— —通用人工智能— —但是我将AGI定义为一种人工智能,它可以做任何一个聪明人所能做的智力任务。 2020年是我第一次被AI系统震惊-那就是GPT - 3。GPT - 3的升级版GPT - 3.5是ChatGPT背后的模型。当ChatGPT发布时,我觉得更广阔的世界终于赶上了我两年前与之互动的东西。我在2020年广泛使用了GPT - 3,并对其推理能力感到震惊。 GPT - 3及其半步后继GPT - 3.5(为现在著名的ChatGPT提供动力-在2023年3月升级为GPT - 4之前),是朝着AGI迈出的一大步,而早期的模型不是。需要注意的是,像GPT - 2这样的早期语言模型(以及自Eliza以来的所有聊天机器人)根本没有真正的连贯响应能力。那么为什么GPT - 3如此巨大? 参数计数 “深度学习”是一个概念,基本上可以追溯到20世纪50年代人工智能研究的开始。第一个神经网络是在50年代创建的,现代神经网络只是“更深”的,意思是,它们包含更多的层-它们更大,并且可以在更多的数据上进行训练。 如今,人工智能中使用的大多数主要技术都植根于1950年代的基础研究,并结合了一些次要的工程解决方案,例如“反向传播”和“变压器模型”。总体而言,人工智能研究在70年中没有发生根本性变化。因此,最近人工智能能力激增的真正原因只有两个:规模和数据。 该领域的越来越多的人开始相信我们已经解决了AGI的技术细节数十年,但直到21世纪才有足够的计算能力和数据来构建它。显然,21世纪的计算机比1950年代的计算机强大得多。当然,互联网是所有数据的来源。 那么,什么是参数?您可能已经知道了,但是要简要总结一下,它类似于生物大脑中的突触,这是神经元之间的连接。生物大脑中的每个神经元与其他神经元大约有1000个连接。显然,数字神经网络在概念上类似于生物大脑。 … 那么,人脑中有多少个突触(或“参数”)? 大脑中最常见的突触计数数字大约是100万亿,这意味着每个神经元(人脑中的约1000亿)大约有1000个连接。 如果大脑中的每个神经元都有1000个连接,这意味着一只猫大约有2500亿个突触,一只狗有5300亿个突触。突触计数通常似乎可以预测更高的智力,除了少数例外:例如,大象在技术上的突触计数比人类高,但智力却低。 对于智力较低的突触计数较大,最简单的解释是质量数据较少。从进化的角度来看,大脑是在数十亿年的表观遗传数据上“训练”的,人类的大脑是从比大象更高质量的社交和交流数据进化而来的,导致我们优越的推理能力。不管怎样,突触计数绝对重要。 同样,自2010年代初以来,人工智能能力的爆炸式增长是计算能力和数据多得多的结果。GPT - 2有15亿个连接,少于老鼠的大脑(约100亿个突触)。GPT - 3有1750亿个连接,这与猫的大脑有些接近。 从直觉上看,猫大脑大小的AI系统是否会优于比老鼠大脑小的AI系统? 预测AI性能 2020年,在1750亿参数GPT - 3发布后,许多人猜测一个模型在100万亿参数下的潜在性能~ 600倍,因为这个参数计数将与人脑的突触计数相匹配。2020年没有强烈的迹象表明任何人都在积极研究这种大小的模型,但猜测很有趣。 最大的问题是,是否可以通过参数计数来预测AI性能?事实证明,答案是肯定的,正如您将在下一页看到的。 正如Laria所说明的那样,外推表明,在人类大脑大小与参数计数相匹配的同时,AI表现似乎莫名其妙地达到了人类水平。他对大脑中突触数的计数大约是200万亿参数,而不是通常引用的100万亿数字,但这一点仍然存在,100万亿参数的性能非常接近最佳。 顺便说一句,需要注意的一件重要的事情是,尽管100万亿在性能上有点不理想,但OpenAI正在使用一种工程技术来弥合这一差距。我将在文档的最后解释这一点,因为它对OpenAI正在构建的东西至关重要。 Lanrian的帖子是许多类似的在线帖子之一-它是基于以前模型之间的跳跃的性能推断。OpenAI当然有更详细的指标,他们已经得出了与Lanrian相同的结论,正如我稍后将在本文档中展示的那样。 那么,如果AI性能是基于参数计数可预测的,并且〜100万亿参数对于人类级别的性能来说就足够了,那么100万亿参数AI模型何时发布? GPT - 5在2023年底实现了原始AGI,智商为48 第一次提到OpenAI正在开发的100万亿参数模型是在2021年夏天,在Cerebras首席执行官(Andrew Feldman)的有线采访中提到了这一点,Sam Altman是该公司的主要投资者。 在2021年9月举行的名为AC10的在线聚会和问答中,Sam Altman对Andrew Feldman的回应。 至关重要的是要注意Sam Altman ADMITS对其100万亿参数模型的计划。 (来源:https: / / albertoromgar. medium. com / gpt - 4 - a - viral - case - of - ai - misinformation - c3f999c1f589 reddit帖子本身来自LessWrong帖子,该帖子是在Sam Altman的要求下删除的:https: / / www. l esswronly. com / posts /aihztgJrknBdLHjd2 / sam - altma n - q - and - a - gpt - and - agi) 人工智能研究人员伊戈尔·拜科夫(Igor Baikov)在几周后声称,GPT - 4正在接受训练,并将在12月至2月之间发布。再次,我将证明伊戈尔确实拥有准确的信息,并且是可靠的来源。这将很快很重要 Gwern是AI世界中的著名人物-他是AI研究员和博客。他在Twitter上(2022年9月)向Igor Baikov发送了消息,这是他收到的回应。 重要的是要记住:“大量参数”。“文本”,“音频”,“图像”,“可能是视频”,和“多式联运”。 这来自一个名为“thisthewayitwillbe ”的subreddit,这是一个小型的私人subreddit,我是其中的一部分,由一位对AGI感兴趣的数学教授运营。AI爱好者(和一些专家) 使用subreddit来讨论比你在主流中发现的更深入的AI主题。 “庞大的参数数量”?听起来像伊戈尔·拜科夫引用了一个100万亿参数模型,因为到2022年夏天他的推文发布时,已经对5000亿参数模型和多达1万亿参数模型进行了多次训练(使这种大小的模型毫无例外,当然也不是“巨大的”)。 这些来自“rxpu ”的推文似乎是来自土耳其的AI发烧友(?),很有趣,因为它们在其他人之前就对GPT - 4的发布窗口提出了非常相似的声明(相信我-我每天花很多时间在互联网上搜索类似的声明,而在他之前没有人提出这个具体的声明)。 他还提到了一个“125万亿突触” GPT - 4 -然而,他错误地指出GPT - 3的参数计数为1万亿。(似乎rxpu确实有内部信息,但得到了一些与参数计数混合的东西-再次,我将在后面说明,并证明rxpu没有说谎)。 … 这是一个较弱的证据,但值得包括在内,因为“roon ”作为硅谷人工智能研究员相当值得注意,其次是OpenAI首席执行官Sam Altman和Twitter上的其他OpenAI研究人员。 2022年11月,我联系了一位名叫Alberto Romero的AI博客作者。他的帖子似乎在网上传播得很远,所以我希望如果我向他发送一些关于GPT - 4的基本信息,他可能会写一篇文章,这个词就会传出去。 这次尝试的结果非常出色,我将在接下来的两页中展示。 Alberto Romero的帖子。一般回复将显示在下一页。 100万亿个参数泄漏风靡一时,覆盖了数百万人,以至于包括首席执行官萨姆·奥特曼在内的OpenAI员工不得不做出回应— —称之为“完全胡说八道”。边缘称之为“事实上不正确”。正如你在左边看到的那样,阿尔贝托·罗梅罗声称对泄漏负责。 … 伊戈尔·拜科夫,“巨大数量的起源” 参数”的声明,也看到了GPT - 4泄漏的病毒传播(这基本上是他自己做的),并做出了回应。 所以,毕竟,当他说“大量参数”时,伊戈尔确实意味着“ 100万亿参数”。 但是,伊戈尔是可靠的消息来源吗?他的其他说法是否准确?多模态呢? GPT - 4处理图像、声音和视频的能力怎么样?我将很快证明伊戈尔的可靠性。 在2022年10月/ 11月左右的某个地方,我确信OpenAI计 划在发布之前首先发布GPT - 4的1 - 2万亿参数子集 完整的100万亿参数模型(“GPT - 5 ”)。 这些来源不是特别可靠,但他们都说了同样的话-包括rxpu, 他曾经声称有一个125万亿的参数模型,然后错误地声称GPT < --- (日期:2022) - 3是1万亿-我相信他把他的信息搞混了。 这里的消息来源可信度各不相同(Jyri和Leeor是旧金山的投资者,Harris是一名人工智能研究员),但他们都莫名其妙地说同样的话— — GPT - 4正在2022年10月/ 11月进行测试。据美国军事人工智能研究人员称(从2022年10月起)切丽· M ·波兰,它肯定是在10月份接受训练的,这再次与伊戈尔·拜科夫的泄密相一致。 … OpenAI的官方立场,正如Sam Altman本人所证明的那样,100万亿参数GPT - 4的想法是“完全胡说”。这是对的一半,因为GPT - 4是完整的100万亿参数模型的1万亿参数子集。 为了说明100万亿参数模型尚未到来,并且仍在开发中,Semafor在2023年3月(GPT - 4发布后不久)声称GPT - 4是1万亿参数。(OpenAI拒绝正式披露参数计数)。 OpeAI声称GPT - 4在8月份“完成了训练”,而我们知道一个“巨大的”多模态模型在8月到10月之间正在训练。对此的一种解释是,OpeAI撒谎了。另一种可能性是,1万亿参数GPT - 4可能在8月完成了第一轮训练,但在8月至10月之间进行了额外的再训练,这也是整个100万亿参数模型的大部分训练时间。 我现在将提供GPT - 4的证据不仅接受了文本和图像方面的培训,还接受了音频和视频方面的培训。 弗朗西斯·赫勒似乎中等可信,但 这一页不是最可靠的证据-我把它包括在内,因为它似乎证实了其他来源弗朗西斯是一位投资者、企业家和作家。 他在推文中列出的信息 找不到“网络耗尽”的团队 在任何其他出版物,任何泄漏或任何在线帖子中,所以他没有 从其他地方“窃取”它。 一个令人难以置信的坚实的来源在下一页。 微软德国首席技术官,在GPT - 4正式发布前一周,似乎已经滑倒并透露存在一个GPT - 4,它具有处理视频的能力。我想他不知道OpenAI决定不透露系统的视频功能。 这完全证明了GPT - 4 / 5不仅训练了文本和图像,还训练了视频数据,当然我们可以推断音频数据也包括在内。 显然