原始标题: Dario Amodei — "We are near the end of the exponential
发布日期: 2026-02-13 | 来源频道: @DwarkeshPatel
📝 深度摘要
1. 思想地图:全景逻辑树
这场长达142分钟的硬核对话,实质上是Dario Amodei对自己近年来关于AI发展核心思想的系统阐述与辩护。Dwarkesh Patel以其标志性的追问风格,从第一性原理出发,层层剥开Anthropic CEO对未来十年AI演进轨迹的完整世界观。
对话的逻辑起点建立在一个核心断言之上:AI的底层技术指数级增长已接近尾声,但我们正处于一个特殊的历史拐点——这个拐点将人类认知能力与机器智能之间的差距压缩到前所未有的程度。Dario用"data center中的天才之国"(Country of Geniuses in a Data Center)这一意象来描述即将到来的AI形态:它不是一个具备自我意识的实体,而是一个拥有相当于一个国家天才级人类智力总和的AI系统,能够完成目前只有人类顶尖专家才能胜任的工作。
整个对话的逻辑推演遵循一条清晰的路径:首先是技术层面,Dario论证了scaling laws仍然有效,无论是预训练还是强化学习阶段,都呈现出类似的指数级增长模式。其次是时间线层面,他给出了自己极高的置信度预测:在一到三年内实现这一目标有50%的把握,在十年内实现有90%的把握。再次是经济层面,他详细拆解了AI如何从技术能力转化为实际的经济价值,包括对软件开发、医药研发、机器人等行业的深远影响。最后是治理层面,他探讨了AI带来的前所未有的安全挑战,以及在专制与民主、发达国家与发展中国家之间如何分配AI红利的棘手问题。
这场对话的深层张力在于:Dario对技术进步的极端乐观与对治理挑战的深刻忧虑之间的碰撞。他既认为AI将带来前所未有的繁荣,也可能加剧地缘政治紧张甚至催生新型威权主义。这种内在的张力构成了整场对话最引人入胜的思想风景。
2. 核心命题深度拆解
模块一:AI算力墙的真实物理边界与Scaling Laws的持续有效性
核心断言:尽管存在物理限制(电力、芯片制造),但AI的scaling laws——无论是预训练还是强化学习阶段——仍将在未来一到三年内持续发挥作用,最终达到"data center中的天才之国"这一里程碑。
命题背景
在2020年至2023年间,AI领域最激动人心的故事是预训练Scaling Laws的发现:随着训练计算量(FLOPs)的增加,模型性能呈现出可预测的log-linear提升。这一规律使得业界能够以极高的置信度规划未来的模型能力。然而,进入2024年后,公众观察到一个令人困惑的现象:预训练 Scaling Laws仍然是公开的秘密,但强化学习(RL)Scaling Laws的细节却成为各大公司的核心机密。更重要的是,关于算力瓶颈的讨论甚嚣尘上——电力供应、芯片产能、数据中心建设周期——似乎都在暗示物理世界正在给AI的指数级增长设置天花板。
核心论证过程
Dario的核心论证建立在他称之为"Big Blob of Compute Hypothesis"(大块计算假说)的框架之上。这一假说的核心观点是:所有花哨的技术技巧最终都不重要,真正重要的只有少数几个变量。他明确列出了这七个变量:一是原始算力总量(how much raw compute you have),二是数据数量(quantity of data),三是数据质量与分布(quality and distribution of data,需要广义的分布),四是训练时长(how long you train for),五是目标函数的可扩展性(an objective function that can scale to the moon,预训练目标函数和RL目标函数都属于此类),六是归一化与条件化(normalization or conditioning,确保大块计算以层流方式流动而不是出现问题),七是数值稳定性。
关于预训练,Dario指出其Scaling Laws已经在实践中被充分验证,“we feel good about pre-training, it’s continuing to give us gains”。而更重要的新发现是,RL阶段同样遵循类似的Scaling Laws。他透露了一个关键信息:“Even other companies have published things in some of their releases that say, ‘We train the model on math contests — AIME or other things — and how well the model does is log-linear in how long we’ve trained it.’ We see that as well, and it’s not just math contests. It’s a wide variety of RL tasks. We’re seeing the same scaling in RL that we saw for pre-training.”
关于物理边界,Dario给出了一个具体的产业预测:今年行业的算力建设约为10-15千兆瓦(gigawatts),明年将增长到30-40千兆瓦,2028年可能达到100千兆瓦,2029年可能达到300千兆瓦。每一千兆瓦的算力设施年成本约为100-150亿美元。这意味着到2028-2029年,行业每年的算力投资将达到数千亿美元的规模。
思想交锋实录
Dwarkesh的挑战:Dwarkesh引用了Rich Sutton的"Bitter Lesson"观点来质疑:真正具备人类学习核心能力的AI不应该需要数十亿参数的预训练和大量的RL环境来学习如何使用Excel或浏览网页。这种对"真正核心学习算法"的缺失,是否意味着我们在scaling错误的东西?
交锋过程与结果:Dario的回应展现了他对这个问题深层结构的理解。他指出,这个质疑实际上混淆了几个不同的概念。首先,预训练与人类学习的类比本身就是不准确的——他提出了一个更具启发性的类比:预训练过程更像是"人类进化与人类学习的中间态"。“The models start from scratch and they need much more training. But we also see that once they’re trained, if we give them a long context length of a million — the only thing blocking long context is inference — they’re very good at learning and adapting within that context.”
他进一步阐述了这个层次结构:存在进化、长期学习、短期学习、纯粹反应这四个层次。LLM的各个阶段分布在这个频谱上,但不在完全相同的位置。预训练界于进化与长期学习之间,上下文内学习(in-context learning)界于长期学习与短期学习之间。“There’s no analog to some of the human modes of learning the LLMs are falling in between the points.”
更重要的是,Dario认为RL与预训练在这个层面的问题上是类似的。他以历史为例:GPT-1训练在fanfiction等狭小数据集上泛化不佳,直到GPT-2使用了广泛的互联网抓取才开始具备泛化能力。“I think we’re seeing the same thing on RL. We’re starting first with simple RL tasks like training on math competitions, then moving to broader training that involves code. Now we’re moving to many other tasks. I think then we’re going to increasingly get generalization.”
模块二:AGI时间线的精确拆解与"天才之国"的真实含义
核心断言:在未来一至三年内,我们将拥有一个在数据中心中运行的"天才之国"——一个能够完成大多数智力工作、其能力总和相当于一个国家天才级人类智力的AI系统。这一预测的置信度在一年内是50%,十年内是90%。
命题背景
AGI时间线问题一直是AI圈最具争议的话题。乐观者如Sam Altman认为2027年左右可以实现;悲观者如某些研究者认为还需要数十年;还有更多人持"一切皆有可能"的模糊态度。Dario Amodei因其相对精确的时间线预测而闻名——他在三年前就预测了今天的模型能力水平,且基本准确。这次对话的核心任务之一,就是让Dario详细阐述他为何对一到三年的短时间线有如此高的信心。
核心论证过程
Dario首先区分了两个不同强度的断言。较弱的断言是:在基础假设下(十年内实现"data center中的天才之国"),他有90%的置信度。这个置信度无法再高,因为"world is so unpredictable",可能出现的干扰因素包括多家公司内部动荡、台湾被入侵、所有晶圆厂被导弹摧毁等。更强的断言是:在可验证任务(特别是编程)上,他有更高的信心:“With coding, except for that irreducible uncertainty, I think we’ll be there in one or two years. There’s no way we will not be there in ten years in terms of being able to do end-to-end coding.”
他进一步解释了他对"天才之国"的定义:这个AI系统将能够"navigate interfaces available to humans doing digital work today, intellectual capabilities matching or exceeding that of Nobel Prize winners, and the ability to interface with the physical world"。这意味着它不仅能够完成编程、数学等可验证任务,还能够处理那些难以验证的任务——包括科学发现、规划火星任务、撰写小说等。
关于具体的时间线逻辑,Dario给出了一个关键的技术推理:模型能力的演进已经非常清晰地从"聪明的高中生"到"聪明的大学生"到"开始做博士和专业工作",而在编程领域已经"reaching beyond that"(超越了博士级别)。这个演进轨迹是连续的,没有理由在可预见的未来突然停止。
思想交锋实录
Dwarkesh的挑战:Dwarkesh指出了一个有趣的矛盾——如果Dario真的相信"天才之国"即将到来,按理说应该不惜一切代价购买尽可能多的算力。但实际上,Anthropic在算力采购上相对保守,预计2027年只有约10千兆瓦的算力,这与"1-3年实现AGI"的紧迫性似乎不符。
交锋过程与结果:Dario详细解释了其中的经济逻辑。他说:“If my revenue is not $1 trillion dollars, if it’s even $800 billion, there’s no force on earth, there’s no hedge on earth that could stop me from going bankrupt if I buy that much compute. Even though a part of my brain wonders if it’s going to keep growing 10x, I can’t buy $1 trillion a year of compute in 2027. If I’m just off by a year in that rate of growth, or if the growth rate is 5x a year instead of 10x a year, then you go bankrupt.”
他进一步阐述了一个关键洞察:AI行业的经济模型与传统的"先投资后盈利"模式完全不同。在这个行业中,盈利能力实际上取决于需求预测的准确性——如果你准确预测了需求,你每年都会盈利;如果你低估了需求,你会更盈利但可能错失研究机会;如果你高估了需求,你会亏损但有更多算力用于研究。“So you end up in a world where you’re supporting hundreds of billions, not trillions. You accept some risk that there’s so much demand that you can’t support the revenue, and you accept some risk that you got it wrong and it’s still slow.”
关于"天才之国"的经济价值,Dario给出了一个令人震惊的估算:如果AI能够真正实现相当于一个国家天才的智力,其潜在的TAM(总可寻址市场)将达到数万亿美元。这包括治愈所有疾病(“cure every disease”)、发现新的科学突破、自动化软件工程等。
模块三:AI经济扩散的速度、限制与"-diffusion-is-cope"论战
核心断言:AI向经济的扩散速度极快(每年10倍的收入增长),但并非无限快。扩散的瓶颈不在于AI模型本身的能力,而在于经济体系的惯性——企业变革管理、安全合规、内部流程调整等。
命题背景
一个常见的论点认为:即使AI技术能力在快速进步,它渗透到整个经济体系中仍然需要很长时间——这个过程可能需要数十年。历史上,从蒸汽机到电力,从互联网到移动互联网,每次重大技术革新都需要相当长的时间才能充分释放其经济潜力。这就是所谓的"diffusion"(扩散)问题。然而,Dario对此持不同看法,他认为AI的扩散速度将远远超过以往任何技术。
核心论证过程
Dario首先用Anthropic自身的增长数据来支撑他的观点:“in 2023, it was zero to $100 million. In 2024, it was $100 million to $1 billion. In 2025, it was $1 billion to $9-10 billion. … the first month of this year, that exponential is… You would think it would slow down, but we added another few billion to revenue in January.”
他承认这种指数增长不可能永远持续(“the GDP is only so large”),但他认为即使曲线弯曲,AI扩散的速度仍然会非常快。他描述了一个"中间世界"(middle world)的图景:“things are extremely fast, but not instant, where they take time because of economic diffusion, because of the need to close the loop. Because it’s fiddly: ‘I have to do change management within my enterprise… I set this up, but I have to change the security permissions on this in order to make it actually work…’”
思想交锋实录
Dwarkesh的挑战:Dwarkesh提出了一个尖锐的反论,他称之为"diffusion is cope"(扩散是借口):“I feel like diffusion is cope that people say. When the model isn’t able to do something, they’re like, ‘oh, but it’s a diffusion issue.’ But then you should use the comparison to humans. You would think that the inherent advantages that AIs have would make diffusion a much easier problem for new AIs getting onboarded than new humans getting onboarded. An AI can read your entire Slack and your drive in minutes. They can share all the knowledge that the other copies of the same instance have. You don’t have this adverse selection problem when you’re hiring AI, so you can just hire copies of a vetted AI model.”
交锋过程与结果:Dario承认diffusion是一个真实的现象,但不同意它是一个"cope"的说法。他的回应强调了在大型组织中采用新技术面临的实际障碍:“Any given feature or any given product, like Claude Code or Cowork, will get adopted by the individual developers who are on Twitter all the time, by the Series A startups, many months faster than they will get adopted by a large enterprise that does food sales. There are just a number of factors. You have to go through legal, you have to provision it for everyone. It has to pass security and compliance. The leaders of the company who are further away from the AI revolution are forward-looking, but they have to say…”
但Dario也明确表达了他对"diffusion as cope"论点的部分认同:“I don’t believe we’re basically at AGI. I think if you had the ‘country of geniuses in a data center’… If we had that, we would know it. Everyone in this room would know it. Everyone in Washington would know it. People in rural parts might not know it, but we would know it. We don’t have that now.”
模块四:持续学习与"on-the-job learning"的本质追问
核心断言:尽管当前模型在"持续学习"(continual learning)方面存在短板,但即使不解决这一问题,仅凭预训练泛化和上下文内学习,就足以实现"天才之国"级别的能力。他预计持续学习问题可能在一到两年内以某种方式得到解决。
命题背景
一个重要的批评观点认为:当前的LLM无法像人类那样在工作中持续学习和适应。一个刚入职的员工需要几个月的时间来理解公司背景、业务流程、团队偏好等,而当前的AI模型即使在上下文窗口足够大的情况下,也很难做到这一点。这被一些人视为AI无法真正替代人类劳动者的根本性障碍。
核心论证过程
Dario对这一问题的回应是多层次的。首先,他指出预训练本身就可以被理解为一种广义的"学习"形式:“Again, we have these two stages. We have the pre-training and RL stage where you throw a bunch of data and tasks into the models and then they generalize. So it’s like learning, but it’s like learning from more data and not learning over one human or one model’s lifetime.”
更重要的是,他强调上下文内学习(in-context learning)已经具备了"on-the-job learning"的雏形:“You look at in-context learning and if you give the model a bunch of examples it does get it. There’s real learning that happens in context. A million tokens is a lot. That can be days of human learning. If you think about the model reading a million words, how long would it take me to read a million? Days or weeks at least.”
他以软件开发为例说明了这一点:“Coding made fast progress precisely because it has this unique advantage that other economic activity doesn’t. … by reading the codebase into the context, I have everything that the human needed to learn on the job.”
Dario进一步指出,持续学习可能根本不是一个必需的突破:“I think we may just get there by pre-training generalization and RL generalization. I think there just might not be such a thing at all.“他引用了ML历史上的多个例子——句法vs语义、统计相关vs理解、推理能力——来说明很多曾经被认为不可逾越的障碍最终都在scaling过程中被"溶解"了。
思想交锋实录
Dwarkesh的挑战:Dwarkesh以自己的亲身经历提出质疑:他尝试构建各种内部LLM工具来完成"text-in, text-out"任务,这些任务本应是模型的核心能力,但他仍然需要雇佣人类来完成。当他让模型"identify what the best clips would be in this transcript"时,模型只能做到"seven-out-of-ten job”,而且没有持续改进的方式——他无法像对待人类员工那样与模型持续互动来帮助它做得更好。
交锋过程与结果:Dario承认存在这个问题,但他认为这恰恰证明了模型的能力已经足够强大到可以产生巨大价值,只是还需要更好的交互界面和工具链来释放这种潜力:“I don’t think people would say that learning on the job is what is preventing the coding agents from doing everything end to end. They keep getting better. We have engineers at Anthropic who don’t write any code. … There’s this enormous improvement in productivity.”
他进一步预测,当上下文长度扩展到足够长(1000万甚至1亿token)时,模型将能够"阅读"相当于数月人类工作学习的内容,从而在更深层次上实现"on-the-job learning”。他明确表示:“My guess for that is there’s a lot of problems where basically we can do this when we have the ‘country of geniuses in a data center’. My picture for that, if you made me guess, is one to two years, maybe one to three years.”
模块五:AI安全、治理与国际秩序的深层困境
核心断言:AI的快速发展带来了前所未有的安全挑战,需要在技术创新与风险管控之间找到精妙的平衡。短期内可以通过增加透明度等温和措施来应对,但长期来看需要全新的全球治理架构。
命题背景
Dario在其著名的文章《The Adolescence of Technology》中详细阐述了他对AI风险的担忧。他明确指出,AI的发展可能导致生物恐怖主义、自动化网络攻击、人类被AI系统操控等严重后果。这次对话深入探讨了如何在这个AI快速发展的时代构建有效的治理机制。
核心论证过程
Dario首先回应了关于Anthropic为何在算力采购上相对"保守"的质疑。他明确区分了"负责任的计算扩展"(responsible compute scaling)与"YOLO式扩张"的本质区别:“I think it is true we’re spending somewhat less than some of the other players. It’s actually the other things, like have we been thoughtful about it or are we YOLOing and saying, ‘We’re going to do $100 billion here or $100 billion there’? I get the impression that some of the other companies have not written down the spreadsheet, that they don’t really understand the risks they’re taking.”
他进一步解释了具体的治理策略:在短期内,应该从透明度入手——要求AI公司公开其模型的训练数据、能力边界、安全测试结果等;随着风险变得更加明确和紧迫,应该逐步引入更激进的监管措施,如强制要求AI公司配备生物危害分类器等。
关于国际关系,Dario深入探讨了AI对全球秩序的深远影响。他提出了一个核心担忧:在AI时代,专制政权可能获得前所未有的控制能力。“My worry is about governments. My worry is if the world gets carved up into two pieces, one of those two pieces could be authoritarian or totalitarian in a way that’s very difficult to displace.”
思想交锋实录
Dwarkesh的挑战:Dwarkesh提出了一个尖锐的问题:如果AI真的如Dario所说将带来如此巨大的变革,那么为什么不应该让中美两国都拥有"data center中的天才之国"?这难道不是一个更稳定的平衡吗?
交锋过程与结果:Dario详细阐述了他的担忧。首先,如果处于"进攻占优势"(offense-dominant)的局面,可能会出现类似核武器但更为危险的情况——任何一方都可能轻易摧毁一切。其次,更让他担忧的是不确定性:如果两个AI系统对抗,谁会赢?如果双方都认为己方有90%的胜算,冲突的可能性就会大大增加。“They can’t both be right, but they can both think that.”
但Dario也承认,他的观点并不是要"完全遏制"中国的AI发展。他提到,历史上西方选择与中国接触(尤其是1970-80年代),从结果来看是正确的——中国人民变得更加富裕。他引用了一个可能的解决方案:也许可以向专制国家的普通公民提供个人AI工具,使它们能够抵御政府监控。“Are there equilibria where we can give everyone in an authoritarian country their own AI model that defends them from surveillance and there isn’t a way for the authoritarian country to crack down on this while retaining power?”
3. 关键心智模型与隐喻
“Big Blob of Compute Hypothesis”:大块计算假说
Dario在2017年写下的这份备忘录是其AI哲学的基石。这个假说的核心洞见是:在AI领域,绝大多数"技巧"和"方法论"最终都是无关紧要的,真正决定模型能力上限的只有少数几个变量。这七个变量包括:原始算力、数据数量、数据质量与分布、训练时长、可扩展的目标函数、归一化与条件化、以及数值稳定性。
这个心智模型的价值在于它提供了一种简化的方式来理解AI发展的动力学。它解释了为什么即使AI研究看起来充满了无数的可能性和分支,最终的进步轨迹仍然是可以预测的——因为真正重要的变量只有这几个,而它们都在按照可预测的规律扩展。
“Country of Geniuses in a Data Center”:数据中心的天才之国
这是Dario用来描述通用人工智能最终形态的核心隐喻。它不是描述一个具有自我意识的单一实体,而是指一个拥有相当于一个国家天才级人类智力总和的AI系统。这个隐喻的精妙之处在于:它避免了关于"意识"、“自我"的哲学争论,直接指向AI系统能够完成的实际工作——那些目前只有最聪明的人类才能完成的工作。
“Between Evolution and Human Learning”:介于进化与人类学习之间
Dario提出的这个层次框架对于理解当前AI系统的本质至关重要。他认为预训练过程更像是"人类进化”(大量计算投入到"构建智能"的过程中),而不是"人类学习"(在短暂的一生中高效地获取技能)。上下文内学习则界于长期学习与短期学习之间。这个框架帮助我们理解了为什么当前的模型需要如此大量的训练数据——它们不是在"学习",而是在"进化"智能。
“Adolescence of Technology”:技术的青春期
Dario用"青春期"来类比AI发展的当前阶段。在这个阶段,AI已经具备了强大的能力,但尚未完全成熟——它可能带来巨大的益处(成长、创造力),也可能造成严重的伤害(叛逆、破坏性行为)。这个类比的深层含义是:我们需要像对待青少年一样对待AI——给予它们成长的空间,同时建立适当的边界和监督机制。
经济扩散的"S"曲线 vs 指数曲线
在讨论AI的经济影响时,Dario展示了一个重要的心智模型区分:技术能力的指数增长(模型每年变得更聪明)与经济扩散的增长(AI渗透到整个经济体系)是两个不同但都很快的指数。他强调AI的扩散速度将远超以往任何技术,“not instant, not slow, much faster than any previous technology, but it has its limits”。
4. 盲区、分歧与"不知道"
技术盲区
尽管Dario对其预测有很高的置信度,但他也明确承认了几个关键的技术盲区:
持续学习(Continual Learning):他坦承不确定当前模型是否需要具备真正类似人类的持续学习能力才能实现AGI级别的价值。他猜测可能需要,但也认为"there just might not be such a thing at all"。
长上下文长度的实际限制:虽然理论上可以扩展到1000万甚至1亿token,但实际部署中会出现"qualitative degradation"(质量下降)的问题。这是否会成为根本性障碍,目前尚不清楚。
物理机器人的突破时间:Dario认为机器人技术将在一到两年内随着AI能力的整体提升而"革命性"进步,但他承认这依赖于多个技术路径的同时突破,包括持续学习、模拟训练、或者单纯的上下文学习。
与Dwarkesh的根本性分歧
关于"diffusion是否是cope":Dwarkesh认为"diffusion"经常被用作掩盖模型能力不足的借口。Dario虽然部分同意,但他更强调diffusion是一个真实的经济现象,其根源在于组织变革的固有惯性。这个分歧反映了两人对AI当前能力评估的不同侧重——Dario更关注"技术已经足够好"的方面,Dwarkesh更关注"为什么实际效果没有预期那么显著"的方面。
关于AGI后的世界形态:Dario在其文章中暗示,专制政权在AI时代将变得"不可持续"(morally obsolete),就像工业化使封建主义变得不可持续一样。Dwarkesh质疑这是否意味着要"推翻所有专制政权"。Dario澄清说他不是在倡导这种极端观点,而是在探索"也许技术本身就具有瓦解专制结构的属性"这一可能性。这个分歧触及了AI政治学最深层的未解之谜。
关于利润率的长期均衡:Dario认为AI行业将形成类似于云计算市场的"几家垄断"格局,保持合理的利润率。Dwarkesh质疑如果AI能够自我改进,为什么不会出现零边际成本的完全商品化。Dario承认这可能是一个长期风险,但在"天才之国"实现之前的短期内,他仍然看好AI公司的盈利能力。
5. 附录:高频术语词典与原声金句
概念解析
Scaling Laws(缩放定律):AI领域的一个核心发现,指模型性能(通常以loss或benchmark分数衡量)与训练计算量、数据量、模型参数量之间存在的可预测的log-linear关系。这一规律使得AI公司能够以前所未有的精度规划未来模型的能力。
RLHF(Reinforcement Learning from Human Feedback):基于人类反馈的强化学习,是一种将人类偏好融入AI模型训练的技术。通过人类对模型输出的排序或评分,模型学习到更符合人类期望的行为模式。
MoE(Mixture of Experts):混合专家模型,是一种模型架构技术,通过多个"专家"网络的动态组合来实现更高的计算效率。在推理时只激活相关的专家,从而在保持高质量的同时降低计算成本。
KV Cache(Key-Value Cache):Transformer模型推理优化技术,通过缓存已经计算过的key和value来加速自回归生成。长上下文长度的核心挑战在于如何高效管理KV cache的内存。
Cournot Equilibrium(古诺均衡):寡头垄断市场中的一个经典均衡概念,描述少数几家大企业如何在没有完全竞争的情况下达到市场平衡。Dario用这个概念来解释为什么AI行业不会变成完全竞争的红海。
原声力量
关于Scaling Laws的信念 “The hypothesis is basically the same. What it says is that all the cleverness, all the techniques, all the ‘we need a new method to do something’, that doesn’t matter very much. There are only a few things that matter.” 假说本质上是一样的。它说的是:所有的聪明、所有的技巧、所有"我们需要一种新方法来做某事"都不重要。只有少数几件事才是真正重要的。
关于十年内实现AGI的信心 “On the basic hypothesis of, as you put it, within ten years we’ll get to what I call a ‘country of geniuses in a data center’, I’m at 90% on that. It’s hard to go much higher than 90% because the world is so unpredictable.” 按照你所说的基本假设,十年内我们将实现我所说的"数据中心的天才之国",我有90%的把握。再往上提高就很难了,因为世界是如此不可预测。
关于AI能力的快速进步 “The frontier is a little bit uneven, but it’s roughly what I expected. What has been the most surprising thing is the lack of public recognition of how close we are to the end of the exponential.” 前沿领域有点参差不齐,但大致如我所料。最令人惊讶的是,公众几乎没有意识到我们离指数级的末端有多近。
关于"diffusion as cope" “I don’t believe we’re basically at AGI. I think if you had the ‘country of geniuses in a data center’… we would know it. Everyone in this room would know it. Everyone in Washington would know it.” 我不认为我们现在已经基本实现了AGI。我认为如果我们有了"数据中心的天才之国"……我们肯定会知道。房间里的每个人都会知道。华盛顿的每个人都会知道。
关于AI的长期经济影响 “The economy will grow much faster with AI than I think it ever has before. Right now the compute is growing 3x a year. I don’t believe the economy is gonna grow 300% a year.” AI将使经济增长比以前任何时候都快得多。现在算力每年增长3倍。我不相信经济会增长300%一年。
关于预训练与人类学习的类比 “I think there’s something going on where pre-training is not like the process of humans learning, but it’s somewhere between the process of humans learning and the process of human evolution.” 我认为预训练的过程不完全像人类学习的过程,它介于人类学习和人类进化之间。
关于持续学习的本质 “I think there just might not be such a thing at all. In fact, I would point to the history in ML of people coming up with things that are barriers that end up kind of dissolving within the big blob of compute.” 我认为持续学习可能根本就不是一个必需的壁垒。事实上,我会指出ML历史上很多被认为是大障碍的东西,最终都在大块计算的过程中被"溶解"了。
关于负责任的计算扩展 “I think it is true we’re spending somewhat less than some of the other players. It’s actually the other things, like have we been thoughtful about it or are we YOLOing… I get the impression that some of the other companies have not written down the spreadsheet, that they don’t really understand the risks they’re taking.” 我们确实比其他一些玩家花得少一些。实际上,关键是其他方面——我们是否深思熟虑过,还是在"YOLO"(豁出去)……我的印象是其他一些公司没有算过这笔账,他们真的不了解自己承担的风险。
关于专制政权与AI “I am actually hopeful that—it sounds too idealistic, but I believe it could be the case—dictatorships become morally obsolete. They become morally unworkable forms of government and the crisis that that creates is sufficient to force us to find another way.” 我实际上抱有希望——这听起来太理想主义了——但我相信独裁政权可能变得道德上过时。它们在道德上变得不可行的政府形式,这种危机足以迫使我们寻找另一种方式。
关于AI公司的经济模型 “Profitability is this kind of weird thing in this field. I don’t think in this field profitability is actually a measure of spending down versus investing in the business. … The only thing that makes that not the case is if you get less demand than $50 billion.” 盈利能力在这个领域是一种很奇怪的东西。我不认为在这个领域盈利能力实际上是衡量"支出vs投资"的指标。……唯一让这种情况不成立的是如果你得到的不到500亿美元的需求。
📺 视频原片
视频ID: n1E9IZfvGMA