谷歌最资深的传怪杰物之一杰夫·迪恩（Jeff Dean）的开年访谈来了。自 1999 年参与谷歌至今 ，他堪称是谷歌稳若磐石般的存在 ，不仅是打下谷歌技术基石的奠基者 ，也是谷歌 AI 的主题推动者之一。
从早期的 MapReduce、BigTable 等谷歌基础设施 ，到引领深度进建的规�；锩� ，再到如今主导 Gemini 系列模型的研发 ，他的技术事业贯通了谷歌的整个发展汗青。
在 2026 年 2 月的这场开年访谈中 ，他谈到了人类将来可能会占有自己的幼我专属 Gemini ，能在经允许后接见幼我邮件和照片在内的你的所有网络内容。
他还提到了 AI 能力的演进：“最终注定个不是 10,000 tokens 的代码 ，而是 1,000 tokens 的代码 ，背后带着 9,000 tokens 的推理过程。这现实上可能是更好读的代码。」剽句话揭示了 AI 发展的新方向之一 ，那就是让模型在思虑上破费更多功夫 ，而非单纯地钻营输出规模。
在这场横跨硬件、模型与将来预言的深度对话中 ，Jeff Dean 用他贯通谷歌四分之一个世纪的技术视野 ，为我们勾画出 AI 发展的清澈脉络。从蒸馏到稀少 ，从 TPU 到万亿 tokens 的幻觉 ，最终指向那个朴素而深刻的真谛 ，将来的代码或许更短 ，但藏在背后的思虑将更长。
主持人：能请到你来演播室 ，感触有点不太真实。我看过你太多的演讲 ，你的职业生涯堪称传奇。我想首先必须得说 ，祝贺你登上了帕累托前沿。（编者注：帕累托前沿指在资源有限的情况下 ，无法在不侵害另一指标的前提下让某个指标变得更好。Jeff Dean 团队在模型机能和效能上都做到了极致 ，占据了这片前沿地带。）
主持人：我以为这是两方面的结合。你既要站在能力的前沿 ，也要两全效能 ，而后提供人们喜欢使用的那个模型系列。这其中的一部门始于你们的硬件工作 ，一部门是你们的模型工作。我相信你们累积钻研了好多法门 ，但看到所有这些汇聚在一路 ，不休推动前沿向前发展 ，真的很令人印象深刻。
Jeff Dean：是的 ，这不仅仅是单一的一件事。而是整个技术栈从上到下的一整套器材。你知路 ，所有这些结合在一路 ，让我们可能训练出能力超强的大模型。同时 ，也通过软件技术 ，将那些大模型的能力提炼到更幼、更轻量的模型中 ，这些模型成本效益更高、延长更低 ，但就其规模而言 ，依然相当有能力。
主持人：在维持帕累托前沿的底线方面 ，你们有多大压力 ？我以为草创公司总是试图冲击最高机能的前沿 ，由于他们必要筹集更多资金之类的。而你们拥罕见十亿的用户。我想 ，最初你们在打造数据中心时 ，会思考到若是每个使用谷歌的人 ，每天用BB电子语音模型三分钟 ，那你们必要的算力数量就要翻倍。如今在谷歌内部 ，这种会商是怎么的呢 ？好比 ，你们若何衡量钻营前沿与“若是我们造出来了 ，就得现实部署它」剽二者之间的关系 ？
Jeff Dean：我以为我们总是但愿占有处于前沿或可能推动前沿的模型 ，由于这样你能力看到 ，与去年、与六个月前能力稍逊的版本相比 ，此刻出现了哪些以前不存在的新能力。这些前沿模型对好多利用场景会极度有效 ，但对于其他更宽泛的利用场景来说 ，它们可能会有点慢 ，也有点贵。所以 ，我以为我们想做的 ，是始终占有一种能力很强、价值又亲民的模型 ，它可能支持大量低延长的利用场景。人们能够更自若地用它来做智能体编程 ，同时我们也有高端的、处于前沿的模型 ，它对于深度推理、解决极其复杂的数学问题这类事件极度有效。
并不是说这一个或那一个才有效 ，它们都有效。所以 ，我以为我们两者都要做。蒸馏是让幼型模型能力更强的一个关键技术 ，你必须吓仔前沿模型 ，而后能力把它蒸馏到你的幼型模型里。所以这不是一个二选一的问题。为了真正获得一个能力壮大但规模适中的模型 ，你某种水平上必要那个前沿模型。
主持人：你和杰弗里·辛顿（Geoffrey Hinton）、还有 Oriol 在 2014 年就提出了这个规划。（编者注：奥里奥尔·维尼亚尔斯（Oriol Vinyals）是 Google DeepMind 的钻研副总裁 ，也是 Gemini 项主张结合技术掌管人。他于 2013 年参与 Google ，是序列到序列进建（seq2seq）和知识蒸馏技术的开创者之一。）
Jeff Dean：还有 Andrew 也是。（编者注： Andrew Dai 是谷歌 DeepMind 的资深钻研员 ，2012 年就已参与谷歌。他曾与 Jeff Dean 等人合著多篇论文 ，并担任过 Gemini 模型预训练数据工作的结合掌管人。）
主持人：我很好奇 ，你怎么对待这些设法的循环周期 ？好比 ，稀少模型也是。你怎么评估它们 ？在开发下一代模型时 ，你怎么思考哪些器材值得沉新审视 ？你钻研过那么多设法 ，它们都很有影响力 ，但在其时 ，感触可能并非如此。
Jeff Dean：我以为蒸馏最初的动机是由于其时我们有一个极度大的图像数据集 ，或许三亿张图像 ，我们能够用来训练 ，我记得或许有两万个类别 ，比 ImageNet 大多了。我们其时发现 ，若是你为这些图像类此外分歧子集创建专家模型 ，好比这个模型出格善于鉴别哺乳动物 ，那个模型出格善于鉴别室内场景之类的 ，你能够将这些类别聚类 ，在更宽泛的图像集上进行预训练后 ，再用加强的数据流进行训练。若是你把训练好的那几十个模型当作一个大的集成模型 ，机能会好好多。
但这对于服务部署来说 ，不太现实 ，对吧 ？所以 ，蒸馏的设法就起源于：若是我们真想部署这个器材 ，训练所有这些独立的专家模型 ，而后把它们压缩成一个现实能部署的大局 ，该怎么办 ？这和我们此刻做的也没什么分歧。如今 ，我们往往不是用 50 个模型的集成 ，而是有一个规模大得多的模型 ，而后把它蒸馏成一个规模幼得多的模型。
主持人：我有时也在想 ，蒸馏是否也与强化进建革命有关联。让我试着论述一下我的意思：你能够通过强化进建在散布的某个特定部门提升模型能力。你能够针对模型进行强化 ，但这通� ？赡芑嵩谄渌煊蛟斐伤鹗�。这是一种不太平衡的技术 ，但你也许能够再把它蒸馏回来。我以为 ，一个普遍的妄想是 ，可能在不导致其他任何方面退步的情况下提升能力。这种能力归并而不损失的过程。我感触 ，某种水平上 ，这应该是一个蒸馏过程 ，但我没法齐全说明显。我没看到太多有关的论文。
Jeff Dean：我偏差于以为蒸馏的一个关键优势在于 ，你能够有一个幼得多的模型 ，同时占有一个极度大的训练数据集。你能够从屡次遍历这个数据集中获得效用 ，由于你此刻从大模型中获得了 logits ，这有助于疏导幼模型阐发出正确的行为 ，而仅仅使用硬标签是做不到这一点的。
所以我以为我们观察到的是 ，通过蒸馏步骤你能够获得与大模型机能“极度靠近”的了局。对好多人来说 ，这似乎是一个很好的平衡点 ，在 Gemini 的好几代模型中都是如此。我们已经可能让下一代模型的 Flash 版本 ，达到甚至远超上一代 Pro 版本的水平。我以为我们会持续致力这样做 ，由于这似乎是个值得遵循的好趋向。（编者注：“logits”是手印型在最终通过 softmax 层输出概率之前 ，那一层的原始输出向量蕴含了比“是/否”硬标签更丰硕的软信息。）
主持人：原来你们的产品线是 Flash、Pro 和 Ultra。你们是直接把 Ultra 放在那里 ，作为老师模型去蒸馏出其他模型的吗 ？它就相当于旗舰或者说母舰一样的存在 ？
Jeff Dean：我们有好多分歧类型的模型。有些是内部的 ，不愿定颁布或提供服务。有些是BB电子 Pro 规模模型 ，我们也能够从它蒸馏出BB电子 Flash 规模模型。所以我以为 ，这是一套很沉要的能力。并且 ，推理时扩大也可所以一种提高模型能力的有效步骤。
主持人：我以为 Flash 的量大管鼓让它占据了统治职位。我听到的最新数字是 50 万亿 tokens。我不知路 ，显然每天都在变。但你知路 ，按市场份额算。
Jeff Dean：我的意思是 ，我以为 Flash 模型一个极度好的处所 ，不仅是它更实惠 ，并且延长也更低。我以为延长现实上是这些模型一个极度沉要的个性 ，由于我们但愿模型能做更复杂的事件 ，这涉及到从你要求模型做事到它现实实现之间 ，必要天生更多的 tokens。由于你此刻要求的 ，不只是“给我写个 for 循环” ，而是“给我写一整个软件包来做某某事”。所以 ，占有可能做到这一点的低延长系统 ，看起来至关沉要。Flash 是实现这一点的一个方向和一种方式。显然 ，BB电子硬件平台也为我们服务栈的很多有趣方面提供了可能 ，好比 TPU 芯片间的互连机能极度高 ，极度有利于例如长高低文确把稳力操作。占有蕴含大量专家的稀少模型 ，这些器材对于若何让模型在大规模下可服务真的、真的很沉要。（编者注：“for 循环”是编程中的基础概想 ，指一段沉复执行特定次数的代码结构。）
主持人：对于像 Flash 蒸馏这种差不多晚一代的模式 ，会不会感触存在某个突破点 ？我时时在想 ，差不多就像某些工作上的能力渐近线。今天的 Pro 模型在某种工作上可能已经鼓和了。那么下一代 ，同样的工作会在 Flash 的价值点上鼓和。并且我以为 ，对于人们使用模型的大部门事件来说 ，到某个时辰 ，两代之后的 Flash 模型根基上就能做所有事了。那么 ，当大部门用户都对 Flash 模型感应中意时 ，你若何让持续推动 Pro 前沿这件事在经济上划算呢 ？我很好奇你怎么看这个问题。
Jeff Dean：若是人们要求模型做的事件散布不变 ，那的确如此。但我以为 ，通常情况下 ，随着模型能力变得更强 ，人们会要求它们做更多的事件。所以 ，我以为这在我自己的使用中也产生了。一年前 ，我会用BB电子模型来做一些编程工作。它在一些单一的事件上还行 ，但在更复杂的事件上就成效欠安。从那以来 ，我们在更复杂的编程工作上获得了巨大的进取。此刻我会让它做复杂得多的事件。
并且我以为 ，这不仅限于编程。好比 ，此刻你能够问：“你能分析一下全球所有的可再生能源部署情况 ，给我一份关于太阳能电池板部署的汇报吗 ？” 这是一个极度复杂的工作 ，比一年前人们通�；嵛实墓ぷ饕丛拥枚�。所以 ，在某种意思上 ，你会必要能力更强的模型 ，来拓展人们要求模型去实现的工作的天堑。这也反过来给了我们灵感：模型在哪些处所会失效 ？我们若何在这些特定领域改进模型 ，以便让下一代变得更好。
主持人：你们内部会用什么 benchmarks 或测试集吗 ？由于险些每次报路的都是同样的 benchmarks。就像从 90 分造成了 97 分。你若何持续推动团队内部 ，通知他们“这就是我们要致力的方向” ？
Jeff Dean：我以为 benchmarks 尤其是那些公开的表部 benchmarks 有其用处 ，但它们往往有一个效用性命周期。它们被引入时 ，可能对其时的模型来说相当难。我喜欢这么想：最好的 benchmarks 是那些初始得分在 10% 到 20% 或 30% 左右的 ，而不是更高的。
而后你能够至力于提高该 benchmark 旨在评估的某种能力 ，把它提升到 80%、90% 或其他任何水平。我以为一旦它达到 95% 左右 ，若是真的一门心理扑在这个 benchmark 上 ，能得到的回报会越来越少。由于这要么意味着你已经具备了那种能力 ，要么就存在公开数据泄露或者极度有关的数据混入了训练数据的问题。
所以我们有一整套保密的内部 benchmarks 来真正评估模型。我们知路这些数据齐全不在训练集中 ，它们代表了我们但愿模型占有但目前还不具备的能力。而后我们就能够着试炖估：我们若何让模型在这些方面变得更好 ？是我们必要分歧类型、更专门针对这类工作的数据来训练 ？还是我们必要一些架构上的改进 ，或者某种模型能力的提升 ？什么会援手改进它 ？
Jeff Dean：正如你所说 ，那个调查细颗粒度的 benchmark ，至少在 128K 左右的高低文长度上 ，此刻已经鼓和了。我以为如今大无数人现实上并没有效到远超 128K 或 256K 的高低文。而我们正试图将前沿推动到 100 万或 200 万高低文。
Jeff Dean：这很好 ，由于我以为有好多利用场景 ，好比把上千页的文本 ，或者多个长达一幼时的视频放到高低文中 ，而后可能现实利用起来 ，这极度有效。但那个单一的调查细颗粒度的 benchmark 已经鼓和了。所以你真正想要的是更复杂、更切近现实的场景：读完所有内容 ，最后给出答案。这样能力更好地评估人们真正想用长高低文做什么 ，而不仅仅是“你能通知我这个特定器材的产品编号吗 ？” 那样只是检索。
主持人：没错 ，是在机械进建中进行检索。我想探求的更深一层的问题是：当你手握一个 benchmark ，发现了一个能搞定它的架构技巧 ，这时你会怎么做 ？由于有时辰你知路那性质上是在引入一个综合偏置。就像以前在谷歌工作的 Jason 会说的那样 ，差不多就是这个意思。短期内你会赢 ，但持久来看 ，我不知路这是否能扩大 ，你可能之后得颠覆沉来。（编者注：Jason 指曾在谷歌大脑工作的驰名 AI 科学家 Jason Wei。他最为人所知的贡献是提出了思想链概想 ，是大模型推理领域的开创性人物 ，后来参与 OpenAI 成为 o1 模型的关键奠基人之一。）
Jeff Dean：我偏差于不拘泥于具体的解决规划 ，而是聚焦于我们到底想要什么能力。并且我坚信长高低文极度有效 ，但今天它的长度还远远不够 ，对吧 ？我以为你真正想要的是 ，能不能在我回覆问题的时辰 ，关注整个互联网 ？但这无法通过单纯扩大示有的（复杂度是二次的）规划来解决。所以 ，100 万 tokens 已经靠近现有规划的极限了。你不成能做到 1 万亿 tokens ，更别说 10 亿 tokens 了 ，更别提一万亿。
但我以为 ，若是你能营造出能够关注万亿 tokens 的幻觉 ，那就太棒了。你会为它找到各类用处。你就能关注整个互联网。你能够关注 YouTube 的像素 ，以及我们可以为单个视频形成的更深层暗示 ，并且是逾越很多视频的。在幼我 Gemini 层面 ，在你许可的情况下 ，你能够关注你所有的幼我状态。好比你的邮件、你的照片、你的文档、你的机票。我以为那真的、真的会极度有效。问题在于 ，你若何通过算法层面的改进和系统层面的改进来打造一些步骤 ，让你可能真正以有意思的方式关注万亿级此外 tokens。
主持人：顺便提一下 ，我算过 ，若是你每天说八幼时的话 ，每天一向地说 ，最多也只能产生约莫 10 万 tokens。这应该能很舒服地放进高低文了。
Jeff Dean：我以为 Gemini 的多模态个性之一 ，就是我们从一路头就但愿它是多模态的。所以 ，有使剽对人们来说意味着文本、图像和视频 ，以及音频这些人类有关的模态。但我以为 ，让 Gemini 相识非人类模态也极度有效。好比来自 Waymo 车辆的激光雷达传感器数据 ，或者来自机械人的数据 ，或者各类健全模态的数据 ，好比 X 光片、核磁共振成像、基因组信息。
我以为可能有上百种数据模态 ，你会但愿模型可能至少接触到这样一个事实：这是一个有趣的模态 ，在世界上有特定的寓意。这样 ，即便你没有在所有激光雷达数据或核磁共振成像数据上训练过 ，由于也许从你在重要预训练数据混合中的衡量来看 ，蕴含这些数据不合理 ，但至少蕴含一点点现实上是极度有效的 ，由于它能提醒模型 ，世界上有这个器材存在。
主持人：既然我们聊到这个话题了。有些问题我正好能够问问你 ，是否存在某些王炸模态 ，超出于所有其他模态之上 ？举个单一的例子 ，视觉能够在像素层面编码文本 ，DeepMind 有篇论文就是这么做的。视觉也被证明可能能够融合音频 ，由于你能够做音频的语谱图 ，这也能够被视为一种视觉能力。所以也许视觉就是那个关键模态 ？
Jeff Dean：我的意思是 ，视觉和活动是相当沉要的器材。我们选择视频 ，而非静态图像。性命进化之所以把眼睛这个器官独立发了然 23 次 ，不是没有原因的。由于感知你周围的世界是如此有效的能力。这正是我们但愿这些模型可能做到的：解读我们看到或关注的事物 ，而后利用这些信息援手我们做事。
Jeff Dean：现实上 ，我感触人们不愿定意识到 Gemini 模型在处置视频方面能做什么。我在一次演讲中用过一个例子。那是一个 YouTube 杰出集锦视频 ，汇集了从前 20 年里 18 个难忘的体育时刻之类的。里面有迈克尔·乔丹（Michael Jordan）在总决赛最后时刻的跳投 ，还有一些足球进球等等。你能够直接把视频给它 ，而后说：“你能助我做个表格吗 ？列出所有这些分歧的事务 ，产生的功夫 ，以及简短描述。”而后你就会得到一个 18 行的表格 ，里面是从视频中提取出来的信息。你知路吗 ，这种把视频直接造成表格的能力 ，通常人底子想不到。
主持人：谷歌内部有没有会商过 ，就像你提到的 ，要关注整个互联网 ？谷歌的存在 ，很大水平上就是由于人类无法关注整个互联网 ，必要某种排序来找到必要的器材。这种排序对于大模型来说会大不一样 ，由于你能够进展用户查看谷歌搜索了局中排名前五六的链接。而对于大模型 ，你是否应该进展它有 20 个高度有关的链接 ？你们内部是若何思虑 ，若何构建 AI 模式的 ？那种模式 ，可能必要比面向人类的搜索更宽泛、跨度更大。
Jeff Dean：我以为即便在说话模型出现之前 ，BB电子排序系统也是从一个巨大的网页索引库起头的。其中好多网页是不有关的。所以你会用极度轻量级的步骤 ，先鉴别出一个有关的子集 ，好比筛选到 3 万个文档左右。而后你逐步细化 ，利用越来越复杂的算法和各类信号 ，最终得到你展示给用户的器材 ，也就是最终的 10 条了局 ，或者 10 条了局加上其他信息。我以为一个基于大模型的系统也不会有什么分歧 ，你会去关注万亿级此外 tokens ，但你会想先鉴别出 ，或许哪 3 万个左右的文档（或许有 3,000 万感兴致的 tokens）是有关的 ？而后你若何从这 3 万缩幼到那 117 个我应该真正关注的文档 ，以便实现用户要求我做的工作 ？
我以为 ，你能够设想这样一个系统：你有大量高度并行的处置 ，可能用极度轻量级的模型来鉴别最初的 3 万个候选。而后你有一些系统 ，可能用稍微复杂一点的模型或模型集 ，助你从 3 万缩幼到 117 个。最后 ，最终的模型可能是你能力最强的模型 ，它来审视这 117 个器材。所以我以为会是这样的系统。这种系统让你可能营造出关注万亿 tokens 的“幻觉” ，就像你用谷歌搜索 ，并不是产生了什么幻觉 ，而是你真的在检索整个互联网 ，只不外最终看到的只是一个极幼的有关子集。
主持人：我时时通知好多不熟悉谷歌搜索汗青的人 ，你看 ，BERT 险些马上就被用到了谷歌搜索里 ，它极大地提升了搜索了局的质量。我手头没有具体数字 ，但我敢注定 ，这对谷歌来说显然是最沉要的数字。
Jeff Dean：是的 ，我以为选取基于大模型的文本和词汇暗示 ，可能让你脱节“特定词汇必须出现」剽种显式硬性要求 ，真正深刻到“这个页面或这段落的主题与这个查问高度有关”的层面。
主持人：我以为人们没有意识到大模型已经占据了所有高流量系统。所有这些极度高流量的系统 ，好比谷歌搜索 ，好比 YouTube。YouTube 有个语义 ID 系统 ，它用一个码本（codebook）来预测视频 ，词汇表中的每个条款对应一个 YouTube 视频。这对于 YouTube 的规模来说险些是不成思议的。最近 ，xAI 的 Grok 也用了类似的器材。
Jeff Dean：我想指出的是 ，甚至在说话模型被宽泛用于搜索之前 ，我们就已经十吩祺沉软化用户现实输入查问的概想。我现实上在 2009 年的网络搜索与数据挖掘会议上做过一个演讲。我们从未真正颁发过关于谷歌搜索发源的论文 ，但我们回首了从 1999 年到 2004 或 2005 年 ，约莫四到五代、五六代搜索检索系统的沉新设计。
那个演讲讲的就是这段演变 ，其中一件真正产生在 2001 年的事件是 ，我们正致力在多个维度上扩大系统。一个是我们想扩大索引 ，这样就能从更大的索引库中检索 ，这通常总能提升质量 ，由于若是你的索引里没有这个页面 ，你注定没法处置得好。而后我们也必要扩大BB电子容量 ，由于BB电子流量增长得非� ？�。
所以我们有了一个吩飕系统：随着索引增长 ，你必要更多的吩飕。好比你有 30 个吩飕 ，若是你想将索引大幼翻倍 ，就做成 60 个吩飕 ，这样就能限度任何用户查问的响应延长。而后随着流量增长 ，你为每个吩飕增长更多的副本。
我们最终做了一个推算 ，发现若是我们有一个数据中心 ，里面有好比 60 个吩飕 ，每个吩飕 20 个副本 ，那我们此刻就有了 12,200 台带硬盘的机械。我们一算 ，心想：这个索引的一份副本 ，其实能够放在这 12,200 台机械的内存里。所以在 2001 年 ，我们把整个索引放到了内存里。从质量角度来看 ，这带来的益处是惊人的。由于在此之前 ，你必须极度幼心地节造对一个查问要调查几多个分歧的词项 ，由于每一个词项都意味着要在 60 个吩飕中的每一个上进行一次磁盘寻路。
所以 ，当你扩大索引时 ，这变得越发低效。但一旦你把整个索引都放进了内存 ，即便对用户原始的三四个词的查问 ，你抛出 50 个词项也齐全没问题。由于你此刻能够增长同义词 ，好比 restaurant 和 restaurants 和 cafe 和 bistro 等等。忽然间 ，你能够真正起头理解词的寓意 ，而不仅仅是用户输入的精确语义大局。那是 2001 年 ，远在大模型出现之前。但这的确是在软化用户输入的严格界说 ，以便触及意思自身。
主持人：你在设计系统时 ，尤其是思考到在 2001 年互联网的规模每年翻两三倍 ，使用什么准则 ？不是像此刻这样。并且我以为今天在大模型领域也是如此 ，每年规模都在跳跃 ，能力增长如此之快。你在思虑这些问题时 ，有什么准则吗 ？
Jeff Dean：首先 ，任何时辰设计系统 ，你都要理解哪些设计参数对于设计来说最沉要。所以你要知路 ，你必要处置每秒几多查问 ？你必要处置多大的索引 ？你必要为索引中的每个文档保留几多数据 ？当你检索时 ，若何查看它们 ？若是流量翻倍或翻三倍 ，系统还能正常工作吗 ？我以为一个好的设计准则是 ，你但愿设计一个系统 ，使得最沉要的个性可能扩大 5 到 10 倍 ，但可能不超过这个领域。
由于时时产生的情况是 ，若是你为一个规模 x 设计系统 ，而某些器材忽然造成了 100x ，那就会开启一个齐全分歧的设计空间点。这个点在 x 规模下没有意思 ，但忽然到了 100x 就齐全合理了。好比 ，从基于磁盘的索引转向内存索引 ，一旦你有足够的流量 ，就极度有意思了。由于此刻 ，你在磁盘上有足够多的状态副本 ，这些机械此刻现实上能够把一份齐全的索引放到内存里了。是的 ，这忽然间开启了一个以前不切现实的齐全分歧的设计。
所以 ，我的意思是 ，我极度喜欢在脑子里过一遍设计 ，在现实写大量代码之前 ，稍微在设计空间里索求一下。但是 ，正如你所说 ，在谷歌早期 ，我们大幅扩大索引 ，我们也大幅扩大索引的更新率。令人惊讶的是 ，更新率现实上造成了变动最大的参数。从前是每月更新一次。是的 ，后来我们造成了一个系统 ，能够在不到一分钟内更新任何一个特定的页面。
Jeff Dean：是的 ，幕后有一套齐全的系统 ，试图决定页面的更新快率和沉要性。所以即便某个页面的更新快率看起来很低 ，你可能依然但愿时时沉新抓取沉要的页面 ，由于它们扭转的可能性可能很低 ，但占有更新版本的价值很高。
主持人：你提到了延长 ，这让我想起你的一个经典之作 ，我不得不提 ，那就是“每个法式员都应该知路的延长数字” ，其时有什么布景故事吗 ？（编者注：“每个法式员都应该知路的延长数字”是 Jeff Dean 在系统设计演讲中列出的一张经典表格 ，用于援手工程师在设计系统时进行粗略估算。这些数字展示了推算机各类操作的典型耗时 ，主题在于理解分歧操作之间的数量级差距 ，而不是纠结于绝对数值。）
Jeff Dean：“每个法式员都应该知路的延长数字”表格里面列出了或许 8 到 10 种分歧的指标 ，好比一次缓存未射中必要多长功夫 ？一次分支预测谬误必要多长功夫 ？一次主内存接见必要多长功夫 ？把一个数据包从美国发送到荷兰（或者荷兰的某个处所）必要多长功夫 ？
Jeff Dean：我们在何处罕见据中心。所以 ，我的意思是 ，我以为这归根结底是为了可能进行粗略的心算。这些就是心算的根基素材。你能够用它们来推算：好吧 ，若是我必要设计一个做图片搜索和了局页缩略图天生的系统 ，我该怎么做 ？我能够预推算图片缩略图 ，也能够尝试从大图上实时天生缩略图。那样做会有什么后果 ？必要几多磁盘带宽 ？会产生几多次磁盘 I/O ？你能够用这些根基数字 ，在 30 秒或一分钟内 ，在内心做做思想尝试。而后 ，当你使用更高级的库构建软件时 ，你也想造就类似的直觉。好比 ，在我用的这种特定哈希内外查找一个器材必要多长功夫 ？或者 ，对一百万个数字进行排序必要多长功夫之类的。
主持人：我提起这个其实是由于或许两年来我一向在尝试总结出“每个 AI 法式员都应该知路的数字”。好吧 ，我还没有一个很好的版本 ，由于这不是物理常数 ，像你这里列出的都是物理常数 ，但我感触的确应该有。举个单一的例子 ，参数数量到磁盘大幼的换算 ，不外是单一的字节转换 ，没什么意思。我想知路的是 ，若是要更新你的那份延长数字列表 ，你会怎么做 ？
Jeff Dean：我以为 ，要好好思虑一下你在模型中进行的推算 ，无论是训练还是推理 ，都极度有效。通常一个很好的思虑角度是：你必要从内存中加载几多状态 ？是从芯片上的 SRAM、加快器附带的 HBM、DRAM ，还是通过网络加载 ？这些数据移动的成本 ，与好比在矩阵乘法单元中进行一次现实乘法运算的成本相比 ，有多高 ？而乘法运算的成本现实上极度、极度低 ，对吧 ？由于 ，凭据你的精度 ，或许是亚皮焦、1 皮焦耳左右。
Jeff Dean：这最终城市综合为能量。以及你若何让一个系统的能效最高。而后 ，将数据从芯片另一端的 SRAM 移过来 ，甚至不是片表 ，只是统一芯片的另一端 ，可能就必要 ，一千皮焦耳 ？所以这就诠氏缢为什么加快器必要批处置 ，由于若是你把一个模型的参数好比说从芯片上的 SRAM 移到乘法器单元里 ，这要花掉你一千皮焦耳。
所以你最好能屡次利用你移动过来的那个器材。这就是 batch 维度阐扬作用的处所。由于忽然间 ，若是你有一个 250 的 batch 之类的那还好 ，但若是 batch size 是 1 那就真的很糟糕了。由于你花了一千皮焦耳 ，却只做了一次一皮焦耳的乘法。
主持人：就像你昔时把所有器材放进内存一样 ，此刻也有好多类似的推算。我以为 ，显然英伟达通过大力押注 SRAM（好比他们的 H200 芯片）获得了很大成功。我想知路 ，这是否是你在 TPU 上已经看到的器材 ？由于你们必须在自己规模上提供服务。你可能某种水平上预感到了这一点。有哪些硬件创新或见解 ，是由于你们看到的这些需要而形成的 ？
Jeff Dean：TPU 选取规整的 2D 或 3D 网格拓扑结构 ，将大量芯片互联在一路 ，每个芯片都建设了 HBM。对于服务某些类型的模型 ，从 HBM 加载器材的成本和功夫延长 ，远比从芯片上的 SRAM 加载要高。所以 ，若是你的模型足够幼 ，你现实上能够对其进行模型并行 ，散布到很多芯片上 ，你会从中获得相当好的吞吐量提升和延长改善。你此刻相当于把你的幼型模型条带化到好比 16 或 64 个芯片上。但若是你这样做 ，并且模型全数能放进 SRAM ，那可能是个巨大的成功。所以这不是意表 ，但的确是个好技术。
主持人：再谈到 TPU 的设计 ，你们若何确定架构改进的优先级 ？好比 ，将一次数据移动的能耗从 1,000 皮焦耳降至 50 皮焦耳 ，这样的优化指标是否足以驱动一款新芯片的研发 ？极端情况下 ，当人们说“你应该把模型烧录到 ASIC 上” ，那差不多是最极端的思路。当事物变动如此之快时 ，在硬件上投入几多是值得的 ？谷歌内部的会商是怎么的 ？
Jeff Dean：我们内部有极度缜密的合作 ，好比 TPU 芯片架构团队与高级建模专家之间就维持着高频互动。由于我们真的想利用协同设计的能力 ，凭据我们对机械进建钻研将来发展方向的预判 ，来决定将来的 TPU 应该是什么样子。由于 ，作为一名出格是专一于机械进建的硬件设计师 ，你试图从今天起头设计一款芯片。这个设计可能必要两年功夫能力最终部署到数据中心。而后它还必要有一个合理的性命周期 ，可能再用三、四、五年。所以 ，我们必要预测将来两到六年 ，在这个瞬息万变的领域里 ，人们会想用机械进建做什么。而占有那些具备前瞻性钻研设法的人才 ，能援手我们判断哪些技术趋向将在将来变得沉要 ，从而把这些有趣的硬件个性提前布局到 ，好比说 ，BB电子下一代产品 TPU n+2 中。
Jeff Dean：大体如此。我的意思是 ，有时你能够把一些扭转塞进 n+1 ，但更大的扭转就必要芯片设计处于其性命周期设计的更早期阶段。所以只有有可能 ，我们就会这样做。有时你也能够参与一些索求性的个性 ，这些个性可能不会占用太多芯单方面积 ，但若是成功了 ，它能让某些事件快上 10 倍。若是没成功 ，你也就浪费了一点点微不及路的芯单方面积在那上面 ，不是什么大事。但有时辰这会是一个极度大的扭转 ，我们必要极度确信这会成功。所以我们会做大量仔细的机械进建尝试来证明 ，这的确是我们想走的路。
Jeff Dean：注定会有这样的情况：你必要调整模型架构 ，使其能高效适配将来一代芯片的训练和推理 ，所以我以为这是双向的。有时你能够利用将来一代芯片中即将出现的低精度个性。所以你可能会用那种低精度来训练 ，即方便前一代芯片还不太支持。
Jeff Dean：我极度喜欢极低精度 ，由于我以为这能节俭大量的能量。由于数据传输是按皮焦耳每 bit 来算的 ，削减 bit 数是降低这个成本的好步骤。极低比特精度带来了显著的收益 ，但价值是必要在整组权沉上施加缩放因子。
主持人：说到这个 ，我感触有个话题很有意思。当我们在做采样时 ，精度的概想自身就有点奇怪。最终我们会有所有这些能做极度精确数学运算的芯片 ，而后我们在开头抛进去一个随机数天生器。感触此刻各人都在往基于能量的模型和处置器那个方向走 ，你注定也斟酌过这事儿吧 ？想听听你的见解。
Jeff Dean：是的 ，我以为有一些有趣的趋向。好比基于能量的模型、扩散模型 ，它们不是那种挨次解码 token 的方式还有一种投契性解码技术 ，能够在不降低天生质量的前提下 ，获得等效的加快成效。
Jeff Dean：例如 ，你能够一次预测出八个 tokens。这让你能把在做的事件的有效 batch size 增长八倍。而后你可能接受其中的五六个 tokens。所以你通过摊销将权沉移入乘法器进行 tokens 预测的成本 ，获得了五倍的改进。
这些都是极度好的技术 ，我以为从能量（不是指基于能量的模型）、延长和吞吐量的角度来看它们真的很好。若是你从这个角度看问题 ，它会疏导你找到更好的解决规划 ，好比可能更便宜、更低延长地服务更大的模型 ，或者一致规模的模型。
主持人：这很有吸引力 ，但还没看到它在主流中真正盛行起来。我的确感触有种诗意在里面 ，若是我们从底子上把它设计进硬件里 ，就不用搞那么多花腔了。
Jeff Dean：我以为还有更奇怪的器材 ，好比基于仿照的推算基板 ，而不是数字的。我对那些极度感兴致 ，由于它们的功耗有望做到很低。但我以为 ，你最终往往必要将其与数字系统接口 ，而你在系统天堑和表围进行的数模、模数转换可能会损失好多功耗优势。我依然以为 ，从我们今天所处的地位 ，通过为我们在意的模型造作更好、更专用的硬件 ，在能效方面还有巨大的提升空间。
Jeff Dean：我以为我们最近的钻研组合相当宽泛。从钻研方历来看 ，有一大堆盛开问题。若何让这些模型更靠得住 ，可能实现更长的、更复杂的、蕴含很多子工作的工作 ？若何编排 ？可能是一个模型使用其他模型作为工具 ，来构建可能共同实现比单个模型所能做的更沉大的工作。若何让模型更可验证 ？若何让强化进建在不成验证的领域工作 ？
我以为这是一个极度有趣的盛开问题 ，由于我以为这会拓宽模型的能力领域 ，你会看到数学和编程方面都在进取。若是我们能通过开发出真正有效的强化进建技术 ，将其利用到其他不那么可验证的领域 ，那将真正让模型提升好多。
主持人：我很好奇。当诺姆·布朗（Noam Brown）上我们播客时 ，他说他们已经证明你能够通过深度钻研做到这一点。你在 AI 模式中某种水平上也做到了 ，固然它自身并不成验证。我很好奇 ，有没有你以为有趣的线索 ？两者都是在做信息检索追踪。
所以我在想 ，是否检索自身就是那个可验证的部门 ，能够用来作为评分凭据 ？或者说 ，你会若何为这个问题建模 ？（编者注：诺姆·布朗（Noam Brown）是 OpenAI 的钻研员 ，专一于 AI 推理和多智能体系统。他因开发在德州扑克中战胜人类专家的 Libratus 和 Pluribus 而闻名 ，后参与 OpenAI 参加 o1 推理模型的研发。）
Jeff Dean：是的 ，我以为有些步骤能够让其他模型来评估第一个模型所做的了局 ，也许甚至能够检索。你能够让另一个模型问：“你检索到的这些器材有关吗 ？” 或者你能对你检索到的这 2,000 样器材进行评分 ，以评估哪 50 个最有关吗 ？我以为这类技术现实上极度有效。有时甚至可所以统一个模型 ，只是通过分歧的提醒词 ，让它表演评论家的角色 ，而不是现实的检索系统。
主持人：的确 ，我总感触我们如同始终在逾越一个又一个绝壁：每次都感触单一的事做完了 ，而后集体卡鄙人一个难题刻下 ，年年如此。“哦 ，这个我们搞定了 ，接下来那个注定难到没人能解。”为什么偏偏强化进建验证就成了那个坎儿 ？所有人都在问统一个问题：“没有明确判断尺度的下一个阶段 ，到底要怎么走 ？”
Jeff Dean：我感触这个领域的益处是 ，有许很多多聪明的人在想创造性的解决规划来解决我们都能看到的难题。由于我以为各人都看到了 ，这些模型在某些方面很棒 ，但在这些方面的边缘地带会失效 ，能力达不到BB电子进展。而后想出好的技术和尝试它们 ，看看哪些真正能带来扭转 ，这正是这个领域整个钻研方面向前推动的方式。我以为这就是为什么它超等有趣。
想想两年前 ，我们还在为 GSM8K 的问题挣扎 ，对吧 ？弗雷德有两只兔子 ，他又得到了三只兔子 ，他总共有几多只兔子 ？这与此刻模型能做的数学题相比差远了。此刻已经是纯说话的全国。短短一年半功夫 ，模型能力就实现了惊人的飞跃。若是在其他领域也能复造这种成功 ，那就太棒了。固然有些领域我们还没找到蹊径 ，但既然在其他领域已经看到了可行的步骤 ，我们就会全力以赴 ，让它变得更好。
主持人：扯回 IMO ，我还是挺唏嘘的。去年还是 AlphaProof、AlphaGeometry 各显神通 ，今年就直接抛给 Gemini 了。我在想 ，以前各人不都感触符号系统和大模型融合是条正路吗 ？怎么忽然就造成“别折腾了 ，全让大模型自己来”了 ？
Jeff Dean：我感触这对我来说很有意思 ，由于你知路人类把持符号 ，但我们脑子里可能没有一个符号化的表征 ，对吧 ？我们有某种散布式表征 ，从某种意思上说 ，是神经网络式的 ，由很多分歧的神经元和激活模式组成 ，当我们看到某些器材时会触发。这使我们可能推理、规划、进行思想链以及回溯 ，“这个步骤看来行不通 ，我试试那个”。
在很多的方面 ，我们在神经网络模型里仿照我们直觉上以为真实大脑内部产生的事件。所以 ，对我来说 ，占有齐全分离的、离散的符号化事物 ，以及一套齐全分歧的方式来思虑这些器材 ，从来就没有意思。
Jeff Dean：我的确以为 ，去年 IMO 较量用到了翻译成 Lean 说话并使用 Lean ，以及使用了一个专门的几何模型。而后今年 ，切换到一个单一的统一模型 ，这根基上是出产级模型 ，只是多给了点推理预算 ，这现实上极度棒。由于它批注那个通用模型的能力已经大大提高了。此刻你不再必要这些专门的模型了。这现实上与 2013 到 2016 年时期的机械进建极度类似 ，对吧 ？
从前 ，人们会针对很多分歧的问题训练分歧的模型 ，对吧 ？我想鉴别街路标志 ，所以我训练一个街路标志鉴别模型�；蛘呶蚁胱鲇镆艏鸾饴� ，我就去训练一个语音模型。我以为此刻 ，做所有事件的统一模型时期真的来临了。问题在于 ，这些模型在面对它们从未被要求做的事件时 ，泛化能力有多好 ？它们正变得越来越好。
主持人：你都不必要领域专家了。我采访过 Ete ，他就是那个团队的成员。他说：“我真的不知路它们是怎么工作的 ，不知路 IMO 在哪里办 ，也不知路角逐规定。我只是在训练模型 ，我做的就是训练模型。”
这很有意思 ，占有这种通用技术的人 ，只必要机械进建能力 ，拿到数据和算力 ，就能处置任何工作。这或许就是所谓的“苦涩的教训”吧。（编者注：1、Ete 是指爱德华·格列芬斯特（Edward Grefenstette） ，一位 Google DeepMind 的钻研科学家 ，他参加过多项与推理、说话模型有关的钻研。2、“苦涩的教训”是“强化进建之父”理查德·萨顿（Richard Sutton）提出的AI主题理想：钻研者总想把人类知识编入 AI ，短期有效但持久看 ，依附大规模算力和通用算法的步骤最终会胜出。它之所以“苦涩” ，是由于 AI 的成功往往不是由于它仿照了人类 ，而是靠大力出事业走出自己的路。）
主持人：我想在这里稍微深刻探求一下。我感触这里有一个缝隙 ，就是关于模型容量的概想。抽象地说 ，一个模型能包容的比特数是有限的。所以 ，谁会知路 Gemini Pro 可能有一万亿到十万亿参数 ？我们不知路。
但以 Gemma 模型为例。好多人想要开源、能在本地运行的模型 ，它们占有一些并不用要的知识 ，对吧 ？它们不成能知路所有事。你们有优势 ，你们有大模型 ，大模型应该什么都能做。但是 ，当你进行蒸馏 ，把它缩幼到幼模型时 ，你现实上是在影象一些没用的器材。所以 ，我们能否将知识与推理分脱离 ？
Jeff Dean：我以为你的确但愿模型在可能检索器材时最有效地进行推理 ，对吧 ？由于让模型把贵重的参数空间用来影象那些能够查到的、晦涩的事实 ，现实上并不是对该参数空间的最佳利用 ，对吧 ？你可能会更喜欢那些在更多场景下更有效的器材 ，而不是它记住的某个晦涩事实。
所以我以为这个衡量一向存在。同时 ，你也不仅愿你的模型齐全脱离对世界的相识。好比 ，知路金门大桥有多长可能很有效 ，能对“桥通常有多长”有个大体概想。它应该有那种知识 ，它可能不必要知路世界上某个更偏远角落的一座幼桥有多长 ，但是占有相当多的世界知识的确有援手。你的模型越大 ，你能包容的知识就越多。
但我的确以为 ，将检索与推理结合起来 ，让模型真正擅上进行多轮检索并通过中央检索了局进行推理 ，这将是让模型看起来能力更强的一个极度有效的步骤。我们不会在 Gemini 上训练我的电子邮件 ，我们可能更但愿有一个单一的模型 ，而后我们能够使用它 ，并可能使用从我的电子邮件中检索作为工具 ，让模型推理它 ，从我的照片中检索 ，而后利用这些信息进行多轮交互。
主持人：你怎么看垂直领域模型这个方向 ？好比有人说“我们在打造最好的医疗大模型”“我们在做最牛的司法大模型”。这些是短期的过渡规划 ，还是真的有长远价值 ？
Jeff Dean：我以为垂直领域模型很有趣。你想让它们从一个相当好的基础模型起头 ，而后你能够 ，我有点把它们看作是丰硕那个特定垂直领域的数据散布。好比医疗保健。好比 ，对于机械人技术 ，我们可能不会在所有可能的机械人数据上训练 Gemini。你能够用它训练 ，由于我们但愿它占有一套平衡的能力。
所以我们会让它接触一些机械人数据。但若是你想构建一个真正、真正好的机械人模型 ，你会但愿从那个基础起头 ，而后在更多的机械人数据上训练它。这可能会侵害它的多说话翻译能力 ，但会提高它的机械人能力。
我们在训练基础 Gemini 模型时 ，总是在数据混合中做这种衡量。我们很愿意蕴含另表 200 种说话的数据 ，并且有和这些说话一样多的数据。但这会挤占模型的其他一些能力。它在 Perl 编程上可能没那么好了。它在 Python 编程上依然会很好 ，由于我们会蕴含足够多的 Python 数据。但在其他长尾推算机说话或编程能力上 ，它可能会受影响�；蛘叨嗄Ｌ评砟芰赡芑崾苡跋� ，由于我们没有机遇让它接触那么多有关数据 ，但它在多说话方面会极度杰出。
所以我以为 ，某种组合是相宜的：专门的模型 ，也许更多是� ？榛哪Ｐ�。若是能有能力将这 200 种说话 ，加上这个超棒的机械人模型 ，加上这个超棒的医疗保健� ？� ，所有这些能够组合在一路协同工作 ，在分歧情况下被挪用那将极度棒。好比 ，若是我有一个与健全有关的问题 ，那么它应该可能启用这个健全� ？� ，与主基础模型一路 ，在这些事件上做得更好。
Jeff Dean：是的 ，只必要下载就行。部门可装置的器材能够来自检索。但有些可能应该来自预先加载的训练 ，好比在 1,000 亿或一万亿 tokens 的健全数据上训练。
主持人：你必要几多亿的 tokens 能力超过前沿模型的改进快率 ？若是我想让这个模型在医疗保健方面更好 ，而主 Gemini 模型仍在改进 ，那么必要 500 亿 tokens 吗 ？若是我必要一万亿 ，我能用 1,000 亿做到吗 ？医疗保健的 tokens ，你可能手头没有那么多。
Jeff Dean：我以为医疗保健是一个出格有挑战性的领域。所以有好多医疗保健数据 ，我们无法适本地获取。但也有很多医疗保健组织但愿在自己的数据上训练模型 ，这些数据不是公共医疗数据 ，是私有的医疗数据。所以我以为有机遇与大型医疗保健组织合作 ，为他们训练更定造化的模型 ，这些模型可能比在公共数据上训练的通用模型更好。
主持人：这有点类似于说话方面的会商。我记得你最喜欢的一个例子是 ，你能够把一种低资源说话放在高低文中 ，它就能在高低文中进建。
Jeff Dean：我记得我们用的例子是卡尔梅克-卫拉特语 ，那是真正的低资源说话 ，由于世界上只有约莫 120 人使用 ，并且没有书面文本。所以你能够直接把它放在高低文里。
Jeff Dean：若是你拿一种说话 ，好比索马里语之类的 ，世界上的确有相当数量的索马里语文本 ，或者埃塞俄比亚的阿姆哈拉语之类的。我们可能不会把所有那些说话的数据都放进 Gemini 的基础训练里。我们会放一部门进去 ，但若是你放更多进去 ，你会提高模型在这些说话上的能力。
主持人：我对说话学有点兴致。大学时上过几节课。我有时想 ，若是我是一名说话学家 ，并且能够使用所有这些模型 ，我会问一些关于说话自身的非�８奈侍�。好比 ，一个极度显著的问题是“沃尔夫假说”：你说的说话在多大水平上影响你的思想 ？还有一些说话中有些概想在其他说话中没有体现 ，但好多其他概想则是沉复的。
还有一篇人们很喜欢的论文接锥柏拉图式表征》 ，讲的是好比一张杯子的图片 ，若是你在上面训练一个模型 ，并且有大量带佑装杯子」剽个词的文本 ，它们最终会映射到潜在空间中大体一样的地位。所以 ，这应该合用于说话 ，除了那些不合用的处所。而这正是人类发现的一些有趣的概想差距 ，可能英语里没有。
Jeff Dean：是的 ，我做过一个早期模型的工作 ，它将一个基于说话的模型（有很好的基于词的暗示）和一个在 ImageNet 之类器材上训练的图像模型融合在一路。是的 ，而后你把它们的顶层融合起来。再做一点额表的训练来融合这些表征。
我们发现若是你给模型一张全新的、不在图像模型训练类别中的图像 ，它时时能给那张图像分配出正确的标签。例如 ，我以为望远镜和双筒望远镜都在图像模型的训练类?
