好意思国国度工程院外籍院士沈向洋（图片起原：IDEA）

11 月 22 日举行的 2024 年 IDEA 大会上，IDEA 推敲院创院理事长、好意思国国度工程院外籍院士沈向洋以"从时刻突破到产业会通"为主题发扮演讲，其对东谈主工智能"三件套"（算力、算法、数据）的最新念念考。

沈向洋指出，在时刻大爆发时期开展革命，对时刻的深度连气儿尤为着急。他认为，从算力来看，畴昔十年 AI 的发展可能需要增长 100 万倍的算力，远超摩尔定律预言的 100 倍增长，而英伟达成为了 AI 行业最了不得、最得胜的一家公司。

证据 EPOCH AI 的数据，每年最新的大模子对算力的需求齐在以惊东谈主的速率增长，年均增长率杰出四倍（400%）。限度咫尺，全球依然"烧掉"了杰出 1000 万张 GPU 算力卡。

"英伟达硬生生把我方从我方从作念硬件、芯片的乙方变成了甲方，今天能拿得到英伟达的卡就不错说是得胜了一半。"沈向洋称，"讲（GPU）卡伤热情，没卡没热情。"

沈向洋现场暴露，未来黄仁勋会到香港科技大学收受荣誉博士学位的授予，而他准备咫尺和黄仁勋征询一些对于时刻、教导力和创业的故事，绝顶是在针对算力发展的问题，探讨畴昔十年还会不会像曩昔十年那样能够达到 100 万倍的增长。

会后，沈向洋还向钛媒体 App 暴露，Scaling Law（圭臬定律）放缓的原因是 GPT-5 还没发布，背后主要与数据关联。

据悉，粤港澳大湾区数字经济推敲院（International Digital Economy Academy，简称" IDEA 推敲院"）于 2020 年由微软公司原全球施行副总裁、好意思国国度工程院外籍院士沈向洋创建，是一家面向 AI 和数字经济产业和前沿科技的外西化革命型推敲机构。

IDEA 推敲院接力于 AI 和数字经济领域前沿推敲与产业落地。咫尺该院包括低空经济推敲中心、狡计机视觉与机器东谈主推敲中心、AI 金融与深度学习推敲中心、基础软件中心、AI 安全普惠系统推敲中心等。

这次，IDEA 发布视觉、具身智能、合成数据、AI for Science、AI for Coding、低空经济等多个领域的新时刻和新模子的前沿推敲与产业落地末端，收场 AI 从时刻突破到产业会通。

视觉大模子：IDEA 团队本次大会发布了该系列最新的 DINO-X 通用视觉大模子，领有真确的物体级别连气儿智商，收场怒放宇宙（Open-world）想法检测，无需用户提醒，平直检测万物。在零样本评估诞生中，DINO-X   Pro 在业界公认的 LVIS-minival 数据集上取得了 59.7% 的 AP，在 LVIS-val 数据集上，DINO-X Pro 也阐扬亮眼，取得了 52.4% 的 AP。具体到 LVIS-minival 数据集上的各个长尾类别评估中，DINO-X Pro 在特别类别上取得了 63.3% 的 AP（比 Grounding DINO 1.5 Pro 还要高出 7.2%），在常见类别上取得了 61.7% 的 AP，在频繁类别上取得了 57.5% 的 AP。 行业平台架构：IDEA 团队还推出行业平台架构，通过一个大模子基座，联接通用识别时刻联接，让模子不需再行历练，就可边用边学，援助多种种种的 B 端诳骗需求。 具身智能：IDEA 推敲院这次便一连文告三个协作：与腾讯协作，在深圳福田区、河套深港科技革命协作区落地斥地福田实验室，聚焦东谈主居环境具身智能时刻；与好意思团协作，探索无东谈主机视觉智能时刻；与比亚迪协作，拓展工业化机器东谈主智能诳骗。 合成数据：IDEA 团队自研了语境图谱时刻，责罚过往文本数据合成有谋略的种种性匮乏等问题。该时刻为合成数据引入"指导手册"，以图谱为纲，指导用于合成的语境采样。实验末端高傲，IDEA 团队的有谋略能握续为大模子带来智商提高，阐扬杰出咫尺的最好施行（SOTA）；从 token 消费来看，平均省俭资本 85.7%。咫尺，该时刻内测平台已怒放，通过 API 提供作事。 AI for Science：在瞻望方面，IDEA 研发了多个化学领域民众大模子，分子属性瞻望和化学反应瞻望智商均处业界最先水平；在数据方面，IDEA 开发了化学文件多模态大模子，聚集晶泰科技发布专利数据挖掘平台 PatSight，将药物领域的专利化合物数据挖掘时期，从数周镌汰至 1 小时。 AI for Coding（编程说话）：IDEA 推敲院的 MoonBit 团队展示了其开发平台强盛的 AI for coding 体验。MoonBit 是专为云狡计与旯旮狡计联想的 AI 云原生编程说话及用具链，已具备完备的多后端支握和跨平台智商，可在硬件上平直运行，支握 RISC-V。MoonBit 的开源开发平台，将于 12 月慎重怒放。 低空经济：IDEA 推出低空管制与作事操作系统 OpenSILAS 1.0 Alpha 版，还联袂 17 家产业伙伴发起 OpenSILAS 革命聚集体，以及《低空经济白皮书 3.0》低空安全体系的发布等。

此外，IDEA 还展示包括学术大模子和 AI 科研神器 ReadPaper、营销创作大模子，以及面向经济与金融领域的经济大模子、运筹画策大模子、投资大模子等多款新 AI 时刻与居品。

沈向洋暗示，在曩昔统共广受接待的编程说话中，还莫得一个是由中国开发者创造的，而如今，AI 期间也必将催生新的编程范式，中国开发者将会起到时弊作用。

" ChatGPT 展示了一种新的可能：那时刻突破达到一定程度，不错跳过传统的居品市集匹配 ( PMF ) 历程，平直收场时刻市集匹配 ( TMF ) 。"沈向洋暗示，如果 GPT-5 问世，按照其推断，可能需要 200T（200 万亿）边界的数据。

沈向洋强调，AI 正在调动科研表情。从"笃定想法"（ARCH）到"选用课题"（Search），再到"深入推敲"（Research），每个关节齐将被重塑。今天 o1 不仅不错作念数据、作念编程，还不错作念物理、作念化学等。

"我以为接下来这几年，算法沿着 SRL（强化学习）这条谈路走下去，一定会有令东谈主惊艳的全新突破。"沈向洋暗示。

（本文首发于钛媒体 App，作家｜林志佳，裁剪｜胡润峰）

以下是沈向洋演讲的主要内容，钛媒体 AGI 裁剪经心整理了其中精彩部分：

今天是 IDEA 推敲院在深圳举办的第四届 IDEA 大会。

转头发展历程，三年前的第一届大会上，IDEA 初度向公众展示了推敲院的责任末端。在第二届大会上，咱们邀请了李泽湘进修、徐扬生进修、高文进修等学界翘楚进行深入对话。民众开打趣讲地咱们四个东谈主叫作念深圳 F4。

值得一提的是，这些学者齐是我 90 年代初赴好意思留学时最早结子的中国粹者。三十年后咱们能在深圳重聚，恰好印证了深圳行为革命创业热土的专有魔力。

经过四年发展，IDEA 推敲院已发展成领有 7 个推敲中心、约 450 名职工的科研机构。咱们选用这些职工，双向选用的历程中咱们强调这样的理念，"科学家头脑、企业家教授、创业者精神"。来到深圳、来到福田、来到 IDEA 齐是想干一番业绩。

曩昔几年，东谈主工智能的茂密发展让通盘行业充满憧憬和期待。在东谈主工智能发展进度中，"算力、算法、数据"这三件套持久是中枢身分。接下来，我将从这三个方面，详备分享我方的不雅察和念念考。

最先从算力提及。

行为狡计机领域的从业者，咱们一直见证着通盘狡计行业曩昔 40、50 年来算力的束缚提高。早期有著名的"摩尔定律"，英特尔提倡每 18 个月算力增长一倍。

但在曩昔十几年，跟着东谈主工智能，绝顶是深度学习的发展，对算力的需求呈现出前所未有的增长态势。

证据 EPOCH AI 的数据，每年最新的大模子对算力的需求齐在以惊东谈主的速率增长，年均增长率杰出四倍。

这个数字意味着什么？如果按照这个增长速率，十年间算力需求的增长将达到惊东谈主的 100 万倍。比拟之下，传统的摩尔定律下 18 个月翻一倍的增长，十年也不外是 100 倍的增长。

算力是时弊，算力便是出产力。为什么这样讲？曩昔十几年不错绝不夸张的讲，IT 行业、东谈主工智能行业最了不得的一家公司、最得胜的一家公司，不管从哪个角度看便是 NVIDIA 英伟达。

英伟达依然从一家单纯的硬件芯片供应商，挽救为通盘行业的中枢援助。咫尺行业里流传着这样一句话：英伟达硬生生把我方从作念硬件、芯片的乙方公司作念成了甲方，而今天拿得到英伟达的卡，那你就得胜了一半。

让咱们望望具体的数据：2023 年英伟达最新址品 H100 的出货量握续攀升，各大公司争相采购。包括马斯克最近就部署了一个领有 10 万张 H100 卡的大边界集群。到 2024 年为止，微软、谷歌、亚马逊等科技巨头齐在大齐采购 H100 芯片。

为什么需要如斯渊博的算力？这与大模子的发展密不可分。

Scaling Law 告诉咱们，大模子不仅参数目巨大（从百亿到千亿，再到万亿参数），况且历练所需的数据量也在束缚增长。更时弊的是，要提高模子性能，对算力的需求会随参数目呈普通相干增长。这就解说了为什么曩昔十年英伟达的市值能够增长 300 倍，也阐述了"算力便是出产力"这一结论的深刻含义。

一朝这样大的参数以后，要能历练这样的模子，数据量也要增长，某种意旨上来讲，要把性能提高，对算力的需求呈跟参数的普通相干，这对通盘算推算力的需求曲直常渊博。

曩昔这一年来我时常讲的一句话，"讲卡伤热情，没卡没热情"。

前不久我在上海演讲的时候台下有位大学校长，诸君淳厚要对校长暗示轸恤，校长也不好当。淳厚说你给我 100 张卡，我不错作念些科研，给你 100 张卡，校长几千万就莫得了。

在东谈主才招聘方面，算力资源依然成为一个着急想法。有些企业会以"千卡东谈主才"、"百卡东谈主才"来形色东谈主才边界，真确顶尖的甚而被称为"万卡东谈主才"。IDEA 推敲院依然领有了千张卡的算力储备，在深圳算得上是"小土豪"级别的边界。

这也解说了为什么曩昔十年英伟达的市值涨了 300 倍，这是不可想象的事情，

这种算力需求的变革被业界称为从"摩尔定律"到"黄氏定律"的挽救。黄氏定律不仅体咫尺硬件算力的增长上，更着急的是反应了模子历练对算力需求的指数级增长。畴昔十年的算力需求是否会陆续保握如斯惊东谈主的增长速率，这个问题值得咱们握续和顺和念念考。

之前我在大湾区论坛亦然提到曩昔十年算力的增长 100 万倍，有一篇著述写的不准确，他说沈向洋讲，畴昔十年算力的需求会有 100 万倍的增长。其实我并莫得这样讲，我也不是看得很了了，接下来十年的算力需求是不是会增长 100 万倍。

未来中午我在香港有契机请示黄仁勋博士，黄仁勋博士到香港科技大学收受荣誉博士学位，之后会和我作念一个对谈，讲时刻、教导力、创业的故事。我未来有契机想请示他一下畴昔十年的发展会不会有 100 万倍的增长。

其次是算法。

在算法方面，自 2017 年 Transformer 架构问世以来，东谈主工智能、深度学习和大模子的发展基本上齐是沿着这个想法，通过堆数据和算力来推动。但在 GPT-4 之后，咱们看到了算法范式的新突破。绝顶是 OpenAI 推出的新时刻，包括多模态的 GPT-4V 以及最新的 o1 推理学习智商，展现了算法革命的新想法。

令东谈主欢娱的是，近几个月来，国内也有一些公司，包括初创企业在 o1 这个方朝上取得了显耀进展。

这里我想详备先容一下算法突破的念念路。在 o1 出现之前，民众批驳的齐是 GPT 系列，统共的责任齐蚁合在预历练上，中枢任务便是瞻望"下一个 token "。其中很着急的时刻配景是对所罕有据进行高效压缩，使模子能够快速给出谜底，收场"一问即答"。

而咫尺的范式变革引入了强化学习（Reinforcement Learning）的理念，模子具备了自我改善的智商。这种新方法的脾性在于，它更接近东谈主类的念念考表情。不同于之前的快速念念考方式，咫尺的模子在给出谜底时会阅历后历练、后推理的历程。这就像学生在解数学题时会先打草稿，考据一条旅途是否正确，如果辨别就回退尝试另一条旅途。

天然强化学习自己并不是一个新见识——比如几年前 AlphaGo 就使用强化学习击败了围棋宇宙冠军——但今天的革命在于它的通用性。曩昔的强化学习系统时时只可责罚单一问题，而像 o1 这样的新系统不错同期处理数据分析、编程、物理、化学等多个领域的问题。我认为，在畴昔几年，沿着 Self-Reinforcement Learning ( SRL ) 这条谈路，咱们将看到更多令东谈主惊艳的突破，期待 IDEA 推敲院和国内的推敲东谈主员能在这个方朝上有更多的念念考和革命。

临了是数据。

在征询数据之前，我依然提到，大模子的茂密发展不仅依赖于参数边界的增长，还需要海量数据的支握。让我和民众分享一些对于数据边界的具体数据。

三年前 GPT-3 发布时，使用了 2Trillion（2 万亿）的 token 数据。到了 GPT-4 期间，模子历练使用的数据量加多到了 12T，在束缚历练历程中可能达到了 20T。这个边界大致相当于咫尺互联网上可获取的优质数据总量。而畴昔如果 GPT-5 问世，按照我的推断，可能需要 200T 边界的数据。

但问题在于，互联网上依然很难找到如斯渊博的优质数据。这就引出了一个新的推敲想法：合成数据。

为了让民众对这些数据边界有更直不雅的意志，我举几个例子：1 万亿 token 的数据量约莫相当于 500 万本书，或 20 万张高清相片，或 500 万篇论文。从东谈主类历史的角度来看，于今为止创造的统共竹素约莫包含 21 亿 token，微博上有 38 亿 token，而 Facebook 上约有 140T 的数据。不外酬酢媒体上的数据质料普遍不够高，真确有价值的内容相对有限。

从个东谈主维度来看，一个东谈主读完大学，真确学到的学问量约莫是 0.00018T，相当于 1000 本书的内容。如果以为我方还没读到这个量级，也许咫尺运行该多读些书了。

真义的是，ChatGPT 等 AI 模子的历练数据主要来自互联网。转头互联网发展的 40 年，东谈主们热衷于在网上分享信息，咫尺看来，似乎是在为 GPT 的历练作念准备。AI 之是以如斯智能，很大程度上获利于咱们孝敬的数据。这其中还有一个值得提防的应承：不管历练哪种说话的 AI 模子，底层的高质料数据主淌若英文的。这意味着在 AI 期间，英语的着急性可能会进一步加强，就像互联网期间相通。

既然网上的数据已接近极限，AI 的进一步发展就需要依靠合成数据，这可能催生新的百亿好意思元级创业契机。

与 GPT 系列主要使用互联网文本数据不同，新一代模子（如 o1）需要更强的逻辑性，这些数据在网上时时找不到。比如在编程领域，咱们需要知谈具体的门径是如何一步步完成的。在 IDEA 推敲院，在郭院长的率领下，咱们开展了高质料历练数据的名堂，为大模子握续提供新的"营养"。

咱们的合成数据方法并非盲生疏成，而是树立在严谨的方法论基础上。咱们最先树立语境图谱，在此基础上进行数据合成。这些合成数据经过大模子预历练后，依然展现出很好的效果。

除此以外，咱们还在探索另一个维度的问题：私域数据安全孤岛。由于数据安全研究，很多私域数据无法平直分享使用。为此，咱们开发了 IDEA Data Maker，将这两个方面联接起来，通过语境图谱生成新的语料，责罚过往文本数据合成有谋略的种种性匮乏等问题。该时刻为合成数据引入"指导手册"，以图谱为纲，指导用于合成的语境采样。实验末端高傲，IDEA 团队的有谋略能握续为大模子带来智商提高，阐扬杰出咫尺的最好施行（SOTA）模子；从 token 消费来看，平均省俭资本 85.7%。咫尺，该时刻内测平台已怒放，通过 API 提供作事。

在征询了 AI "三件套"之后，我想分享 IDEA 推敲院近一年来的念念考和施行。绝顶是大模子茂密发展给咱们带来的机遇。

讲大模子之前我讲一下最近的学习体会，ChatGPT 出来了以后令民众相当轰动。ChatGPT 这个居品出来，原本仅仅几个时刻的演示，它出来以后两个月的时期全球 1 亿用户，成为了不得的应承。

这种应承破损了咱们对居品发展的传统解析。在互联网期间，咱们常说 PMF（Product-Market Fit，居品市集匹配）。对这个见识的连气儿，我屡次请示过好意思团的王慧文，在清华的一堂课上，他有意进修了 PMF 的内涵。

但 ChatGPT 的得胜告诉咱们，它本色上跳过了 PMF 的历程，平直收场了 TMF（Technology-Market Fit，时刻市集匹配）。那时刻发展到一定程度，就可能收场这样的杰出式突破。

在 IDEA，咱们天天在追求一些极致的时刻，也在念念考：如果无意刻出来，是否不错一步到位？这天然是咱们的祈望，咱们一直执政这个想法尽力。

顺着 TMF 的念念路，我想讲一个最近咱们绝顶和顺的想法：狡计机编程说话。行为一个学习狡计机的东谈主，我我方就编写过十几种不同的编程说话，在不同的阶段作念不同的名堂时齐会用到它们。

在这里我想提倡一个着急不雅点：纵不雅全球，有那么多的编程说话，包括演义话、大说话、中型说话，但基本上莫得一个被庸俗使用的说话是由中国东谈主发明、中国东谈主创造的。这种应承是有契机调动的。

让我给民众举几个例子，阐述什么是应承级的说话。

在曩昔七八十年的狡计机科学发展历程中，出现过的应承级说话不杰出十个。这里的"应承级"是指至少有几百万、上千万用户在使用这个说话编程。比如早期的 Fortran，那时是和 IBM 大型机绑定的，作念三角狡计齐要用 Fortran 说话。70 年代出现的 C 说话，是与 Unix 操作系统细致衔接的，甚而不错说 Unix 系统便是用 C 说话构建的。到了 90 年代互联网兴起时，我师兄开发的 Java 说话被大齐方法员经受，主要用于开发 Web 作事器。而在曩昔十几年，Python 因为在科学狡计方面的便利性，绝顶是在云狡计平台上的庸俗诳骗，成为主流说话。如果你问问我方的孩子在学什么编程说话，粗略率会是 Python。

那么，在今天的大模子期间，会不会出现新的应承级说话？这个问题不是唯有我一个东谈主在念念考。比如，GitHub Copilot 的独创东谈主 Alex Graveley 就指出，AI 编程还莫得造成新的编程说话范式。编程说话是最根底的时刻革命想法之一。

有了说话之后，就需要探索大模子的时刻革命想法。在大模子智商依然达到新高度的今天，一个时弊问题是：咱们如何将这种智商更动为本色诳骗？在哪些场景中不错阐扬其最大价值？

在统共的诳骗想法中，我绝顶要强调 AI For Science（科学智能）的着急性。不错说，在面前阶段，很难想象有什么比 AI For Science 更着急的想法。如果咱们要作念东谈主工智能推敲，一方面要全力推动大模子时刻的落地，另一方面也要和顺它在科学推敲中的诳骗。

这让我想起二十多年前在微软亚洲推敲院作念过一个对于如何作念科研、如何作念学问的阐述。我把科研责任分红了三个不同的头绪：ARCH（笃定想法）、Search（选用课题）、Research（深入推敲，一而再再而三地探索）。咫尺，咱们但愿 IDEA 的责任能为中国的科研东谈主员、年青学生在作念科研时提供更好的支握。

事实上，东谈主工智能的发展正在对社会产生真切的影响。这个问题太着急了，需要咱们负责念念考。咱们今天要征询的是 AI 治理问题，包括它对民众的冲击、对公司的冲击、对监管的冲击、对社会发展的冲击。

东谈主工智能的影响究竟是如何发生的？八年前，东谈主们还在征询酬酢媒体的影响，而今天咱们必须要征询东谈主工智能的影响。

曩昔十几年的发展令东谈主惶恐：东谈主类引以为傲的智商正在一个个被 AI 超越。下象棋、下围棋就不消多说，咫尺 AI 在阅读连气儿、图像识别和检测等领域的智商齐依然迟缓超越东谈主类。

更令东谈主轰动的是，这些智商的提高依然不是单点突破，而是通用东谈主工智能全体智商的提高，这使得东谈主工智能对社会的影响变得特别真切。

咫尺，全球范围内齐在征询 AI 治理问题。我有幸在本年上海东谈主工智能大会上与我的导师瑞迪进修、布卢姆进修和姚期智进修一谈征询这个议题。

从社会发展的角度来看，咱们风俗用 GDP 来预计发展水平。但 GDP 这个见识其实是很新的。在农业社会之前，根底不存在 GDP 增长的见识，因为东谈主们连饱暖齐难以责罚。农业社会发展后，东谈主们有了剩余产能，但 GDP 年均增长仍然唯有 0.1% 至 0.2%。到了工业社会，这个数字提高到 1% 至 2%。信息社会的 GDP 年均增长达到了 3%、4%，这里说的齐是全球的大致数字。

那么，在接下来 AI 社会的发展，会发生什么？一些经济学家瞻望，跟着东谈主工智能数目杰出东谈主类数目，机器东谈主数目急剧加多，出产效力将获取巨大提高。在这样的 AI 宇宙中，GDP 年均增长可能达到十几个百分点。

这样的增长给社会带来的问题是什么？我想问的一句话是 AI 的发展，从经济最大的增长能不可更动到东谈主类的最大福祉？这是为什么在座的，在 IDEA 推敲院从事时刻研发的共事，产业落地这些共事在东谈主工智能发展的谈路上是必须要去念念考的问题。

谢谢民众！期待来岁重逢。