No.44 🤖人工智能风云录之驶上不能踩刹车的快车道

Metadata

• 标题: No.044 AI人工智能风云录：快车道

• 作者: 刘飞、潇磊

• 网址: https://www.xiaoyuzhoufm.com/episode/6425379b73768bea35cd5a6b

Overview

本期节目是”人工智能风云录”系列的第四期（也是最后一期），聚焦于2012年深度学习爆发至今的AI发展快车道。节目核心论题是：以杰夫·辛顿（Geoffrey Hinton）2006年提出”深度学习”（Deep Learning）概念为起点，神经网络在2012年AlexNet的惊艳表现后迅速从边缘走向主流，引发全球科技巨头（谷歌、微软、Facebook/Meta、百度等）的军备竞赛；而OpenAI的GPT系列（尤其是ChatGPT）的出现，标志着基于海量数据训练的大语言模型（Large Language Model）成为当前AI的主流范式。然而，这种”黑盒”式的大规模神经网络也带来了可解释性和偏见等根本性问题，AI的未来仍充满不确定性。

按主题梳理

深度学习的火种传递：三巨头与NIPS大会

杨立坤（Yann LeCun）与卷积神经网络（CNN）： 1960年出生于法国巴黎郊区的杨立坤（Yann LeCun），名字是Yann LeCun，“杨立坤”是他自己起的中文名。1983年从ESIEE工程专业毕业后，杨立坤对”感知机”产生兴趣，但80年代AI寒冬期间，相关论文都是日本人写的——美国人已经不研究神经网络了。

1985年，巴黎计算机学术会议上，杨立坤发现一位美国学者在讲”玻尔兹曼机”——这正是杰夫·辛顿的研究。演讲结束后，杨立坤想找辛顿，却找不到；同时辛顿也在问工作人员”听说巴黎有个老弟叫杨立坤？“——双向奔赴。两人语言不通（杨立坤不会英语，辛顿不会法语），只能比划着交流，却”很快就达成一致”，“说的就是相同的语言”。辛顿后来加入杨立坤的博士论文委员会，特地从美国飞到巴黎参加答辩——辛顿问英文，杨立坤答法语，“配合得相当好，除了辛顿完全听不懂之外”。

博士后期间，杨立坤研究了日本科学家福岛邦彦（Kunihiko Fukushima）1980年提出的”认知机”（Cognitron）——模拟人类视觉系统，分层处理图像信息。例如看一幅苹果的图画，大脑会分层处理：先看形状、颜色、纹理，而不是直接得出结论。杨立坤在此基础上改造，发明了卷积神经网络（Convolutional Neural Network, CNN），核心创新包括：局部连接降低计算复杂度、权重共享提高泛化能力、卷积操作保持平移/缩放/旋转不变性、池化操作减少参数数量等。

CNN在手写数字识别上准确度一骑绝尘。杨立坤到贝尔实验室工作，开发的手写数字识别系统被AT&T和银行采用，一度处理了美国10%以上的支票识别。然而后来AT&T分拆，项目资金中断；杨立坤的论文投稿时，杂志说”今年神经网络额度已用完，明年再发”；他甚至要把”CNN”中的”Neural”去掉，改成”卷积网络”（Convolutional Network）才能发表。

杨立坤是坚定的神经网络支持者，扎着马尾辫（“有点像刘欢老师”），继续等待机会。他后来成为Facebook（现Meta）的AI奠基人，与辛顿、本吉奥并称为”深度学习三巨头”，2018年同时获得图灵奖。

谢诺夫斯基（Terry Sejnowski）与NetTalk： 1947年出生于美国的谢诺夫斯基（名字像苏联人，实际是美国），是辛顿的亲密战友，除了玻尔兹曼机外，1988年开发了NetTalk——文字转语音系统。这个系统能”现场学习”，在电视节目《今日秀》（Today Show）上直播演示学习过程，从发出奇怪声音到逐渐学会发音。这一演示和ALVINN自动驾驶卡车、杨立坤的手写数字识别系统，成为寒冬中让神经网络”差点复国”的重要节点。

2006年达特茅斯会议50周年纪念，明斯基演讲后，谢诺夫斯基站起来当众质问：“你知道吗？在我们这些人眼里，你大大阻碍了神经网络的发展……你是魔鬼吗？“明斯基没有直接回答，而是客观分析神经网络的优缺点。谢诺夫斯基继续追问：“你是魔鬼吗？“明斯基赌气回答：“我是，我是，我是。上头了，还问起眼了呢。”

约书亚·本吉奥（Yoshua Bengio）与生成对抗网络： 1964年出生于法国巴黎，MIT毕业，去贝尔实验室读博士后，后来到了加拿大蒙特利尔大学——边缘地带，因为他也搞神经网络。本吉奥的贡献更多是优化和落地：提出自编码器（Autoencoder）、优化LSTM（长短期记忆网络）、创新生成对抗网络（GAN）等。他被称为”神医”——别人的算法在他手里”效果就贼好”。

蒙特利尔大学全北美排名150开外，却因本吉奥的影响力吸引了全球AI学者。一位叫伊恩·古德费洛（Ian Goodfellow）的学生拿到斯坦福、伯克利和蒙特利尔三个offer，正常人选斯坦福，他却”因为本吉奥在哪就去了”——“蓝翔技校有本神医，我要去那”。

2014年，古德费洛在酒吧与实验室同事聊天：“神经网络可以识别图像，能不能反过来生成图像？“他想到方法：打造一个神经网络（生成器）创造图像，试图欺骗另一个神经网络（判别器），判别器负责指出错误。同事们吐槽”左脚踩右脚上天”，古德费洛自己回公寓用破笔记本电脑训练几百张照片，真的搞出来了——这就是生成对抗网络（GAN，Generative Adversarial Network）。杨立坤评价：“GAN是过去20年深度学习领域最酷的想法。“辛顿听完”立马算年份”，看看自己的成果是否在20年之内。

GAN在扩散模型（Diffusion Model）出现之前一直是AI绘图最主流算法，2018-2020年间流行的Deepfake换脸技术就基于GAN。

吴恩达（Andrew Ng）与谷歌大脑： 1976年出生于英国伦敦，中国香港移民后代，在新加坡、中国香港长大。1997年到美国，在卡内基梅隆、MIT和加州大学伯克利分校拿到三个学位（计算机、统计学、经济学），1996-1998年在贝尔实验室做AI研究，2002年开始在斯坦福任教授。

吴恩达本来不是特别热衷于神经网络，读了辛顿的论文后”转移了路线”，在斯坦福——AI三大中心之一、正规军里当”反贼”——到处宣扬神经网络是未来。当时AI顶级专家吉腾德拉·马利克（Jitendra Malik）当众打断他：“你这是歪门邪道，没有任何证据！“吴恩达回答：“信仰，能够提前看到将来。”

2010年，吴恩达约谷歌创始人拉里·佩奇吃饭，准备材料讲”深度学习走向通用人工智能”，项目起名”马文计划”（Project Marvin）——纪念明斯基（虽然吴恩达说没有讽刺意思）。2011年项目批下来，吴恩达加入谷歌。他先”拜码头”找核心业务部门合作——搜索负责人阿米特·辛格哈尔（Amit Singhal）直接怼回去：“用户不想问问题，用户输入关键词就行了。”

吴恩达找到杰夫·迪恩（Jeff Dean）——谷歌3号/4号工程师，解决爬虫、索引、查询、广告系统、分布式架构等核心技术，发明MapReduce大数据处理模型。关于杰夫·迪恩的段子在程序员圈广为流传：

• “杰夫·迪恩向以太网发送数据包时不会有冲突，因为本来和他有冲突的包都默默撤回了”

• “杰夫·迪恩在五子棋游戏中能赢你在四步以内”

• “杰夫·迪恩的个人识别码是圆周率的最后四位”

• “2002年谷歌搜索挂了，杰夫·迪恩站出来手动处理用户查询，准确度翻了一倍”

• “杰夫·迪恩听MP3时，会查看二进制内容，在脑子里进行音频解码”

这位”神一样的程序员”对吴恩达的项目感兴趣：“我读本科时自己写过神经网络算法。“两人合作，2012年发表论文介绍在YouTube视频里识别出猫——这就是著名的”小猫论文”（Cat Paper），吴恩达介绍项目的照片成为AI历史经典照片。项目成功后被独立为”谷歌大脑”（Google Brain）部门。

吴恩达后来离职创办Coursera投身在线教育，但他的课程（包括机器学习课程）影响了全球无数学生。

谷歌的收购与军备竞赛的开启

辛顿公司的竞拍： 吴恩达走后，推荐辛顿接手。辛顿最初没兴趣：“我在这可舒服了，终身教授，搞搞地下党。“谷歌请他去看，辛顿在食堂遇到几个人很开心地说”公司刚被谷歌买了”，辛顿想”原来公司被买这么开心，那我也试试”。

2012年ImageNet比赛后，辛顿成立DNNresearch公司——就三个人（辛顿、萨特斯基弗、克里泽夫斯基），没有其他业务，唯一资产就是三个人。辛顿挂黑板”招标”，四家公司竞争：谷歌、微软、百度，还有一家（ DeepMind）。报价从1500万美元到2000万、2200万，最后只剩谷歌和百度。谷歌直接开价4400万美元，百度退出。

“4400万美元收购一个空壳公司”——后来证明太便宜了。当时其他家再请辛顿学生，价格比这高得多。这笔收购”给谷歌续命”，开启了全球AI军备竞赛。

DeepMind与阿尔法狗（AlphaGo）： 2010年，戴密斯·哈萨比斯（Demis Hassabis）在伦敦成立DeepMind。哈萨比斯1976年生于伦敦，母亲是华裔新加坡人，父亲是希腊裔塞浦路斯人。13岁获得国际象棋大师称号，当时全球同年龄段第二；剑桥计算机科学系毕业，全系第一；21岁参加智力比赛（国际象棋、围棋、拼字游戏、双陆棋、扑克五项同时参赛），五届拿了四届冠军（一届没去因为太喜欢电子游戏）。他设计的《主题公园》游戏，很多80后玩过。

哈萨比斯后来读神经科学博士和博士后，2010年与沙恩·莱格（Shane Legg）、穆斯塔法·苏莱曼（Mustafa Suleyman）创立DeepMind——致敬《银河系搭车客指南》里的超级计算机Deep Thought，也致敬深度学习。

DeepMind先找彼得·蒂尔（Peter Thiel，投资Facebook、LinkedIn、Airbnb）融资。哈萨比斯去拜访，先聊客厅里的国际象棋，“谈哲理”，最后”图穷匕见”——蒂尔拉上马斯克（Elon Musk）一起投资。

DeepMind先让AI玩雅达利游戏，能在电视台上播展示。2014年佩奇知道后，“有钱必须买”。谷歌6.5亿美元收购DeepMind——50个人，没有实际业务和净资产。收购时哈萨比斯犹豫：曾承诺员工”保持20年独立”，但谷歌表现出极大诚意，最终”20年缩减成三周”。

2016年1月，《自然》杂志封面报道：DeepMind的AlphaGo击败三届欧洲围棋冠军樊麾。2016年3月，AlphaGo与韩国世界冠军李世石比赛，赛前李世石说”估计4:1吧，机器能赢一局”，结果1:4大败。第二局第37步，AlphaGo下出”神来之手”，概率仅万分之一，后来被证明是绝妙好棋。2017年，AlphaGo在乌镇3:0击败当时世界第一柯洁，中国围棋协会授予AlphaGo九段称号，聂卫平评价”至少20段”。

AlphaGo背后的方法融合了三大门派：基于强化学习（Reinforcement Learning）的启发式MCTS搜索、基于卷积神经网络的监督学习——“符号派、连接派、行为派完美融合”。

强化学习的历史传承： 强化学习源自冯·诺伊曼的”自复制自动机”理论，编者博克斯（John Henry Holland）在密歇根大学创建第一个计算机科学系，培养出第一个计算机博士，发明遗传算法（Genetic Algorithm）。霍兰德的学生巴托（Andrew Barto）在MIT工作，老板是维纳最后一个学生；巴托的学生萨顿（Richard Sutton）整合马尔可夫决策过程（Markov Decision Process）和动态规划（Dynamic Programming），发明强化学习。AlphaGo成功后，强化学习成为主流方法，GPT也大量使用。

三国鼎立：谷歌、微软与Facebook的AI争霸

谷歌的双轨战略： 谷歌内部有DeepMind（收购）和Google Brain（自建）两股力量，各有研究方向。DeepMind有哈萨比斯、莱格等；Google Brain有杰夫·迪恩、辛顿及其学生。

谷歌在硬件方面也大力投入：

• GPU集群：杰夫·迪恩和约翰·詹南德雷亚（John Giannandrea，前并行计算机公司CTO）申请4万个GPU（1.3亿美元），说服拉里·佩奇批准

• TPU（Tensor Processing Unit）：专为神经网络优化的芯片，用于AlphaGo、谷歌地图、相册、翻译等。最初AlphaGo用1202个CPU+176个GPU击败欧洲冠军，后来与柯洁下棋时只用48个TPU

• 谷歌翻译：2016年发布神经网络版，准确率大幅提升，这就是日常使用的翻译工具变靠谱的时间点

Facebook的追赶： Facebook动作较慢，因为业务距离AI较远。2013年先找到谷歌大脑研究员马克·让-扎托（Marc’Aurelio Ranzato），让-扎托问老师杨立坤，杨立坤说”企业都不老实做研究，看短期收益”，但扎克伯格亲自劝说，把工位安排在自己旁边，“一级项目，我亲自来看”，让-扎托最终加入。

一个月后，扎克伯格亲自打电话给杨立坤：“你徒弟就在我旁边，很需要你。“杨立坤拒绝：“我帮不上忙，您另请高明。“年底，让-扎托说要去NIPS开会，扎克伯格问”这是啥？“让-扎托解释后，扎克伯格说”我也去”。让-扎托尴尬地安排扎克伯格在同一酒店办商业活动”偶遇”，扎克伯格真见到杨立坤，当面吃晚饭，第二天邀请他建Facebook AI实验室。

杨立坤提出两个条件：不离开纽约大学、一周只去公司一天，扎克伯格当场答应。杨立坤成为Facebook AI奠基人，“非常认真对待这个工作”，至今仍是Meta（Facebook改名后）的AI总司令。

微软与陆奇： 1961年生于中国上海的陆奇，小时候营养不良，视力差到”一年只能吃两次肉”的程度。80年考上复旦大学计算机专业，是”书呆子”形象，人称”复旦陈景润”。

1984年风雨交加的星期天，陆奇本想回家看爸妈，因雨天被拉去听图灵奖得主艾德蒙·克拉克（Edmund Clarke）的讲座，现场提了几个问题，克拉克印象深刻，后来邀请他去卡内基梅隆读博。复旦校长谢希德（中国半导体之母）拍板：“他去！整个中国历史上还没有人去卡内基梅隆！“开绿灯放行。

1996年博士毕业后，学长李开复建议去硅谷。陆奇先加入IBM，后去雅虎（全球互联网开拓者），负责搜索关键业务，与杨致远一起收购周鸿祎的3721。2009年被微软CEO史蒂夫·鲍尔默挖去，推出必应（Bing），负责Office 365上云——这是微软云计算战略的核心。

陆奇既懂业务又熟悉学术，保持日常看论文习惯，认识辛顿和神经网络。2012年辛顿公司竞拍，微软本来不想参加，陆奇推动，其他高管觉得”就三个人，怪不得最贵”，回头再看已经跟不上。陆奇的重要KPI是把三巨头之一的本吉奥弄过来。本吉奥一直拒绝，2016年陆奇亲自带队去蒙特利尔，本吉奥说”给多少钱都不去，我喜欢说法语的地方”。陆奇发现本吉奥在给Maluuba公司做咨询，直接收购——“买过来就是把他做咨询的这几小时买过来”。一年后本吉奥成为微软顾问，但陆奇那时已离职。

陆奇2016年离开微软（与萨提亚·纳德拉竞争CEO失利）加入百度任COO，在中国推动AI发展。如今做投资，很早就布局AI，把硅谷著名孵化器YC搬到中国成立YC中国，后改为奇绩创坛。

百度与中国的AI布局： 吴恩达2014年加入百度任首席科学家，搭建百度大脑（IDL）。2017年离职。从技术积累角度，百度早年投入最多，BAT和其他公司中，百度”技术储备还是最多的”。

OpenAI与ChatGPT：新时代的开启

马斯克的焦虑与OpenAI的创立： 2014年11月，马斯克发表文章：“AI增长是指数级的，5到10年内就会产生严重危害，要防止有害的数字化超级智能体投进互联网。“从此到处宣讲AI危险，但”自己的公司也在做人工智能，非常努力”——理由是”我必须用我的努力，将来可能出现了问题能应对”。

2015年，马斯克投入1000万美元给”生命未来研究所”研究AI安全。后来觉得不够，想搞非商业机构与大公司对抗。YC CEO萨姆·奥尔特曼（Sam Altman）和Stripe前CTO格雷格·布罗克曼（Greg Brockman，26岁）也有类似想法。

三人吃饭”会车开了远光灯，整个世界都亮了”。缺AI专家，先找本吉奥，本吉奥列清单推荐10个人，邀请到酿酒厂聊，“9个当场同意加入”。最重要的是萨特斯基弗（还在谷歌大脑），谷歌出三倍五倍工资挖，小萨说”这是钱的事吗？“布罗克曼一条条发短信劝”为了人类未来”，甚至推迟发布会等他。最终小萨短信回复：“I’m in。”

2015年，OpenAI成立——马斯克、彼得·蒂尔等投资超10亿美元，宣布”毫无保留贡献未来技术，AI向所有人开放，不仅是地球上最富有的公司”。争议很大，杨立坤见到小萨列了十几条理由证明OpenAI不行：“研究人员太年轻、没法赚钱、巨头打不过……你们肯定失败，想都别想，恰好的前途，抓紧换条正路。”——“历史又是一个轮回”，跟当年人们劝辛顿、杨立坤不要搞神经网络一模一样。

从非营利到商业化： 2020年OpenAI发布GPT-3，在学术领域引起广泛关注。2022年12月ChatGPT上线，全球轰动。2023年3月GPT-4发布，再掀波澜。被称为”AI行业的iPhone时刻”。

但做AI太烧钱，2019年OpenAI放弃完全非营利，用复杂方式拉投资。2022年花了5.44亿美元，微软宣布投资10亿，OpenAI提供GPT-3独家使用权。2023年初微软再投100亿，占股49%，VC占49%，OpenAI基金会占2%。

股权设置分四个阶段：

1. 早期投资者连本带利收回钱

2. 微软和VC获得49%利润（上限920亿和1500亿美元）

3. 付完这些钱后，OpenAI拿回100%股份，获得完全控制权

这相当于”卖理财项目”——没赚到钱就黄了，赚到了还能”赎身”。马斯克批评OpenAI”变味了”，“屠龙少年变成巨龙”，因为：2018年他因想深度介入业务被奥特曼拒绝，退出董事会；OpenAI现在像微软子公司，不是当初设想的非盈利对抗巨头。

GPT的原理与争议： GPT（Generative Pre-trained Transformer）背后的语言模型70年代就出现了：知道上下文，预测下一个词。例如听到”半拿”，预测下一个词是”铁”；听到”不容”，预测是”易”。

GPT”一个词一个词蹦的时候，蹦出来一个推理能力”——这是学术界惊讶的，“猜词怎么能猜出新东西？“就像一个3岁小孩读了世界上所有东西，没有逻辑推理能力，但说出口头头是道。为什么能这样，目前是”学术界未解之谜”。

OpenAI团队发现，给机器提示”多想几步”（Think step by step），结果突然变好——相当于中间又抽象了几步。

杨立坤等科学家不喜欢GPT模式，因为：

1. 黑盒问题（Black Box）：不知道为什么有效，无法解释统计如何产生推理

2. 偏见（Bias）：从人类成果里学，会吸收偏见。2015年谷歌相册把黑人朋友照片自动分到”大猩猩”文件夹，引起巨大舆论，之后谷歌禁用”大猩猩”这个词

对于学术界来说，毕生追求是”巧妙方法让AI更牛逼”，但GPT”完全没有这些，用的都是老方法，大力出奇迹”——像特级教师发现隔壁学校”把老师都开除了，把学生塞图书馆里多学几个月”成绩好了。

毕业生：AI的现状与未来

回顾AI发展历程：

• 符号派：教小孩公式定理、背单词、学语法

• 控制论/行为派：把小孩扔到真实环境，学具体东西

• 连接主义：小孩自己学，不管怎么学，看结果

• 知识工程时代：发现教小孩最大问题是知识，跟编教材一样编不出来

• 机器学习时代：还是自学，但融合各派方法

• GPT时代：连学科都不想分，把小孩关图书馆直接学，只给数据不调教

ChatGPT是否通过图灵测试众说纷纭，但”被最多人认为通过图灵测试的系统”肯定是GPT。测试对比显示，GPT-4在SAT、IQ、数学等测试中大部分碾压正常人。

AI三大门派已经不分彼此，以更开放心态接受各种方法。从图灵、香农，到明斯基、麦卡锡、皮茨、罗森布拉特，到辛顿、杨立坤、吴恩达、陆奇，从达特茅斯到谷歌、微软——他们的努力构成了今天的人类社会大厦。

AI不是单指强人工智能（有意识、像MOSS那种），很多技术都非常有价值：人脸识别、指纹识别、推荐算法、AI客服、地图算法、自动驾驶、机器翻译……我们的生活因这些技术变得便利，要感谢背后的科学家。

但正如节目结尾所说：“如果将来的结果总归是那个点的话，我们是没法回头的。哪怕是一步亦趋、中间有磕绊的，也要朝着那个点走过去，直到走到了那个点，我们才会知道最终的结果是什么。大的趋势就是那样了，不管你是信与不信。”