No.42 🤖人工智能风云录之两次寒冬与机器学习的崛起：数据和知识

Metadata

• 标题: No.042 AI人工智能风云录：两次寒冬

• 作者: 刘飞、潇磊

• 网址: https://www.xiaoyuzhoufm.com/episode/64119741d94bb094db942a45

Overview

本期节目是”人工智能风云录”系列的第三期，聚焦于AI历史上的两次”寒冬”（AI Winter）以及寒冬中孕育的希望。节目核心论题是：符号派在1970年代遭遇的”知识工程”困境导致了第一波寒冬，而1980年代专家系统的兴起与日本”第五代计算机”的狂热则催生了第二波寒冬；但正是在这两次寒冬中，统计学习方法、神经网络和机器学习悄然积蓄力量，为后来的深度学习革命埋下了火种。特别地，杰夫·辛顿（Geoffrey Hinton）等科学家在寒冬中坚守神经网络研究，最终带领连接派复兴，成为了AI历史的关键转折点。

按主题梳理

寒冬中的微光：专家系统的兴起

1973年莱特希尔报告发布后，人工智能进入了接近十年的第一波寒冬。但科学家们并未停止研究，而是在困境中寻找新的出路。

明斯基的框架理论（1974年）： 明斯基提出了”框架理论”（Framework Theory），认为人脑思考不是麦卡锡那种”严丝合缝、干干净净”的符号推演。他举例说：看到苹果会联想到”好吃”、“酸甜”、“会腐烂”，看到梨子、橙子也会联想到类似属性。框架理论的核心是给事物建立”默认值”——就像一个表格，水果都有”颜色”、“味道”、“保质期”等字段，下次输入”香蕉”时，这些默认值自动填充，只需要修改具体细节。这与后来的”面向对象编程”（Object-Oriented Programming）中的”类”和”继承”概念非常相似。

节目用商业故事做类比：创始人白手起家→艰苦创业→抓住时代机会（瑜伽火了是Lululemon的机会，体育运动火了是健力宝的机会）→做大做强→经历危机→起起落落→终于成功——这个套路就是一个”框架”，可以套用到无数商业案例中。

语义网络（Semantic Network）： 同时期出现的语义网络，试图让计算机理解符号之间的关系——想象一个巨大的思维导图，名词之间用线连接。例如”望京”和”朝阳”离得很近，“望京”和”海淀”离得很远；“半拿铁”本来与”咖啡”、“饮料”接近，但通过这个播客的努力，现在与”相声”、“财经”更接近了。

然而，这些进展都没有解决符号派的核心问题——知识从哪里来？框架需要填充知识，语义网络需要建立关系，但这些都需要人工输入。面对”无数的知识”，学者们只能”退而求其次”：既然通用知识太难，不如让AI先成为”专才”而非”通才”——上职业学校，学挖掘机、学炒菜，搞一个具体方向。

专家系统的黄金时代与XCON的商业成功

DENDRAL与MYCIN：最早的专家系统： 1958年，33岁的诺贝尔生理学或医学奖得主约书亚·莱德伯格（Joshua Lederberg）来到斯坦福大学担任遗传学系主任。他对”莱布尼茨之梦”很感兴趣，通过麦卡锡认识了斯坦福大学计算机中心主任费根鲍姆（Edward Feigenbaum）。两人决定合作开发一个专业领域的系统——DENDRAL。

DENDRAL解决的具体问题是：输入质谱仪（Mass Spectrometer）的数据，输出物质的化学结构。这是一个非常聚焦的任务，知识量有限，可以穷举。费根鲍姆的团队里有一位哲学系学生布坎南（Bruce Buchanan），本来与化学、生物、计算机无关，但学习能力极强，不仅自学了这些知识，还给团队成员讲化学课——据说有一次麦卡锡拍桌子”你们好好听！”

布坎南后来牵头开发了MYCIN系统，针对细菌感染情况给出诊断处方，准确率69%，虽然不如专科医生的80%，但已经超过非专科医生的水平。这两个系统成为了最早的”专家系统”（Expert Systems），MYCIN也被认为是专家系统的鼻祖（虽然DENDRAL更早）。

XCON的商业化成功： 1978年，卡内基梅隆大学（CMU）的约翰·迈克德莫特（John McDermott）开发了一套系统叫R1（后来改名XCON，eXpert CONfigurer，专家配置器）。背景是DEC公司（Digital Equipment Corporation，当时的大型商用计算机公司）的电脑配置极其复杂——各种电缆、接头、驱动卡，即使是同一家产品也不统一，销售经常搞不清配少了什么。

XCON的功能是按客户需求自动配置零部件，直接送到客户那里组装，保证不出问题。从1980年到1986年，XCON处理了8万个订单，准确率达到95%-98%，据说为DEC节省了2500万到4000万美元——这在当时是天文数字。XCON是基于规则的系统，里面有2500条人工输入的规则。

这是人工智能历史上首次商业化成功。1980年代，各种各样的专家系统开始出现，“有用就行”——当时很多人不关心是符号派、连接派还是行为派，只看结果。XCON的成功带来了AI的又一次高潮，但也引发了新的社会恐慌：“这次真的要替代人了！“媒体报道铺天盖地，密切关注的不止老百姓，还有各国政府。

四色定理的机器证明： 1976年，伊利诺伊大学的哈肯（Wolfgang Haken）和阿佩尔（Kenneth Appel）用IBM 360计算机，花了1200个小时，通过暴力枚举证明了”四色猜想”（Four Color Theorem）——任何地图只用四种颜色就能保证相邻区域颜色不同。这是历史上第一个被机器先证明出来的定理。

数学界最初反应负面：无法检验机器的计算步骤，“万一有一步瞎算怎么办？“但2004年，数学家乔治·贡蒂埃（Georges Gonthier）提供了可靠性的验证方法，机器证明逐渐被接受。

第二次寒冬：日本五代机与全球泡沫

日本五代机计划： 1980年代初，日本经济蒸蒸日上，民族自信心爆棚，《日本可以说不》成为标志性书籍。1981年，日本通产省（类似中国的信息产业部）决定举全国之力搞”第五代计算机”（Fifth Generation Computer）。

计算机代际划分：第一代电子管、第二代晶体管、第三代集成电路、第四代超大规模集成电路。日本要搞第五代——“非冯结构”（Non-von Neumann Architecture），背叛祖师爷冯·诺伊曼，用全新的硬件架构实现完全人工智能（AGI，Artificial General Intelligence），能够识别所有图像、处理自然语言、解决复杂逻辑问题。

项目负责人渊一博（Kazuhiro Fuchi）提出”35岁以上不收，我们只要年轻人”，招了40个人自称”四〇浪人”——漂泊在外创业的状态。10年投入8.5亿美元（听起来很多，但IBM一年研发经费就15亿美元）。

日本还邀请了费根鲍姆等外籍专家做顾问，全球都慌了。美国1984年通过《国家合作研究法》，成立微电子与计算机技术公司（MCC），总裁是前国家安全局局长、中央情报局副局长鲍比·雷·英曼（Bobby Ray Inman）。英国有Alvey项目（投入3.6亿美元），欧洲有ESPRIT项目。

Cyc：人类常识的百科全书： MCC找到了道格拉斯·莱纳特（Douglas Lenat），他在1983年组织了会议，提出”我们需要知识，瓶颈就是知识”。MCC支持下，莱纳特成立了Cyc公司（取自Encyclopedia的中间三个字母），目标是输入人类常识上百万条，通过形式语言开发编程语言CycL，建立超大规模知识库。

第一个10年，Cyc搞出来10万个术语——1000个人干了10年，平均一个人一年只搞出10个术语。成本极高，效果有限——后来只能用在很窄的领域，像”专业词典”。虽然Cyc被称为最早的知识图谱（Knowledge Graph），现在百度搜索结果中的”相关人物""相关事件”就是知识图谱的应用，但作为AI项目，Cyc被很多科学家批评为”灾难性的失败”。明斯基亲自说：“80年代最受AI研究人员欢迎的策略已经走入死胡同了……专家系统无法学习大多数人类小孩在3岁时就知道的概念。”

不过Cyc也有正面贡献：它成了AI领域的”黄埔军校”，培养了包括RSS和2DF网络标准发明者、苹果和网景早期成员、Scribd创始人、雅虎5号员工、UC伯克利教授斯图尔特·罗素（《人工智能》教科书作者，全球1500多所大学使用）等众多人才。

丹尼·希利斯与思维机器： 另一位奇人是丹尼·希利斯（Danny Hillis），MIT博士，三位导师是明斯基、香农和计算机先驱克劳德·香农的继任者。他创办的Thinking Machines公司推出了最早的商用并行计算机Connection Machine，是当时世界上最快的计算机。合作伙伴包括理论物理学家费曼、诺贝尔奖得主悉尼·布伦纳等。

虽然Thinking Machines在1994年关门，但希利斯后来加入迪士尼担任幻想工程研发副总裁，设计了众多主题公园设施；创办了智库；给Herman Miller椅子做电源和照明系统；2005年成立MetaWeb做知识图谱，被谷歌收购成为Google Knowledge Graph；2013年苹果和三星打官司时，三星发现希利斯早在苹果之前就申请了多点触控专利——“啥都行”的全才。

日本五代机的失败： 日本的五代机计划最终搞成了”大杂烩”——会议记录从280页膨胀到1300页，课题啥都有，PPT全是术语和箭头框，“没有一句人话”。硬件确实搞出来了，但性能比IBM机器差远了，而且英特尔x86芯片的性能已经非常好。传统摩尔定律的模式（芯片内容越来越多、存储越来越大）比加AI规则进展更快。

1994年，日本通产省自己结案，称”启发了后人，不算彻底失败”。但迄今为止，没有主流计算机技术团队说曾得到过五代机的启发。渊一博1994年去东京大学当老师，两年后退休，2006年去世——“四〇浪人真的给人放出去，浪了一圈就没回来”。

从1990年代初到1993年底，300多家人工智能公司倒闭或破产，第二波寒冬正式到来。

深蓝：性能怪兽的胜利

第二次寒冬期间，AI领域最震撼世界的事件是1997年IBM深蓝（Deep Blue）击败国际象棋世界冠军卡斯帕罗夫（Garry Kasparov）。

下棋AI的历史：

• 1769年：德国发明家肯佩伦（Wolfgang von Kempelen）的”土耳其人”（The Turk）——其实里面藏了国际象棋大师

• 1822年：巴贝奇（Charles Babbage）的差分机（Difference Engine）——纯机械计算多项式函数

• 1833年：艾达·洛夫莱斯（Ada Lovelace，诗人拜伦之女）成为第一个计算机程序员，为巴贝奇的分析机（Analytical Engine）编写算法

• 1956年：塞缪尔的跳棋程序能学习，打败了一些跳棋大师

• 1980年代：加拿大阿尔伯塔大学的舍佛（Jonathan Schaeffer）开发Chinook跳棋程序，最终证明了”只要双方不犯错，跳棋总能和棋”

• 1980年代：贝尔实验室的肯·汤普逊（Ken Thompson，Unix操作系统和C语言的发明者）开发了Blitz和Belle国际象棋程序，Belle成为第一个取得大师称号的计算机棋手

深蓝的历程： 深蓝团队来自卡内基梅隆大学。孔祥重（C.L. Liu，孔子第75代孙，卡内基梅隆大学计算机系主任，后来成为Google TPU第一代首席架构师）的学生许峰雄（Feng-hsiung Hsu）在1987年决定用神经网络方法重写自动驾驶项目的代码，开发了ChipTest系统。后来孔祥重帮他协调资源，ChipTest成为第一个国际象棋特级大师计算机棋手。

IBM打包收购了这个团队，许峰雄带队，改名为”深蓝”（Deep Blue，取自IBM的昵称”Big Blue”）。1996年，深蓝与卡斯帕罗夫对阵，4:2落败，但卡斯帕罗夫表示”震撼到家了”——机器有几步下得”跟上帝下的一样”。

1997年，历史性时刻来临。第二局第44步，深蓝代码出了问题陷入死循环，随机下了一步，卡斯帕罗夫慌了——“这怎么回事？他下到这里是什么意思？“反而受到情绪影响，最终认输。深蓝成为第一个战胜国际象棋世界冠军的机器。

然而，深蓝并没有使用多高深的新技术——它用了麦卡锡1956年提出的Alpha-Beta剪枝算法，学习了现有棋谱，主要靠暴力计算：每秒检索2亿个棋局，是IBM大规模并行超级计算机，30个PowerPC处理器和480个定制国际象棋芯片的硬件性能胜利。正如节目所说：“1997年为什么能赢？因为计算机的性能变好了。”

深蓝的社会影响力巨大，让老百姓更容易理解”机器能下棋”，但在AI方法论层面，它”不能说是有里程碑的”——底层上没有太大创新，主要仍是符号派的遗产。

杰夫·辛顿：十年寒窗无人问，一举成名天下知

第二次寒冬中，最重要的故事是杰夫·辛顿（Geoffrey Hinton）带领连接派复兴。

显赫家世与平凡少年： 1947年，辛顿出生于英国伦敦温布尔登，家世显赫：玄祖父是乔治·布尔（George Boole，布尔代数的发明者）；曾祖母是爱尔兰小说家，写过《牛虻》；高祖父詹姆斯·辛顿是著名外科医生，被认为是”开膛手杰克”悬案的重要嫌疑人；叔祖父查尔斯·霍华德·辛顿是数学家和科幻小说家，提出了”第四维度”和”超立方体”概念；堂姐琼·辛顿是曼哈顿计划的少数女科学家之一，后来长期生活在中国，取名”寒春”；堂弟威廉·辛顿写过《翻身：中国一个农村的革命纪实》。

然而辛顿本人却是”干啥啥不行”：本科考入剑桥大学，先学物理学，发现数学太差，一个月辍学；改学建筑学，一天辍学；改学生理学，发现还要学物理，不行；改学哲学，也不行；最后学心理学，硬撑着毕业。毕业后决定不搞学术了，回老家伦敦当木匠——真的大木头做木匠去了。

神经网络的召唤： 辛顿读到《行为的组织》（The Organization of Behavior）——这本书正是激发罗森布拉特做出感知机的著作，书中论述神经元的基本逻辑。辛顿”如痴如醉”，当了一年木匠后，靠关系去了父亲工作的学校当临时工，参与一个心理学短期项目，凭此履历进入爱丁堡大学——当时英国政府投资的人工智能项目。

在爱丁堡，辛顿与实验室负责人朗吉特·希金斯（David Rumelhart，虽然节目中说朗吉特·希金斯后来不让辛顿搞神经网络，实际上朗吉特应该是另一位教授，希金斯是后来与辛顿合作的人）产生分歧。对方说”你不知道有本书叫《感知机》吗？明斯基大师写的，判了死刑了，你搞啥？“辛顿回答：“我自己有信仰。”

辛顿的数学不好，无法自己演算，只能”假设这个好像是对的，然后找个哥们儿帮我算一算”。他读完《感知机》后认为：“这本书就是罗森布拉特的批判书……里面提到的问题我能解决，而且必定会解决。”

反向传播算法与玻尔兹曼机： 1980年代，辛顿在加州大学圣地亚哥分校遇到了”地下组织”——并行分布式处理（PDP）小组。他与鲁梅尔哈特（Rumelhart）合作，解决了神经网络的关键问题：权重不应该平均分配。鲁梅尔哈特提出了”反向传播”（Backpropagation）算法——用基于微分的方法，让神经元在传递信息时带上权重信息。如果初始权重是随机数而非零，就能避免权重平均化的问题。

辛顿后来与普林斯顿大学生物学博士后谢诺夫斯基（Terry Sejnowski）合作，开发出了”玻尔兹曼机”（Boltzmann Machine）——借用物理学家玻尔兹曼百年前的理论，是一个随机过程可生成的霍普菲尔德神经网络。谢诺夫斯基后来问辛顿能否向媒体解释玻尔兹曼机，辛顿回答：“我要是能解释这个东西，那这个东西还有多大的技术含量呢？”

1987年，连接派终于迎来复国的契机——自动驾驶。卡内基梅隆大学的ALVINN系统（基于神经网络的自动陆地车辆）使用鲁梅尔哈特和辛顿的神经网络方法，1991年以60公里/小时的速度从匹兹堡开到宾夕法尼亚州的伊利市（约200公里），“整个人工智能领域大受震撼”。

加拿大多伦多：AI的耶路撒冷： 辛顿想找更多机会，但不想拿军方资金。2004年，他向加拿大申请了50万美元经费，到多伦多大学安顿下来。这一决策”彻底改变了人工智能的地理中心，让多伦多成为人工智能领域的耶路撒冷之一”。

辛顿从1970年代初开始搞AI，30多年过去，“十年寒窗无人问，一朝成名天下知”。2006年，辛顿六十大寿当天，在温哥华举办的NIPS（神经信息处理系统大会）上，他宣布：“我们在搞的这个玩意儿，以后就叫深度学习（Deep Learning）。”

深度学习直白说就是多层神经网络——“凡是使用多层神经网络的，基本上都可以叫深度学习”。辛顿当时开玩笑说：“他们那些都是浅层学习（Shallow Learning），浅薄学习，我们是深度学习。”

AlexNet：深度学习的爆发点： 2012年，辛顿指导两个学生——伊利亚·萨特斯基弗（Ilya Sutskever）和亚历克斯·克里泽夫斯基（Alex Krizhevsky）——参加ImageNet图像识别大赛。他们的系统AlexNet使用了两块GPU，一举夺冠，比第二名超出10%的准确率（前几届冠军间差距不到1%）。

介绍AlexNet的论文成为计算机历史上最重要的论文之一，引用超过6万次。辛顿常说：“这篇论文的引用次数比我爸写过的每一篇论文都要多5.9万次。“（他父亲是著名昆虫学家，英国皇家学会会员）

2018年，辛顿、杨立坤（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）三位深度学习先驱同时获得图灵奖。辛顿从被所有人劝”别搞这种没前途的东西”，到带领连接派复兴，证明了”神经网络才是未来”。

机器学习时代的来临

第二次寒冬期间，AI领域最重要的理论转变是机器学习的兴起。

机器学习的核心定义来自1959年司马赫的表述：“某个系统可以从经验中改进自身的能力。“机器学习有三个关键组成部分（来自李航《统计学习方法》）：

1. 模型：相当于”脑子”，记住学到的东西，知道怎么用

2. 策略：相当于”考试评分标准”，设定目标（机器翻译看准确度，自动驾驶看事故率）

3. 算法：相当于”学习方法”，知道怎么学

80年代机器学习成为独立学科，90年代理论越来越丰富。重要算法包括：

• 1960年：隐马尔可夫模型（Hidden Markov Model，语音识别核心）

• 1967年：K近邻算法（KNN）

• 1974年：马尔可夫随机场

• 1977年：EM算法

• 1980年代：各种决策树算法

• 1985年：贝叶斯网络

• 1995年：支持向量机（SVM）、AdaBoost算法

这些算法分为监督学习（需要训练数据）、非监督学习（完全自主学习）和半监督学习。90年代后期，互联网浪潮来临（1994雅虎、1998谷歌），带来了海量数据，“基于统计的机器学习”逐渐成为主流。

正如节目总结：“计算性能好、存储量大了，硬件准备好了；互联网来了，数据和信息准备好了；机器学习兴起了，理论基础也准备好了。接下来就缺一个掌舵的人了”——这个人就是杰夫·辛顿。