No.39 🤖人工智能风云录之图灵开天香农辟地
背景:回到AI早期奠基阶段,从图灵(Alan Turing)与香农(Claude Shannon)两条主线解释现代AI的理论基础。
Metadata
-
标题: No.039 AI人工智能风云录:图灵开天,香农辟地
-
作者: 刘飞、潇磊
-
网址: https://www.xiaoyuzhoufm.com/episode/63f74a9c79d1c9aec859dfce
Overview
本期节目开启了《半拿铁》“人工智能风云录”系列的第一章,从人工智能的史前史讲起,追溯了计算机科学之父艾伦·图灵(Alan Turing)和信息论之父克劳德·香农(Claude Shannon)两位奠基人的传奇人生。节目核心论题是:现代人工智能的理论基础并非凭空出现,而是在20世纪中叶由这两位天才科学家分别奠定的——图灵提出了”可计算性”的理论框架和判定机器智能的图灵测试(Turing Test),香农则创立了信息论(Information Theory),为信息的量化、编码和传输奠定了数学基础。两位科学家在贝尔实验室的相遇,以及他们关于”人造智能”的激烈讨论,成为了人工智能学科诞生前最重要的思想交汇。
按主题梳理
图灵与图灵机:计算理论的奠基
艾伦·图灵(Alan Turing)的人生轨迹堪称一部天才与悲剧交织的传奇。1912年生于英国伦敦的图灵,从小就表现出与众不同的性格特质——不爱户外运动却痴迷于阅读与思考,据说仅用三周时间就学会了认字。7岁时会把玩具埋在土里,相信”种瓜得瓜、种豆得豆”的逻辑;13岁时在大罢工期间骑行96公里去上学,展现出惊人的意志力。16岁时,图灵已经能够读懂爱因斯坦的论文,并敏锐地发现爱因斯坦对牛顿理论持有怀疑态度——尽管这种怀疑并未明言。
19岁考入剑桥大学国王学院学数学后,图灵的才华迅速绽放。22岁成为国王学院院士(Fellow),24岁时(1936年)发表了那篇改变世界的论文《论可计算数及其在判定问题上的应用》(On Computable Numbers, with an Application to the Entscheidungsproblem)。这篇论文提出了后来被称为”图灵机”(Turing Machine)的概念模型,核心论点是:所有可计算的问题,逻辑上都可以用机械手段解决。图灵机的构造极为简洁——一条无限长的纸带、一个读写头、一套规则表和一个状态寄存器——却成为了后世所有计算机的理论原型。
图灵机的伟大之处在于其”极简又能运行”的特性。后世甚至有一种名为”Brainfuck”的编程语言,仅用8个命令和两个指针就实现了图灵机的全部功能,虽然编程极其繁琐,却证明了图灵完备性(Turing Completeness)的普适性。正如节目中提到的:图灵机的概念”就像爱因斯坦寻找智能方程、万物之理的过程”,它提供了一个最基础的模型,后世所有计算机都建立在这一基础之上。
然而,1936年这篇论文发表时,几乎无人问津——当时连”计算机”的概念都尚未普及,图灵的思想过于超前。1938年,26岁的图灵前往普林斯顿大学深造,冯·诺伊曼(John von Neumann)曾邀请他担任博士后助理,但图灵选择回到英国。二战的爆发让图灵的人生转向另一个方向——他被英国皇家海军招募,领导”图灵小组”破解德国的恩尼格玛密码机(Enigma)。这项工作让盟军在欧洲的胜利至少提前了两年,图灵也因此获得了大英帝国的荣誉。
1945年二战结束后,图灵回到英国国家物理实验室,试图实现他的图灵机梦想。他设计了世界上第一个完整的电子存储程序数字计算机——自动计算引擎(Automatic Computing Engine, ACE),时钟频率达到1兆赫兹(1MHz),相当于每秒100万个周期,这是当时顶尖的水平。然而,由于组织管理问题、预算限制以及图灵本人”科学家而非工程师”的局限,ACE项目最终未能成为第一台实际运行的计算机。美国宾夕法尼亚大学研制的ENIAC(Electronic Numerical Integrator and Computer,电子数值积分计算机)抢先一步,成为了公认的第一台计算机。
1950年,图灵发表了另一篇具有里程碑意义的论文《计算机器与智能》(Computing Machinery and Intelligence),提出了著名的”图灵测试”(Turing Test):如果人类无法分辨对话的另一端是人还是机器,那么就证明机器具有智能。这一概念不仅确立了图灵”人工智能之父”的地位,更成为了此后数十年人工智能研究的核心目标。几乎每隔几年就有人声称自己的产品”通过了图灵测试”,媒体也乐此不疲地渲染”人类新纪元即将开始”——这种周期性的舆论热潮,直到今天仍在重演。
图灵还提出了”学习机器”(Learning Machine)的概念,认为计算机应该能够模拟人类的学习能力,从经验中成长,而不是仅仅死记硬背。他甚至在1952年预测:计算机通过图灵测试可能需要100年,也就是到2052年左右才有希望。图灵在曼彻斯特实验室期间开发了许多有趣的程序,包括用计算机输出音符(通过风扇转速调节频率)、与统计学家Champ合作的国际象棋程序(纸上模拟)等。这些工作虽然受限于当时的硬件条件无法实际运行,却为后来的人工智能研究指明了方向。
然而,图灵的个人生活却走向了悲剧。1952年,图灵因同性恋行为被起诉(当时英国法律将同性恋定为犯罪),面临坐牢或化学阉割的选择。为了不失去工作和学术前途,图灵选择了后者——注射雌性激素。这一”治疗”带来了严重的身体变化和心理折磨。1954年6月8日,图灵被发现死于家中,年仅41岁,死因是氰化物中毒。关于这是否为自杀,至今仍是科学史上的悬案——尽管图灵死前四个月立下遗嘱,状态低迷,但他的朋友们认为他那段时间其实很乐观。无论真相如何,图灵的早逝是科学界的巨大损失。
直到2014年,英国女王伊丽莎白二世才宣布赦免图灵,16年英国政府更宣布对历史上所有因同性恋被定罪者予以赦免,这一法案被称为”图灵法”(Turing Law)。图灵奖(Turing Award)自1966年起颁发,被誉为”计算机领域的诺贝尔奖”;时代周刊将图灵评为20世纪最重要的100人之一。关于苹果Logo被咬掉一口是为了纪念图灵的传说虽然从未被官方证实,但它已成为一种浪漫的集体记忆——正如节目所说:“每一个在敲键盘、打开电子表格或者文字处理程序的人,都在用的是图灵机。“
香农与信息论:通讯时代的数学基础
克劳德·艾尔伍德·香农(Claude Elwood Shannon)与图灵同龄(1916年生),却走过了截然不同的人生轨迹。香农的父亲是商人(巧合的是,父子俩名字完全相同),母亲是教师,家境中产。香农从小就表现出极强的动手能力:制作飞机模型、无线电遥控模型船,甚至搭建了一套连通半英里外朋友家的铁丝网电报系统。他的童年偶像是爱迪生,而后来他发现爱迪生竟是自己的远方表亲——都是德国移民的后裔。
香农的学术道路一帆风顺:1932年进入密歇根大学,四年后双学位毕业(电气工程和数学);1936年麻省理工电气工程硕士毕业,硕士论文《对继电器和开关电路的符号分析》(A Symbolic Analysis of Relay and Switching Circuits)将开关、继电器、二进制和布尔代数(Boolean Algebra)联系起来,构成了现代计算机的物理基础。这篇论文后来被评为”本世纪最重要的硕士学位论文”,并获得美国土木工程师协会的阿尔弗雷德·诺布尔奖(Alfred Noble Prize)——每次获奖者都必须向媒体解释”这不是那个诺贝尔奖(Nobel Prize)”。
1938年博士毕业后,香农进入普林斯顿高等研究所工作。这里云集了爱因斯坦、哥德尔、冯·诺伊曼、费曼等顶尖学者。有一次香农正在上课,爱因斯坦突然从后门走进来听了一会儿,与后排某人耳语几句后离开。课后香农急忙跑去问那人:“爱因斯坦说什么了?给我什么建议了吗?“对方回答:“他问卫生间怎么走。”
二战的爆发改变了香农的轨迹——他加入了贝尔实验室(Bell Labs)。在这里,香农最大的收获之一是认识了艾伦·图灵。当时图灵作为访问学者来到贝尔实验室,两人一个是搞密码加密的,一个是搞密码解密的,“正好可以互相实验”。图灵向香农介绍了图灵机的概念,两人就”人造智能”的未来展开了激烈讨论。1950年,香农还专程到曼彻斯特大学拜访图灵,看到了他那个纸上模拟的国际象棋程序——这也是两位大师的最后一次见面,四年后图灵便去世了。
在贝尔实验室工作期间,香农的注意力逐渐转向了信息的本质。他发现许多事物都可以抽象成相同的信息过程:发射器、接收器、噪声——这个模型可以应用于DNA信息传播、盟军战斗计划传递等各种场景。1948年,香农发表了《通讯的数学理论》(A Mathematical Theory of Communication),将论文标题中的不定冠词”A”改为定冠词”The”,标志着这一理论的权威性确立。科学界评价:“信息论的建立对信息科学的意义,就如同发明文字对文学的意义一样。“《科学美国人》杂志后来将这篇论文称为”信息时代的大宪章”。
香农的核心贡献有两个:
第一,信息的量化——信息熵(Information Entropy)。香农借用了热力学中”熵”(Entropy)的概念,将其改造为信息熵的公式。信息熵描述的是信息的不确定性:抛一枚均匀硬币的结果是1比特(bit)的信息量;如果硬币两面相同,信息量为0;一个英文字符(26个字母加空格)的信息量约为4.75比特——这就是现代计算机中”一个字节8比特”(8-bit byte)的由来。香农通过这一概念,首次将信息的价值彻底量化,为所有电子信息时代奠定了基础。
第二,通讯容量的极限——香农公式(Shannon’s Formula)。香农证明了在特定信道宽度(带宽,Bandwidth)下,信息传输速度存在理论上限,即”香农极限”(Shannon Limit)。这相当于在信息高速公路上画出了”车道容量”的上限——只要带宽足够、噪声(Noise)足够低,就可以实现几乎无损的高速传输。这一理论为后来的通讯技术指明了方向,包括华为推动并被写入5G标准的”极化码”(Polar Code),就是目前已知最接近香农极限的编码方式。
达特茅斯会议:人工智能的诞生
1948年香农创立信息论时,贝尔实验室有两位实习生——马文·明斯基(Marvin Minsky)和约翰·麦卡锡(John McCarthy)。明斯基是哈佛大学数学系毕业、普林斯顿数学博士,论文题目是《神经模拟强化系统的理论及其在大脑模型问题上的应用》;麦卡锡也是普林斯顿数学博士,是明斯基的师兄。两人想找香农”组个局”,探讨机器模拟人脑的主题。
他们最初的设想是搞一个文集,取名为《自动机研究》(Automata Studies)——香农为人低调,不喜欢”机器模拟人脑”这种听起来过于”噱头”的名字。但这个标题过于抽象,导致投稿混乱,折腾三年才出版,且反响平平。1955年,已成为达特茅斯学院助理教授的麦卡锡决定再试一次。这次他与IBM工程师纳撒尼尔·罗切斯特(Nathaniel Rochester)合作,提出了七个明确的课题:可编程计算机、自然语言、神经网络、计算复杂性问题、机器自我学习、计算机抽象概念、计算机随机性和创造性。
麦卡锡给这次会议起了一个”特别好听”的名字——“人工智能夏季研讨会”(Summer Research Project on Artificial Intelligence)。这是”人工智能”(Artificial Intelligence, AI)这个词第一次出现在历史上。会议获得了洛克菲勒基金会1万多美元的赞助,并请来香农”背书”。1956年夏天,会议在达特茅斯学院举行,计划封闭讨论两个月,实际集中时间仅一周,组织相当混乱——很多人来来回回,香农待了几天就走了,查不到任何有价值的分享。
麦卡锡后来承认:“我为这次会议设定的目标完全不切实际。本以为经过一个夏天的讨论,就能搞定整个项目……实际上它和一场夏令营没什么区别。”
但这场”夏令营”的历史地位却极其重要:
-
AI正式诞生:“人工智能”这个词首次出现,框定的问题后来成为了AI的核心问题
-
开山祖师团成型:与会者后来都成为AI领域的顶级大师:
-
马文·明斯基:1969年图灵奖得主,带来了用3000多个真空管模拟40个神经元的”世界上第一台神经网络计算机”
- 约翰·麦卡锡:1971年图灵奖得主,提出了Alpha-Beta剪枝算法,后来发明了Lisp语言
- 赫伯特·西蒙(Herbert Simon) 和 艾伦·纽厄尔(Allen Newell):1975年共同获得图灵奖,开发了能证明《数学原理》中38条定理的AI程序,开创了符号主义学派
- 奥利弗·塞弗里奇(Oliver Selfridge):模式识别学科的奠基人
- 阿瑟·塞缪尔(Arthur Samuel):世界上最早的程序员之一,开发了自学跳棋程序,在论文中首次使用”机器学习”(Machine Learning)一词
- 雷·所罗门诺夫(Ray Solomonoff):算法信息论的创始人
正如节目中所说,这次会议”剧没干啥事,繁星满天”——这些年轻科学家后来各走各路,开创了AI的不同分支,形成了符号派、连接派和行为派三大门派的对台戏。
香农的晚年:从信息论到杂耍博士
香农在1956年达特茅斯会议后基本进入半退休状态。他从贝尔实验室辞职,到麻省理工任教,却很少参加研究活动。很多人以为他生病了或抑郁了,实际上他是在研究自己真正感兴趣的事——玩。
香农对玩具和杂耍有着近乎痴迷的热爱:
-
机械乌龟:能满屋子跑,碰到墙会拐弯(被称为”忒修斯”Theseus)
-
迷宫老鼠:老鼠能自动走迷宫的玩具(虽然跟AI关系不大,全是机械继电器控制)
-
音乐喷火小号:吹奏时能喷火的小号
-
各种独轮车:没有座位的、没有踏板的、两个人一起骑的
-
魔方机、下棋机器、抛球机器人(能三球抛接)
1960年,香农和同事花1500美元买了台轮盘赌机研究如何作弊,最终造出了世界上第一台”可穿戴计算机”——烟盒大小的装置放鞋里,通过微型扬声器用哒哒声传递预测结果。两人本想去赌场大赚一笔,但在妻子的劝说下放弃了——“黑手党你们打不过”。
香农的杂耍水平达到了专业级别。1985年他意外出现在英国国际信息理论研讨会上,大家都以为这位”活化石”早已去世。香农讲了几句话后,从口袋里掏出三个手抛球开始表演——“我给大家出个兴,我给大家亮个相”。会议主席后来回忆说,这情形”就好比现代物理学会上突然牛顿他老人家来了”。
香农家中摆满了各种玩具,唯一珍视的奖项是”国际杂耍大奖赛杂耍博士奖”——斯坦福大学颁发的非正式但正经的奖项。香农曾说:“我总是想单纯地追寻我的兴趣,不考虑经济价值或者对世界的贡献……我在毫无用途的事情上花了很多时间。”
香农晚年患有阿尔茨海默症,2001年去世。但他对AI的态度始终乐观,甚至预言:“一旦机器打败了我们的大师,写出了我们的诗歌,完成了我们的数学证明,管理了我们的财产……我们就要做好’灭绝’的准备……这些目标可能意味着逐步淘汰愚蠢的、熵增的、好战的人类,转而支持更合逻辑的、节约能源的、友善的物种——也就是计算机。“
三大门派的确立:从幼儿园到小学生
达特茅斯会议后,AI领域逐渐形成了三个主要学派:
符号派(Symbolicism):主张制定规则、研究原理、将知识抽象成符号。认为只要把所有知识形式化、符号化,计算机就能通过逻辑推演解决问题。麦卡锡、明斯基、西蒙、纽厄尔都是这一派的代表人物。
连接派(Connectionism):主张模拟人脑,关注生物科学、神经科学和心理学。认为不需要管具体规则,只要机器像人脑一样运作就能产生智能。这一派长期被符号派打压,直到几十年后才重新崛起。
行为派(Behaviorism):主张”论迹不论心”,只看机器的行为结果。通过试错和反馈(做对了给奖励,做错了给惩罚)让机器自我迭代,类似于进化论的逻辑,因此也被称为进化主义学派。
节目将1950年代的AI比作”幼儿园”阶段——这个”小孩”(AI)没什么学科知识,也不知道怎么教,只能试着学一点。从图灵确立”图灵测试”这个目标,到达特茅斯会议试图讨论”怎么教”,再到后来分科教学、路线斗争,AI的发展历程就像一个人从幼儿园逐渐成长的过程。而这个”小孩”,在经历了六七十年的学习后,终于在2023年(节目录制时间)似乎”能多做一点工作了”。
正如节目的结束语:“图灵开天,香农辟地,达特茅斯创世纪,符号连接行为主义三大门派唱对台戏”——这,就是人工智能的史前史与创世纪。