AI工程实践发展史（上）📘 稍难

一、早期AI系统：从ELIZA到SHRDLU（1960s—1970s）

1960年代的AI研究者面对的是这样一个世界：计算机比现在你家冰箱还大，内存还不如一个电子表，连屏幕都是奢侈配置。但就是在这样的条件下，第一批AI程序诞生了。它们虽然简陋，却第一次向世人证明：机器可以模拟"智能行为"。

ELIZA：第一个聊天机器人（1966）

1966年，麻省理工学院的约瑟夫·维森鲍姆写了一个叫 ELIZA 的程序。它能模仿心理咨询师和你聊天——你说"我今天很不开心"，它会回"你为什么不开心？"；你说"我妈妈总是唠叨我"，它会回"多给我讲讲你妈妈的事"。

ELIZA的工作原理其实非常简单，就是"关键词匹配 + 模板回复"。它在你的话里找关键词，比如"妈妈""不开心""害怕"，然后套用一个预设的模板把你的话"反问"回去。它并不理解你在说什么，只是像一个巧妙的镜子，把你的话变形后反射回来。但即便如此，很多人和它聊着聊着就入了迷，甚至对它倾诉衷肠——这让维森鲍姆本人都大吃一惊，后来专门写了本书警告人们不要高估AI的能力。

ELIZA为什么重要？因为它是第一个让人感觉"机器好像懂我"的程序。它证明了哪怕只是简单的模式匹配，也能产生令人惊讶的"智能幻觉"。六十年后的ChatGPT比ELIZA复杂了不知多少倍，但本质上也是在"你说一句、我回一句"，只不过匹配方式从关键词变成了深度神经网络。

SHRDLU：理解积木世界（1970）

四年后的1970年，同在麻省理工的特里·维诺格拉德开发了 SHRDLU。这个程序能听懂自然语言指令来操作一个虚拟的"积木世界"——你输入"把那个红色的方块放到蓝色立方体上面"，它就能理解并执行。

打个比方，SHRDLU就像一个玩搭积木的机器人小孩：你用英语告诉它怎么摆积木，它能听懂、能推理、还能回答关于积木状态的问题。它不只是"听指令干活"，还能理解上下文——比如你先说"捡起那个金字塔"，再说"把它放下"，它知道"它"指的是刚才捡起来的那个金字塔。

SHRDLU为什么重要？因为它第一次展示了机器可以用自然语言和人类交流，并在一个限定世界里"理解"指令。可惜的是，这种理解仅限于那个小小的积木世界——一旦搬到大千世界，它立刻就力不从心了。

GPS：通用问题求解器（1957）

更早一些，1957年，艾伦·纽厄尔和赫伯特·西蒙开发了 GPS（General Problem Solver，通用问题求解器）（人话：一个想做"万能解题器"的早期程序，靠不断缩小差距来逼近答案）。它用一种叫"目标-手段分析"（Means-Ends Analysis）的方法来解题：先看你现在在哪、目标在哪，算出两者差距，然后找一个能缩小差距的操作，做完再看新差距，如此反复，直到到达目标。

用生活的话说，这就像你导航回家：你先看自己在哪、家在哪，发现差了五公里，于是决定"走路"缩小距离；走了一段再看，还差三公里，继续走……GPS就是用这种"不断缩小差距"的逻辑来解题的。它能解逻辑题、做定理证明，看起来像是"万能解题器"。

但GPS的问题也很明显：它对"差距"的定义和"操作"的选择都需要人提前设计好，换一个领域就得重新设计。所谓"通用"其实并不通用——这正是早期AI的共同困境。

局限：被困在"玩具世界"里

这三个系统有一个共同的致命缺陷：它们都只在极小的范围内有效，一碰真实世界就崩溃。ELIZA只能做关键词反射，聊深了就露馅；SHRDLU只认识积木世界里的几个方块和金字塔，换个场景就抓瞎；GPS只会在人设计好的框架里搜索，换一个问题就得重新设计。

这就是早期AI的"玩具世界困境"——看起来很聪明，实则是在一个小笼子里表演。当时的研究者过于乐观，以为只要把笼子做大一点，AI就能应对真实世界了。但事实证明，真实世界的复杂程度远远超出想象，这不是"做大一点"就能解决的。

二、专家系统时代：知识工程（1970s—1980s）

早期AI碰壁后，研究者换了个思路：与其让AI自己学习，不如直接把人类专家的知识"喂"给它。这就是"专家系统"——把某个领域专家的知识和经验，翻译成计算机能理解的规则，让计算机照着推理。这个思路在1970到1980年代掀起了一股热潮，AI迎来了短暂的"第二春"。

DENDRAL：第一个专家系统（1965）

1965年，斯坦福大学的爱德华·费根鲍姆开发了 DENDRAL——公认的第一个专家系统（人话：把化学家"看质谱数据猜分子"的推理过程，翻译成计算机规则）。它的任务是帮化学家推断分子的结构。你给它一组质谱仪的数据，它能像经验丰富的化学家一样，推理出这大概是什么分子。

DENDRAL的做法是把化学家的推理过程"翻译"成规则：什么样的质谱特征对应什么样的分子结构，什么样的数据可以排除哪些可能性。它不是在学习，而是在模拟专家的推理步骤。DENDRAL的成功证明了一件事：把人类专家的知识变成计算机规则，这条路走得通。

MYCIN：把老医生的经验写成规则

1970年代，斯坦福又开发了 MYCIN——一个医疗诊断专家系统（人话：把感染科老医生的诊断经验，整理成约600条"如果…就…"规则的看病程序）。MYCIN专门诊断细菌感染，你输入病人的症状、化验结果等信息，它会告诉你可能是哪种细菌感染，该用什么抗生素。

MYCIN的做法很简单但很有效：把感染科老医生几十年的诊断经验整理成大约600条"如果……就……"的规则。比如"如果病人发烧超过38.5度且血液培养出革兰氏阳性球菌，则可能是葡萄球菌感染"。用通俗的话说，MYCIN就像一个把老医生的脑子"翻拍"成规则手册的系统——老医生怎么想，它就怎么推断。

MYCIN的诊断准确率达到了约65%，和一些初级医生相当。虽然远不如顶尖专家，但在缺医少药的基层，它已经非常有价值。MYCIN为什么重要？因为它证明专家系统在真实场景中可以实用，而不只是实验室里的玩具。

知识工程：把知识"翻译"成规则

DENDRAL和MYCIN催生了一个新职业——知识工程师。他们的工作是坐在专家身边，一点一点地把专家脑子里的知识"翻译"成计算机规则。这个过程叫"知识获取"，是专家系统的核心环节。

这件事说起来容易做起来难。就像你想把一位大厨的厨艺写成菜谱：大厨说"加盐少许、炒至断生"，什么叫"少许"？什么叫"断生"？这些凭经验的判断，要翻译成精确的数字和规则，极其费力。知识工程师常常要花几个月甚至几年时间，才能把一个专家的知识梳理成几百上千条规则。

商业成功：XCON每年省数千万美元

专家系统最成功的商业案例是DEC公司的 XCON（eXpert CONfigurer）（人话：帮电脑公司自动检查"客户选的零件搭不搭"的规则系统，第一个真正赚大钱）。DEC卖小型计算机，客户可以选配各种配件，但不是所有配件组合都兼容。以前靠人工核对，经常出错，发错货要退换，损失不小。

XCON把工程师的配置经验写成了规则，能自动检查客户订单是否兼容、缺什么配件。它上线后，每年为DEC节省数千万美元的错误配置成本。这是AI第一次在商业上产生巨大回报，直接引爆了专家系统的投资热潮。

为什么失败了：专家系统的四大死穴

好景不长。随着专家系统规模越来越大，它的致命缺陷逐一暴露，最终导致了AI的第二次寒冬。

三、机器学习工程化：从学术到产业（1990s—2010s）

专家系统失败的教训让研究者们意识到：靠人写规则的路走不通，不如让机器自己从数据中学。于是，AI的范式从"规则驱动"转向了"数据驱动"——这就是机器学习工程化的时代。

从"规则"到"数据"的范式转变

以前的思路是：人告诉机器"猫有尖耳朵、有胡须"。现在的思路是：给机器看几万张猫的照片，让它自己悟出"猫长什么样"。前者叫"规则驱动"，后者叫"数据驱动"。这个转变看似简单，却是AI工程实践最根本的一次革命。

打个比方：以前是手把手教小孩"这是苹果、那是梨"，每一样都得教；现在是把小孩扔进水果市场，让他自己逛几天，自然就能分清苹果梨和香蕉了。虽然"自己逛"需要更多时间和数据，但学出来的能力比死记硬背的规则灵活得多。

这个转变为什么重要？因为真实世界太复杂了，用人写规则永远写不完。与其穷举所有情况，不如让机器从例子中自己归纳。从1990年代开始，这个思路逐渐成为AI工程的主流。

特征工程：人工设计特征——"挑选食材"

在深度学习出现之前，机器学习有一个关键环节叫特征工程。简单说，就是你得先把原始数据（比如一张图片）"翻译"成机器能理解的特征（比如边缘方向、颜色直方图），再让机器学。

这就像做菜前的"备料"：一条鱼买回来，你得先刮鳞、去内脏、切块、腌制，然后才能下锅。特征工程就是这个"备料"环节——你挑出哪些特征，直接决定了菜能做多好。一个好的特征工程师，就像一个好厨子，知道哪些食材该用、怎么搭配。

特征工程为什么重要？因为在那个时代，特征的好坏几乎决定了模型的上限。同样的算法，特征选得好，准确率可能从70%到90%。但特征工程极其依赖人的经验和领域知识，非常耗时，成了机器学习项目中最费力的环节。

模型选择与交叉验证："模拟考试"

选好了特征，还要选合适的算法。SVM（支持向量机）、随机森林、梯度提升树……每种算法都有自己的脾气，适合不同类型的数据。选哪个、怎么调参数，是一门手艺活。

为了检验模型好不好，工程师用一种叫交叉验证的方法：把数据分成几份，拿大部分来训练，留一小份来考试，轮流换着考。就像学生备考：不能只看平时练习的成绩（训练集），得拿模拟考试的分数（验证集）来预测真正高考能考多少分。

交叉验证为什么重要？因为一个模型在训练数据上表现好，不代表在真实场景中也好。如果一个学生把课本全背了下来，练习题全对，但一碰到没见过的新题就不会——这在机器学习里叫"过拟合"。交叉验证就是用来发现和防止过拟合的"模拟考试"。

经典算法的工程化

2000年代，一批经典机器学习算法在工程上成熟起来。SVM（支持向量机）擅长分类，曾是文本分类、图像识别的主力；随机森林把多棵决策树"投票"集成，稳定又好理解；梯度提升树（XGBoost、LightGBM）在结构化数据上称王至今，很多 Kaggle 比赛的冠军方案都靠它。

这些算法不像后来的深度学习那样需要海量数据和GPU，一台普通服务器就能跑。它们在垃圾邮件过滤、信用评分、推荐系统等场景中大显身手，让机器学习第一次真正走进了千行百业的日常运营。

这张表揭示了一个深刻的变化：传统软件工程里，逻辑是人写的、确定的；机器学习工程里，逻辑是机器学的、概率性的。这意味着工程师的工作方式彻底变了——从"写代码"变成"调数据、调模型"。这也是为什么后来催生了"MLOps"这种全新的工程方法论。

应用场景：从垃圾邮件到推荐系统

机器学习工程化最成功的落地场景有三个：垃圾邮件过滤（分析邮件特征判断是不是垃圾）、信用评分（分析你的消费记录、还款历史预测违约概率）、推荐系统（分析你的浏览、点赞、停留时间推荐你可能喜欢的内容）。

这三个场景有个共同特点：数据量大、模式复杂、容错率高——不需要100%准确，80%-90%就能创造巨大价值。正是这些场景的成功，让企业尝到了AI的甜头，为后来深度学习的大规模投入铺平了道路。

四、深度学习工程突破（2012—2018）

2012年，深度学习在工程上实现了历史性突破。从这一年起，AI工程实践进入了全新的阶段——不再需要人苦哈哈地设计特征，神经网络自己就能从原始数据中学到有用的特征。

AlexNet：深度学习的"工业宣言"（2012）

2012年9月，在ImageNet图像识别大赛上，辛顿的学生亚历克斯·克里泽夫斯基用深度神经网络搭建的 AlexNet 一鸣惊人——错误率15.3%，比第二名低了整整10个百分点。在AI领域，这是一个碾压级别的差距。

AlexNet为什么重要？因为它同时证明了三件事：深度神经网络确实比传统方法强得多；GPU可以高效训练深层网络；不再需要人工设计特征，网络能自己学。这三点合在一起，等于发表了一份深度学习的"工业宣言"——从此，AI工程的主航道从"人工特征+浅层模型"转向了"原始数据+深度网络"。

ImageNet竞赛：深度学习的"奥运会"

AlexNet的舞台是 ImageNet——由斯坦福大学教授李飞飞创建的大规模图像数据集，包含约1500万张标注图片、2.2万个类别。从2010年开始，ImageNet每年举办一次识别大赛，成为全球AI研究者比拼实力的"奥运会"。

ImageNet为什么重要？因为在它之前，AI研究者各用各的小数据集，你做猫狗分类、我做数字识别，没法横向比较。ImageNet提供了一个统一的、大规模的、公开的基准，让所有人都能清楚地看到谁的方法更好。没有ImageNet，AlexNet的突破可能不会这么快被全世界认可和跟进。

从图像到语音到自然语言：全面开花

AlexNet之后，深度学习在各个领域全面开花。2012年图像识别突破，2014年语音识别突破（百度的Deep Speech、Google的语音搜索大幅提升），2015年机器翻译突破（Google翻译从统计方法转向神经网络）。到了2018年，BERT和GPT的出现，让自然语言处理也进入了深度学习时代。

这种"全面开花"为什么重要？因为它证明深度学习不是一个只在图像上有效的"偏科生"，而是一种通用的方法论——只要数据够多、网络够深、算力够强，几乎在所有感知类任务上都能大幅超越传统方法。这种通用性，正是后来"大模型"能一统天下的基础。

工程挑战：训练深层网络的"炼丹术"

但深度学习工程并不好做。训练一个深层网络，需要调整大量"超参数"——学习率、batch size、网络层数、每层神经元数量、激活函数类型……这些参数没有标准答案，全靠经验去试。从业者自嘲是在"炼丹"：投入原料（数据）和火力（算力），念咒语（调参数），等丹炉出结果——有时候出来仙丹，有时候出来废渣。

"炼丹"为什么重要？因为它暴露了深度学习工程的一个核心矛盾：理论指导不足，高度依赖经验。一个"炼丹师"的经验和直觉，往往比论文上的公式更管用。这也催生了对自动化调参（AutoML）、可视化工具、训练框架的需求——后来的PyTorch、TensorFlow等框架的繁荣，很大程度上就是为了降低"炼丹"的门槛。

GPU集群训练：从1块到千卡

AlexNet用了2块GPU训练。到2018年，BERT的训练用了64块TPU。再到后来GPT-3的训练，用了上万块GPU。深度学习工程对算力的需求呈指数级增长，单机单卡早已不够用，分布式GPU集群训练成为标配。

从1块GPU到千卡集群，不是简单地"多插几块卡"——它需要解决数据并行、模型并行、通信开销、故障恢复等一系列复杂的工程问题。一个千卡集群跑几周训练，中间任何一块卡出了故障，整个训练可能就要重来。这些工程挑战，直接推动了后来的MLOps体系和大模型训练框架的发展。

五、AlphaGo与游戏AI工程（2016—2019）

2016年3月，AlphaGo以4:1击败围棋世界冠军李世石。这不只是一场比赛的胜利，更是AI工程实践的一座里程碑——它证明了深度学习与强化学习的结合，可以解决极其复杂的搜索问题。

AlphaGo：蒙特卡洛树搜索+深度学习+强化学习

AlphaGo的核心是三种技术的精密组合：用深度学习神经网络"评估"棋局形势和"预测"下一步可能的走法，用蒙特卡洛树搜索"推演"后续变化，用强化学习"自我对弈"不断变强。

打个比方，AlphaGo像一个下棋高手同时在做两件事："广撒网"——用神经网络快速扫一遍所有可能的走法，挑出值得深入考虑的几步；"深思考"——对挑出来的几步，用搜索树一步步往后推演，看最终谁的赢面大。这种"先广后深"的策略，让它能在围棋天文数字般的变化中找到好棋。

AlphaGo为什么重要？因为围棋一直被认为是AI最难攻克的棋类游戏——棋盘变化比宇宙中的原子还多，传统的穷举搜索根本行不通。AlphaGo证明了深度学习+强化学习可以在如此复杂的搜索空间中找到超越人类的策略，这个发现的影响远超围棋本身。

AlphaGo Zero：不学人类棋谱，从零自学（2017）

2017年，DeepMind发布了 AlphaGo Zero。它的革命性在于：完全不学人类棋谱。之前的AlphaGo先学了十几万盘人类高手的对局，再自我训练。而AlphaGo Zero从零开始，只知道围棋规则，自己和自己下，三天就超过了击败李世石的AlphaGo版本，四十天后超越了击败柯洁的Master版本。

用学生的话说：之前的AlphaGo是"先听课学别人怎么解题，再自己刷题提高"；AlphaGo Zero是"不听课，直接自己刷题，从零开始悟"。更惊人的是，它自己悟出来的很多定式，和人类几千年总结出来的不谋而合，还有一些是人类从没见过的下法。

AlphaGo Zero为什么重要？因为它证明了AI可以不依赖人类经验，纯粹通过自我对弈达到超越人类的水平。这意味着在人类没有现成经验的领域，AI同样可以发挥作用——比如后来AlphaFold破解蛋白质折叠，就是这个思路的延伸。

AlphaZero：一套算法通吃三种棋

紧接着，DeepMind又推出了 AlphaZero。它用同一套算法，在围棋、象棋、将棋三种棋上都达到了碾压世界的水平。只需告诉它规则，它就能从零自学到天下无敌。

AlphaZero为什么重要？因为它证明了这套方法不是围棋专用的"偏科生"，而是一种通用的决策引擎。从"专门做一个围棋AI"到"做一个能下任何棋的通用AI"，这种泛化能力让科学家们看到了AI解决更广泛问题的希望。

AlphaFold：从游戏走向科学（2020）

2020年，DeepMind把这套思路从棋盘搬到了科学领域，推出了 AlphaFold。它能根据氨基酸序列预测蛋白质的三维结构——这是困扰生物学界五十年的"蛋白质折叠难题"。AlphaFold的预测精度达到了实验级别，被《科学》杂志评为年度最大突破。

AlphaFold为什么重要？因为它证明了"深度学习+强化学习"不仅能玩游戏，还能解决真正的科学问题。从AlphaGo到AlphaFold，AI工程的边界从"游戏"拓展到了"科学"，从"娱乐"走向了"改变世界"。