Andrej Karpathy是人工智能领域最具影响力的实践者之一。他是OpenAI的创始成员,也曾担任特斯拉的AI高级总监,在深度学习、计算机视觉和大语言模型方面有着深厚的积累。

作为一位长期身处技术最前沿的研究者,Karpathy对AI在当今人类社会中扮演的角色,以及随之而来的种种可讨论议题,有着切身的体验和独到的思考。

在他看来,当前AI的发展已经进入了一个全新的阶段,其核心特征不再是模型规模的简单扩张,而是人类与AI协作方式的根本性变革——这种变革既带来了前所未有的可能性,也制造了全新的焦虑与挑战。

01

AI深度嵌入,

从工作到生活的全面渗透

Andrej Karpathy观察到一个极具标志性的变化:“写代码”这个词的实际意义已经脱离了其原本所代表的动作。以他本人为例,如今自己亲手敲出的代码量与交由AI智能体生成的代码量,比例从8:2变成了2:8,而且这个差距还在持续扩大。他直言,自己在2025年年底之后,甚至没有再亲手写过一行代码。

这种变化不仅限于Karpathy个人。他观察到,软件工程师的日常工作流程普遍发生了翻天覆地的变化。在AI实验室和一些前沿科技公司中,工程师们都不再像传统意义上那样用手敲击键盘“写代码”,而是所有人都戴着麦克风,不断对智能体发出生成代码的语音指令。这在几个月前看起来还很疯狂,而此刻这正在成为新的常态。软件工程师的工作状态不再是逐行敲击代码,而是通过自然语言与多个智能体协作,分配任务,审查输出,整合成果。智能体负责处理代码的生成、调试、优化等具体任务,而人类则更像是一个指挥官或产品经理。

这种关于AI的深度应用并不局限于编程工作。Karpathy构建了一个被他称为“多比”(Dobby,源自《哈利·波特》中的家养小精灵)的智能体来管理自己的家居电器,而这个智能体的表现令人惊叹:他首先用自然语言告诉AI,家中有Sonos音响,让AI去尝试找到它。AI随即进行了局域网IP扫描,找到了Sonos设备,发现其API没有密码保护,便直接登录进去,并询问Karpathy是否要试试播放音乐。大约只用了三个提示词,音乐就从书房里传了出来。

同样的过程也发生在Karpathy家的灯光系统上。AI“黑”进了整个系统,弄清楚了所有连接设备的架构,创建了API接口,并生成了一个仪表板。从此,他可以通过自然语言指令控制家中的灯光及其他可视系统。通过家门口的摄像头,配合Qwen模型的检测,Karpathy可以在一辆联邦快递卡车停在门前时,经由AI识别,了解到有包裹需要被签收。

Karpathy对此感慨道,以前,他需要使用若干个完全不同的应用程序来控制家中的各种设备,现在,他再也不需要那些应用了。“多比”经由自然语言指令掌控了一切。在他看来,过去人们学习使用新的软件应用总是需要付出一定努力的,而AI则实现了让用户通过自然语言将复杂的操作系统统一起来,从而不必再面对无数个独立的应用程序。

更进一步,他认为眼下那些用于控制智能家居设备的App可能本就不需要存在。设备厂商应该提供的只是API接口,从而让Claw之类的AI智能体直接调用这些接口来完成复杂的自动化任务。大语言模型完全可以充当“智能粘合剂”的角色,通过对不同工具的调用,将各个子系统连接成一个有机的整体。

“客户”不再一定是人类,也可以是代表人类行事的AI智能体。这种重构可能会非常彻底,也意味着大量今天看似必要的定制化应用,未来可能根本没有存在的必要。在一两年或三年内,上述这些操作体验应该会变得易于实现,任何AI甚至开源模型都能做到。一个不太懂技术的人,也能将自己的意图轻松地转化为自动化结果。

02

“技能问题”出在人身上,

人成为效率的瓶颈

而在Karpathy看来,如此大幅度的效率提升并不意味着像他这样的人会变得更轻松——用黄仁勋的话说,“不幸的是,我们会变得更忙。”Karpathy认为自己正在陷入一种持续性的“AI精神错乱”状态,每天要花十几个小时向智能体传达意图,力求实现“Token吞吐量”最大化。

Karpathy坦言自己在进入深度调用AI的工作状态之后,往往很难维持自己的专注度——刚刚花了一个星期在研究Claw的相关事务上,却发现还有更多关于AI的待办事项在等着他。作为人类个体,不再受限于“能不能做”,而受限于在有限能力内“该选择做什么”。这种在选择方面的过载,不仅没有减轻压力,反而加剧了焦虑。

你能掌控多少Token吞吐量?你有没有充分利用每一个可用的Token?你用完了Codex的额度,是否切换到了Claude或其他模型?当AI极大地降低了执行成本后,人们会发现自己被更多可能性所包围。在这种思维模式下,效率提升的限制因素不再是算力资源,而是用户本身。

a 3d image of a cube made of cubes

更深层的原因,在于竞争格局的变化。Karpathy观察到,大家都在努力向技术栈的上游攀登。人们正在卷的,不只关于个体与智能体的单次会话质量,更是关于如何调动多个智能体形成AI团队协作。每个人都在试图弄清楚,真正全方位调用AI会是什么样子。在这种环境下,“不错过任何可能性”成了一种强大的驱动力——一旦你停止探索,就会感到别人走在了自己前面。

当然,如果抛开焦虑的层面来看,人与AI的合流实际上是让人拥有了掌控更强大力量的体验。这也意味着,人可以通过自我能力的提升来扩宽AI应用的瓶颈。这也是Karpathy认为AI非常容易让人上瘾的地方——当你本身变得更好时,AI就会帮你做出新的突破,实现更多解锁。

由此出发,Karpathy开启了自己在AI调用层面极其重要的探索——“自动化研究”。他的想法很直接:如果要充分利用现有工具,人就必须把自己从瓶颈中移除出去。你不能一直在那里对AI提示下一件事,而是需要适时地置身事外,把已经安排好的事情真正交给AI,让它们完全自主运行。

这背后的核心理念是,让大语言模型去完成对自身的改进。Karpathy认为,这恰恰是所有前沿实验室最应当重视的事情,实现这种递归式的自我提升。

他以一个名为NanoChat的项目作为实验平台训练GPT-2模型,然而,他真正感兴趣的并非模型本身,而是让模型实现递归式自我改进的可能性。他本人已经在这一领域深耕了二十年,对训练模型、超参数调优等流程非常熟悉,可以说拥有凭丰厚经验挣来的自信,一种对什么操作有效、什么操作无效的直觉。

在经过多次手动调整后,当他认为NanoChat已经被调得很不错之后,又让自动化研究系统运行了一整夜。第二天早上,系统带回了一些他完全没有发现的调优结果——比如Value embeddings的权重衰减被遗漏了,Adam优化器的beta参数也没有得到充分调优。更关键的是,这些参数之间存在相互作用——一旦调整一项,其他参数也需要随之改变。而手动调参时,人往往很难同时考虑到所有这些复杂的交互关系。

这次实验让Karpathy深刻意识到:他不应该成为瓶颈。他不应该亲自去运行这些超参数优化,不应该去看结果——尤其是在存在客观评估标准的情况下。正确的做法是:设置好系统,让它自己永远运行下去。

他将这一理念进一步扩展到了研发流程的整体重构上,核心目标是:把人类从所有流程中移除,尽可能地自动化一切,获得极高的每秒Token吞吐量。一切概念都需要被重新思考,一切系统都需要被重构。

Karpathy指出,前沿级AI研究的一个关键方法,是在小规模模型上进行大量实验,然后进行外推。前沿实验室拥有数以万计的GPU集群,但在实际研究中,人们通常是在小模型上做大量探索,试图理解缩放定律,然后基于这些理解来外推到更大规模的模型。在这种范式下,自动化研究的价值尤其突出。因为小模型上的实验成本相对较低,可以运行数千次实验来探索超参数空间、架构变体、数据配比等因素。而所有这些研究,都可以在无需人类干预的情况下进行。系统会记录每一次实验的结果,构建一个知识库,然后利用这些知识指导下一轮实验的设计。

在Karpathy看来,前沿实验室都应当实现最大程度的自动化,研究人员可以提供想法,但不应该去亲手执行这些想法。

03

智能的参差:

AI应当像生物进化一样多元

尽管AI在众多领域展现出了惊人的能力,Karpathy也注意到一个令人困惑的现象:AI的能力表现呈现出极大的“参差不齐”。当他在调用AI时,有时感到自己像是在和一个毕生从事系统编程的行业专家在交谈,有时又像是在和一个十岁小孩对话。

这种体验在人类世界的交往中很少出现,因为人与人之间的各种能力是相对耦合的——一位数学家即便在厨艺知识方面是小白,ta也可以尽量避免自己说出与做菜有关的蠢话。然而这种“参差不齐”的脱节感,在人与AI的互动中则体现得尤为明显。在某些可验证、有明确奖励信号的领域,AI表现得如同光速般敏捷。而一旦离开了那些让AI感到舒适的轨道,进入了模糊、开放、难以评估的领域,AI就开始漫无目的地游荡。

Karpathy认为,这很可能与当前AI的训练方式有关。当前这些模型主要是通过强化学习训练的,实验室可以在任何可验证的、有明确奖励反馈的事情上改进模型。比如,程序写对了吗?单元测试通过了吗?——这类问题有“是”或“否”的明确答案。但在那些更细微、更开放的问题上——比如,理解用户的真实意图、判断何时该提出澄清性问题、处理模糊的社交信号,在这些方面,AI的表现要差得多。

他用一个生动的例子来说明这一点:如果你今天去让最新版本的ChatGPT讲个笑话,会发现它的笑话库中似乎只有那么几个存货。比如,“为什么科学家不相信原子?因为它们构成了(make up,也有‘编造’之意)一切。”这个笑话三四年前就存在,今天依然在被使用。即使模型在其他方面已经取得了惊人的进步——它们可以运行数小时,为你移山倒海般地完成复杂的编程任务,但在讲笑话这件事上,它们几乎没有进步。这就是当前AI与人类之间存在的脱节——讲笑话这项技能没有被优化,它不在强化学习的奖励信号覆盖范围内,也不在实验室重点优化的指标体系中。

这引发了一个更根本的问题:我们是否高估了AI的“泛化”能力?当模型在代码生成等可验证领域变得更聪明时,我们是否应该期望它在所有方面都变得更好?Karpathy的观察是否定的。至少目前,他认为还没有看到令人满意的泛化效果——我们不会免费获得AI对人类社会所有领域的智能提升。

AI在能力提升上是有方向性的,也是有盲点的。有些方面被持续优化,有些则被完全忽略了。而当与人类所具备的诸多能力都分布在不透明的神经网络模型中,我们就只能在它被训练的轨道上感受到那种光速般的进步。一旦偏离轨道,一切都可能变得笨拙不堪。

面对这种参差不齐的状况,Karpathy提出了一个值得深思的方向:AI背负的那个沉重的“泛化能力包”是否需要被解绑?当前各大实验室都在追求一种单一形态的模型——一个在所有不同领域都需要独当一面的通用智能模型。但Karpathy认为,我们不应该期望看到一个无所不知的“神谕模型”,不应该期望看到它完美覆盖人类社会的所有领域。

借用生物学中的“物种形成”概念,大自然中动物的大脑是极其多样化的,不同的生态位催生了不同的进化成果。某些动物的视觉皮层极其发达,某些则有其他突出的感知能力。AI也应该走向这种更加细分的进化。我们不需要一个庞大的通用模型来做所有事,而完全可以将需求细分到多个更小、更垂直、更高效的模型上。每个模型仍然具有认知核心,但在特定领域上,又能各自实现高度专业化,针对用户真正关心的特定任务,进行更高级别的优化。

Karpathy认为,这种细分趋势受到了现实因素的推动。尽管当前我们还没有看到太多这种细分案例,但有一个重要的驱动因素正在发生作用:基础计算设施的容量压力。如果可以随时获得无限的计算资源,你当然会倾向于保留一个巨大的通用模型。但在现实中,我们无法面对千差万别的需求,为每名用户都提供一个万能模型。企业级应用场景尤其如此——针对高价值的垂直细分领域提供定制服务,可能会成为比通用模型更具吸引力的选择。

对于AI的细分式进化,Karpathy也指出了一个制约因素:能够精细调整AI大脑的技术本身,还没有发展成熟。除了通过上下文窗口来进行定制外,我们还没有足够可靠的方法来深层地修改模型。比如在单个领域进行持续学习、在特定领域微调参数、修改权重等操作,都远比简单地操作上下文窗口要棘手得多。修改权重,实际上是在从根本上调整整个模型,稍有不慎就可能导致能力退化。因此,细分式进化这门学科还需要进一步成熟。并且,这种进化本身也必须足够廉价,才值得在不同特定领域中被推进。

Andrej Karpathy对我们描绘的图景,是一个充满张力的AI时代。一方面,AI能力的大爆发让个体能够实现的事情达到了前所未有的高度——从编程自动化到家庭事务自动化,一切都变得可能。另一方面,这种无限可能也带来了新的问题:对人类自身技能问题的焦虑,AI技术参差带来的不确定性——所有这些都在提醒人们,AI时代的效率竞赛才刚刚开始。

而我们所能驾驭的,不在于机器,更大程度在于我们自身——我们无法亲身左右AI技术的演进,但可以驱使自己去不断学习和进化。无论AI在未来走向何方,是继续追逐通用模型的单一形态,还是走向更加多元的细分式智能,是让AI更大程度接管自动化研究,还是始终保持人类在工作流中的关键位置,有一点可以确定:AI绝非简单的生产工具,而是正在重新定义人类与世界之间关系的智能体。而如何在这种新关系中找准自己的位置,将成为每一个人都必须面对的“技能问题”。

本文转自:凤凰网科技

原文地址: https://tech.ifeng.com/c/8vT4hXm7Lcj