|
 本文来自微信公众号：划重心KeyPoints，作家：林易，剪辑：重心君，原文标题：《李飞飞的谜底：大模子之后体育游戏app平台，Agent 向那儿去？》，题图来自：视觉中国 2025年，被宽敞合计是Agent的元年，与之辩论的宗旨从年头于今热度持续走高，包括智能体、AI Agent、Agentic AI等等。 而就在最近，一篇由李飞飞领衔的Agent重磅论文在业内激励了平庸议论，热度居高不下。网友们如斯评价：“险些是跪着看完的”、“太了了，硬控了我3个小时”。 这篇长达80页的综述名为《Agent AI: Surveying the Horizons of Multimodal Interaction》，由李飞飞等14位来自斯坦福大学和的群众继续撰写。  它之是以备受珍爱，是因为这篇综述为Agent这一略显腌臜的规模，建造了一个了了的框架：从感知-有诡计-行动，到记念、器用使用、环境交互与评测，试图把踱步在对话模子、视觉-讲话模子、强化学习、器用调用等时间痕迹，救济到一个多模态Agent的新视角里。 况且，天然这篇论文最早发表于旧年年底，但站在当下节点追思本年Agent的发展，、OpenAI和微软等主流玩家的核心派遣，险些都是按照论文给出的才智栈来推动的；这也反过来印证了论文对“从大模子到Agent”这一演进旅途的前瞻性判断。 也正如李飞飞在自传《我看见的宇宙》里强调的，“咫尺学生太过于追求热门，其实好多老论文黑白常经典且具备模仿趣味趣味”；即便这篇综述发表于今不外半年，但其趣味趣味之大、影响之深，仍值得每一位AI从业者真切品读。 接下来，咱们就一齐望望这篇摘要性巨作的核心价值。 Agent AI的核心：一个全新的智能体领悟架构 要链接这篇论文的精髓，当先必须把抓其提倡的全新Agent AI范式。这远非对现存时间栈的简便免强，更是一种对将来通用东谈主工智能（AGI）发展旅途的前瞻性念念考。 论文中的架构图，便了了地界说了这个范式的五个核心模块，它们共同组成了一个好意思满的、可交互的智能体领悟闭环。  当先是环境与感知（Environment and Perception），这是智能体与宇宙交互的起原。 与传统模子被迫接受结构化数据不同，Agent AI主动从物理或虚构宇宙中感知信息；这种感知是多模态的，涵盖视觉、听觉、文本、传感器数据等。 更迫切的少许是，感知模块内嵌了任务磋磨与技能不雅察（Task-Planning and Skill Observation）的才智；这意味着Agent在感知环境时，并非渺茫地接受一切信息，而是带着明确的宗旨去链接。 第二个核心模块是领悟（Cognition）。 若是说感知是输入，那么领悟就是处理核心，是Agent的“大脑”。论文将领悟界说为一个极其复杂的系统，包含念念考、意志、感知、共情等高档智能行径。 这恰是大讲话模子（LLM）和视觉讲话模子（VLM）阐扬核心作用的场域。它们为Agent提供了矍铄的宇宙知识、逻辑推理和高下文链接才智。领悟模块精良讲明感知到的信息，进行多步推理，并制定出末端指标的战术。 接下来是行动（Action），它相连领悟模块的有诡计，精良生成具体的操作指示。 这些指示不错是与物理宇宙交互的机器东谈主遏抑敕令（如移动、抓取），也不错是与虚构宇宙交互的API调用、代码生成或天然讲话回应。行动模块通过遏抑器（Controller）作用于环境，从而改变环境的景色。 第四个核心模块是学习（Learning）。 Agent AI并非一个静态系统，其核心上风在于持续学习和自我进化的才智。论文强调了多种学习机制，包括预锻真金不怕火（Pretraining）、零样本/少样本学习（Zero-shot/Few-shot）、强化学习（RL）和师法学习（IL）。 通过与环境的交互（即“Agent Interactive Closed-loop”），Agent从告捷和失败的陶冶中学习。环境的反映（Feedback）会回流至学习和记念模块，用于优化将来的有诡计。 临了，等于记念（Memory）。 传统模子的“记念”不阵势限于瞬息的高下文窗口，而Agent AI的记念模块则是一个更永恒、更结构化的系统。它存储着知识（Knowledge）、逻辑（Logic）、推理旅途（Reasoning）和臆度（Inference）的阻隔。 这使得Agent卤莽从往时的陶冶中索求学识，酿成永远记念，从而在面对新任务时，毋庸从零启动，而是不错举一反三。 这五个模块共同组成了一个动态的、持续迭代的闭环。Agent通过感知环境，在领悟核心的驱动下作念出有诡计，通过行动改变环境，再从环境的反映中学习和更新记念，从而在每一次交互中，都比上一次更智能、更高效。 大模子若何驱动Agent AI？ 咱们刚才解读的Agent AI新范式，不错说是这篇综述蓝图中的一个维度。 Agent AI的重大框架之是以在今天成为可能，其根柢驱能源，源于大型基础模子（Foundation Models），颠倒是LLM和VLM的熟识。它们是Agent领悟才智的基石，但也带来了新的挑战。  LLMs（如GPT系列）和VLMs（如CLIP、LLaVA）通过在海量数据上的预锻真金不怕火，内化了对于宇宙的宽敞学问知识和专科知识。这使得Agent在启动之初就具备了矍铄的零样本磋磨才智。 举例，当一个机器东谈主Agent接受到“帮我热一下昼餐”的指示时，它能欺诈LLM的知识，自动将这个恍惚指示理会为一系列具体的子任务：“翻开雪柜->找到午餐盒->把它放到微波炉里->建树时间->启动微波炉”。 这种才智极地面裁汰了为每个任务编写复杂章程的老本。 除此以外，论文冷酷地指出了大模子的一个核心问题——“幻觉”，即模子可能生成与事实不符或毫无左证的施行。 这在需要与物理宇宙精准交互的场景中是致命的。举例，一个机器东谈主Agent若是“幻觉”出一个不存在的物体并试图抓取，可能会导致任务失败以致斥地损坏。 Agent AI范式通过“环境交互”为照应幻觉问题提供了一个要津的“锚点”。因为Agent的有诡计和行动必须在简直或模拟的环境中获得考证。 若是模子生成的诡计在环境中不行实践（举例，试图穿过一堵墙），环境会立即提供负反映。这种持续的、基于物理轨则的反映，会倒逼模子将其里面的知识与外部的现实宇宙对王人，从而显耀减少幻觉的发生。 基础模子相似会秉承锻真金不怕火数据中的社会偏见。一个在充满偏见文本上锻真金不怕火的Agent，其行动和讲话也可能带有憎恶性。 论文强调，在遐想Agent AI时，必须将包容性当作一项核心原则。这包括使用更多元化的数据进行锻真金不怕火、建造偏见检测与矫正机制，以及在东谈主机交互中遐想合乎谈德和尊重他东谈主的率领方针。 当Agent（尤其是在医疗、家居等敏锐规模）与用户进行深度交互时，会网罗宽敞个东谈主数据。若何确保这些数据的隐秘和安全，是一项要紧的伦理和时间挑战。 论文提倡，需要为Agent AI建造明确的法例和监管框架，确保数据使用的透明度，并予以用户遏抑其数据的权柄。举例，通过辅导工程（Prompt Engineering）遏抑模子的行动范围，或者加多一个由东谈主类监督的考证层，都是确保Agent在安全可控范围内运行的有用技巧。 Agent AI的应用后劲 论文不仅提倡了表面框架，还真切探讨了Agent AI在三个前沿规模的巨大应用后劲，展示了其若何从表面走向现实。 当先就是游戏（Gaming）场景。 传统的游戏NPC（非玩家变装）行动由固定的剧本驱动，款式单一、可预计，而Agent AI将澈底改变这一近况。 举例，基于LLM的Agent不错演出NPC，领有我方的记念、指标和激情。它们能与玩家进行简直专诚念念的对话，左证玩家的行动和游戏宇宙的变化动态调遣我方的行动，以致酿成复杂的社会联系。斯坦福的“生成式智能体”小镇实验（Generative Agents）恰是这一理念的早期探索。 况且，玩家不错用天然讲话与游戏宇宙互动，比如告诉NPC“咱们去丛林里寻找草药”，NPC卤莽链接并协同业动。这为洞开宇宙游戏带来了前所未有的千里浸感息争放度。 Agent还不错当作创作家的“AI副驾驶”，左证简便的指示或草图，自动生成游戏关卡、谈具以致好意思满的3D场景，极地面提高游戏开发效果。  其次是机器东谈主（Robotics）场景。 机器东谈主不错说是Agent AI最胜利的物理化身（Embodiment），用户只需用浅薄讲话下达指示（如“把桌子打理干净”），机器东谈主Agent就能自主磋磨并实践一系列复杂的物理操作。 论文展示了使用GPT-4V来链接东谈主类视频演示，并将其篡改为机器东谈主可实践任务序列的实验，这让机器东谈主编程变得如“教孩子作念事”般直不雅。 在模拟环境中锻真金不怕火机器东谈主老本低、效果高，但若何将学到的技能转移到物理宇宙是一个核心挑战。Agent AI通过规模立地化（Domain Randomization）等时间，在模拟锻真金不怕火中引入弥散多的变化（如光照、材质、物理参数的变化），使学到的战术对简直宇宙的幽微互异更具鲁棒性。 机器东谈主Agent会通视觉、讲话、触觉等多种信息来链接环境。举例，它不仅“看到”一个杯子，还能通过讲话指示链接这个杯子是“易碎的”，从而在抓取时遴荐更温雅的力度。  临了，在医疗健康（Healthcare）中，Agent AI相似具备巨大的应用后劲。 Agent不错当作医疗聊天机器东谈主，初步问诊、网罗病史，并基于医学知识库为大夫提供会诊建议，颠倒是在医疗资源匮乏的地区，能极地面培育低级疗养的笼罩率和效果。 医疗规模的知识更新极快，任何失实都可能危及人命。Agent AI不错结合巨擘的、实时更新的医学数据库，在生成会诊建议时，同步进行事实核查和来源援用，这对于扼制模子幻觉、保证信息的准确性至关迫切。  Agent不错匡助处理和分流宽敞的患者信息，监控慢性病患者的人命体征数据，并实时向大夫发出预警，末端更高效的个性化健康照应。 结语 尽管长进稠密，但这篇综述也清爽地领略到，Agent AI仍处于早期阶段，濒临着跨越模态、规模和现实的多重范围。 举例，若何让Agent简直末熟察觉、讲话、听觉、动作等模态的深度会通，而不仅仅浅层拼接，是将来的核心研究标的。 以及若何锻真金不怕火一个能在游戏、机器东谈主和医疗等截然有异规模都能高效职责的“通用Agent”，而不是为每个规模定制一个模子，是通往AGI的要津一步。 况且在评测与基准方面，若何科学地评测一个Agent的智能水平亦然要津。为此，论文团队提倡了新的评测基准，如用于多智能体配合的“CuisineWorld”和用于视频链接的“VideoAnalytica”。建造圭臬化的评测体系，对于指示颈域发展、斟酌时间稀薄至关迫切。 回来原文来看，李飞飞等东谈主的这篇《Agent AI》综述，远不啻是对现存研究的简便梳理。它提倡了一个救济、好意思满的Agent AI领悟框架，阐扬了大型基础模子在其中演出的核心变装，况且系统性地剖析了其在要津应用规模的机遇与挑战。为刻下略显喧嚣和碎屑化的Agent研究规模，提供了一张不行或缺的“舆图”。 临了，全球不错一键传送论文原文：https://arxiv.org/abs/2401.03568 本文来自微信公众号：划重心KeyPoints，作家：林易 本施行为作家零丁不雅点，不代表虎嗅态度。未经允许不得转载，授权事宜请辩论 hezuo@huxiu.com 本文来自虎嗅，原文链接：https://www.huxiu.com/article/4763192.html?f=wyxwapp |
