AICon演讲实录 | 谢皓：AI Agent 在边缘云的探索与实践

在 AICon 全球人工智能开发与应用大会上，火山引擎边缘智能技术负责人谢皓发表了演讲，深入探讨了 AI Agent 在边缘云的探索与实践。他详细阐述了边缘计算的智能化演进之路，针对智能体部署至边缘过程中遭遇的一系列问题及挑战，边缘智能给出了实践经验及解决方案，同时，在介绍智能体在边缘云的应用实践基础上，展望架构范式的未来演进。

演讲内容主要包括了五部分：边缘计算的智能化演进之路；智能体在边缘云落地的问题与挑战；边缘智能助力智能体落地边缘云；智能体在火山引擎边缘云的实践；总结与展望。

以下是演讲实录：

大家好，我是谢皓，来自火山引擎边缘智能团队，我分享的题目是 AI Agent 在边缘云的探索和实践。

1.边缘计算的智能化演进之路

在开始之前，先介绍一下边缘智能。大家应该已经了解了中心和端，中心是数据中心，端是产生数据的地方，在端和中心之间，我们依据数据接入的延时划分成现场边缘、近场边缘、云边缘。边缘又可以分成两个部分，一部分是现场边缘，现场边缘跟端在同一网络内，例如把一辆车的车机看成是现场边缘的话，那么座椅、显示屏等组件就可以看作是端，它们共同处于一个网络环境中，都部署在现场。另一部分是近场边缘和云边缘，其实都可以看成是云边缘，从端侧角度来看，它们与云计算在本质上没有太大差异，都是在远离数据产生现场的地方进行计算，不过，它们的部署位置和规模有所不同。近场边缘通常部署在国内二三线或三四线城市的数据中心，而云边缘则位于区域中心，拥有更强大的计算能力。

这些层次共同形成了一个计算梯度，从端到云的响应时间在用户现场可缩短至 1-5 毫秒，构成现场边缘。在区域城市，延时大致在 5-20 毫秒，形成了近场边缘。而在区域中心，延时进一步增加，形成 20-40 毫秒的云边缘。这一梯度结构确保了数据处理的高效性和灵活性。火山引擎边缘云，服务于字节跳动海量流量场景下的需求，在海内外拥有 2500 多个边缘节点，网络带宽储备资源超过 150 Tbps，火山引擎边缘智能立足于边缘云，协同“端”“云”智能，致力于打造"端-边-云"智能方案。

除了成为大模型时代的基础设施，边缘计算在过去一直是企业智能化的重要基础设施，借此机会回顾一下边缘计算的智能化演进之路，按照智能化发展水平，主要分为三个阶段：AI 史前阶段，AI 1.0 阶段和 AI 2.0 阶段。

1.1 AI 史前的边缘智能——物联网（IoT）

第一个阶段在 2014 年左右，随着以云计算、大数据为代表技术的应用，诞生了万物互联。这时边缘计算的表现形式主要是在设备现场部署物联网网关，它承担着设备数据采集和转发的功能，通常被称为 DTU（data transfer unit）。有些高级的网关具备一定的数据处理和汇聚能力，但整体来看，可以认为是基于规则的伪智能阶段。从算力角度看，网关硬件在边缘 AI 的算力接近于 0，主要面对的场景是连接，也就是万物互联的互联。

1.2 Al 1.0 时代的边缘智能——智慧物联（AloT）

第二个阶段在 2017 年左右，以深度学习，特别是机器视觉为代表的 AI 1.0 阶段到来，智力水平得到真正的发展，可以认为进入到了小场景下的有限智能。设备现场的算力也达到了 1-10 TOPS，考虑当时大部分主流计算单元还是浮点的，更准确地说，算力单位应该是 1-10 TFLOPS。同时 AI 算力也开始蔓延到现场和中心之外更广泛的边缘，提供灵活的资源弹性。这时面向的主要场景可以认为从连接转向计算。

1.3 Al 2.0 时代的边缘智能——智能体（Al Agent）

第三个阶段是近两年，大模型技术有了长足的发展，我们认为进入到 AI 2.0 的时代。虽然业界对 AGI 通用人工智能何时能够到来还有分歧，