企业AI代理为何失败？遗忘是关键问题
引言：RAG架构的局限性
RAG架构擅长一件事：检索语义相关的文档。但这也正是它的极限所在。
一种名为决策上下文图（decision context graph）的框架通过赋予代理结构化记忆、时间感知推理和明确决策逻辑，填补了这一空白。Neo4j生态系统中的创业公司Rippletide已构建了此类框架。其核心能力在于代理的非回归性——能够冻结验证过的行动序列并随时间积累经验。
“关键在于非回归性：如何确保代理在生成新内容时，能基于先前发现进行累积？”Rippletide联合创始人兼首席科学家Yann Bilien表示。
为什么RAG不够用？
企业环境中的上下文分散在ERP工具、日志、数据库、向量存储和政策文档中。生成式AI工具可通过关键词搜索、SQL查询或完整RAG管道检索这些数据，但检索存在上限。
值得注意的是，检索到的数据可能与当前决策无关（导致幻觉）；即使代理获取了正确数据，也常常缺乏指导来做出有充分理由的决策。换言之，RAG检索的是文档，而非决策上下文。
Northwest AI Consulting的Wyatt Mayham指出：“每个人都从RAG开始：提取相关文档，塞进提示，让模型自行处理。这对聊天机器人有效，但对需要决策和采取行动的代理来说，‘立即崩溃’。”
Mayham解释道，检索到的文档无法告知代理其是否仍适用、是否已被取代或是否存在优先级更高的冲突规则。“代理需要决策上下文，而不仅仅是信息。”
在现实世界中，这可能意味着知道定价例外已过期、安全政策仅适用于特定司法管辖区或标准操作程序一个月前已更新。“错过任何一点，代理就会自信地做错事。”Mayham说。
缺乏结构化决策上下文时，代理会合并不兼容的规则，虚构约束填补空白，并依赖Bilien所说的“无界数据上的概率猜测”。由于构建者无法追溯代理做出特定选择的原因，错误难以复现。
Mayham还提到累积错误问题：单步小错误率在多步工作流中会变得“灾难性”。“这就是大多数企业代理从未走出试点阶段的主要原因。”
决策上下文图如何找到正确答案？
决策上下文图通过编码结构化映射来解决这个问题，明确什么适用、规则是什么以及何时适用。
该框架针对一个问题进行优化：“给定当前情况，哪些上下文立即适用？”时间被视为首要维度；每个规则、决策和例外都被限定在有效时间内。
“目标是在构建图表时明确处理缺失、不连贯或矛盾的数据，以避免代理运行时出现概率性错误，”Bilien说。
系统围绕三个原则构建：
- 适用性：逻辑被明确编码，使代理知道在特定情况下应记住和应用的规则。仅当上下文与当前情况相关时才返回。
- 时间感知记忆：每个规则、决策和例外都有时间范围。这让代理能推理“过去与现在有何不同”，并重现或解释其决策。
- 决策路径：系统能解释从A到B的推理过程及背后的“为什么”（例如，为何包含某条上下文而排除另一条）。代理会获得“决策路径”示例，了解类似案例如何处理。
在设置阶段，非结构化数据被摄取并结构化为本体：存在哪些实体、适用哪些规则、什么算作例外。神经符号AI处理模式识别，并编码正式的机器可读逻辑。随着时间的推移，系统会随着新决策的做出而完善其知识库。
“神经符号结合了两个部分：神经元部分赋予代理高度自主性，符号部分减少所需数据量并提供控制，”Bilien说。
代理在构建时（预生产）进行测试，以验证其行为或找出改进点。这减少了推断过程中的风险和计算需求。
代理学习而非遗忘
关于非回归性，关键是同时在智能（模型）和知识（代理间共享）上进行累积，Bilien表示。代理需要能够探索；当不知道如何完成任务时，它们可以尝试不同可能性，通常在受控环境或模拟中进行（如支持机器人尝试多种响应模式）。
然后，“一旦解决方案被评估为满意，图表就会冻结该行动序列，”Bilien说。未来的探索将从这个“验证行为的稳定基础”开始，防止新获得的技能覆盖先前学到的良好行为。
在代理行动或影响客户之前，它会对照图表进行检查：是否违反规则？是否出现幻觉？是否在约束范围内？能否将解决方案推广到类似案例？
在宏观层面，系统评估结果：行为是否改善了长期性能？是否推广到类似上下文？是否保留了先前能力？
“这种确定性是代理大规模可靠运行的关键，”Bilien说。这带来了更一致、可预测和可解释的行为，并增强了控制力和可审计性。
“你希望代理在面对未知时能自主学习，”他说。“你希望它们能探索并找到新解决方案。”
超越“片段式”记忆
虽然团队最初认为会在所有地方部署强化学习，“但这在企业管理环境中实际上被证明非常困难，”Bilien说。“某些特定用例的数据稀缺，而其他用例的数据混乱。”
通常，使用原始数据进行可靠预测一直是手动且耗时的挑战，但“现在有了代理，我们进入了构建本体可以自动化的新时代，”Bilien说。
经典监督微调方法会导致振荡，模型在学习下一个技能时忘记上一个。总体而言，学习不是累积的，压缩“剧烈”，模型“片段式”而非持续改进，导致它们不断在新或未见任务上失败。
如Bilien所指出的：“如果你每次都在退步，就永远不会有完全自主学习的模型。”
在企业管理用例中——如银行业每天处理数百万笔交易——高可靠性至关重要，他强调。“我问所有客户一个问题：95%足够吗？在许多用例中，这不够。你需要99.999%。1%的偏差就太多了。”
决策上下文图可以弥补这一差距，他主张：当同一客户支持问题被反复提出时，代理将“可靠地”返回满意答案，而不会退步，同时保留自主性。
将适用性和时间有效性编码到结构化图表中——而非依赖LLM推断——是一种“合理方法”。
关注微信号：智享开源 ，更多信息访问网站：blog.imcn.me
关注微信
还没有任何评论，你来说两句吧！