转载翻译 2025-03-14 01:03 北京
笔者从事服务器主机、PC终端领域的软件研发,持续关注AI在IT运营(AIOps)中的应用前景,尤其是自动根据软件日志信息,结合LLM推理编排任务,执行自动化复杂的运营任务,完成如故障定位和根本原因分析,从而减少人为干预和客户影响
大语言模型LLM和 AI Agent在软件开发和部署中的快速应用正在改变信息技术格局。尤其是在提效领域,比如代码生成、图像处理、信息提取等业务场景等受到了广泛应用。
笔者从事服务器主机、PC终端领域的软件研发,持续关注AI在IT运营(AIOps)中的应用前景,尤其是自动根据软件日志信息,结合LLM推理编排任务,执行自动化复杂的运营任务,完成如故障定位和根本原因分析,从而减少人为干预和客户影响。比如,实现服务器上服务异常的自动定位、修复,或者PC终端上软件异常的自动定位、修复等。
今天看到微软AIOpsLab发布的这篇构建面向治云的智能体[1],让我看到了这个方向落地的希望,特此分享给大家。
在日益复杂的数字化环境中,企业和云服务提供商在开发、部署和维护复杂的 IT 应用方面面临着严峻的挑战。微服务和基于云的无服务器架构的广泛采用,在简化应用开发某些环节的同时,也带来了一系列运营难题,尤其是在故障诊断和缓解方面。这些复杂性可能导致服务中断,从而可能造成重大的业务中断,突显了对能够确保云服务高可用性和可靠性的强大解决方案的迫切需求。随着人们对“五个九”可用性的期望日益增长,各组织必须应对错综复杂的运营需求,以维持客户满意度和业务连续性。
为了应对这些挑战,最近关于使用 AIOps 代理进行云运营的研究——例如用于事件根本原因分析 (RCA) 或优先级排序的 AI 代理——依赖于专有服务和数据集。其他先前的研究工作使用特定于它们正在构建的解决方案的框架,或者使用未能捕捉真实世界云服务动态性质的临时(_ad hoc_)和静态的基准和指标。 使用 Azure AI Agent Service 为云运营任务开发代理的用户可以使用 AIOpsLab 对其进行评估和改进。此外,当前的方法在标准指标或运营任务的标准分类法上没有达成一致。 这就需要一个标准化且有原则的研究框架,用于构建、测试、比较和改进 AIOps 代理。 该框架应允许代理以可重现的方式与真实的业务运营任务交互。 它必须能够灵活地扩展到新的应用程序、工作负载和故障。重要的是,它应该不仅仅是评估 AI 代理,还要让用户能够改进代理本身;例如,通过提供足够的观测性,甚至充当训练环境(gym),以生成样本进行学习。
我们开发了 AIOpsLab,这是一个为研究人员和开发人员提供的整体评估框架,旨在支持 AIOps 代理的设计、开发、评估和增强,同时也服务于可重现、标准化、可互操作和可扩展的基准。 AIOpsLab 在 GitHub仓库[2] 上以 MIT 许可证开源,以便研究人员和工程师可以利用它来大规模评估 AIOps 代理。 我们最近在 SoCC ’24 上展示了 AIOpsLab 愿景论文[3]。
Figure 1. AIOpsLab的系统架构.
AIOpsLab系统流程图。 该图分为四个主要部分:AIOps任务、编排器、问题缓存和服务。 AIOps任务列出了各种应用程序,例如社交网络、酒店预订、电子商务等,每个应用程序都关联着数据、行动、指标。 这些任务连接到编排器。 编排器是中心元素,并与各种组件交互:它接收问题查询Q,其中详细说明了问题、任务T、工作负载W、故障F和解决方案S。 它负责部署或运行工作负载并注入故障,以及根据代理中继的服务状态采取行动。 问题缓存连接到工作负载生成器和故障生成器,为服务创建工作负载W。 服务组件通过追踪、指标和日志显示可观察性。 它与编排器通信以提供服务状态更新。 组件之间通过箭头连接,箭头指示系统中每个部分之间的数据和控制流。
AIOpsLab 通过一个中间编排器严格分离了代理和应用服务。它提供了多个接口供其他系统部分集成和扩展。首先,它与代理建立会话,以共享有关基准测试问题的信息:(1)问题描述,(2)指令(例如,响应格式),以及(3)可作为行动调用的可用 API。
这些 API 是一组有文档记录的工具,例如,获取日志、获取指标和执行 Shell,旨在帮助代理解决任务。对代理的实现没有任何限制;编排器提出问题并轮询它,以获得在先前结果下的下一步要执行的行动。每个行动必须是有效的 API 调用,编排器会验证并执行该调用。编排器具有对部署的特权访问权限,并且可以使用适当的工具(例如,Helm、kubectl)代表代理采取任意行动(例如,向上扩展、重新部署)来解决问题。最后,编排器调用工作负载和故障生成器来创建服务中断,这些中断充当实时基准测试问题。AIOpsLab 提供了额外的 API 来扩展到新的服务和生成器。
from aiopslab import Orchestrator
class Agent:
def __init__(self, prob, instructs, apis):
self.prompt = self.set_prompt(prob, instructs, apis)
self.llm = GPT4()
asyncdef get_action(self, state: str) -> str:
return self.llm.generate(self.prompt + state)
#初始化协调器
orch = Orchestrator()
pid = "misconfig_app_hotel_res-mitigation-1"
prob_desc, instructs, apis = orch.init_problem(pid)
#注册并评估代理
agent = Agent(prob_desc, instructs, apis)
orch.register_agent(agent, name="myAgent")
asyncio.run(orch.start_problem(max_steps=10))
AIOpsLab 抽象了一系列不同的服务,以反映生产环境中的差异。这包括使用各种架构原则(包括微服务、无服务器和单体架构)实现的正在运行的实时服务。
我们还利用 DeathStarBench 等开源应用程序套件,因为它们提供了诸如源代码和提交历史记录等工件以及运行时遥测数据。添加 BluePrint 等工具可以帮助 AIOpsLab 扩展到其他学术和生产服务。
AIOpsLab中的工作负载生成器通过模拟故障和正常场景,发挥着至关重要的作用。它从编排器接收规范,例如任务、预期效果、规模和持续时间。该生成器可以使用在真实生产跟踪上训练的模型来生成符合这些规范的工作负载。故障场景可以模拟诸如资源耗尽、利用边缘情况或触发级联故障等条件,其灵感来源于真实事件。正常场景则模仿典型的生产模式,例如每日活动周期和多用户交互。当各种特征(例如,服务调用、用户分布、到达时间)可以导致预期效果时,多个工作负载可以存储在问题缓存中,供编排器使用。工作负载生成器还可以与故障生成器协调,创建带有工作负载的复杂故障场景。
AIOpsLab 拥有一种新颖的按钮式故障生成器,专为各种云场景的通用适用性而设计。我们的方法整合了应用程序和领域知识,以创建适应性策略和“预言机”,使其与 AIOps 场景兼容。这包括精细化的故障注入,能够模拟受生产事故启发的复杂故障。此外,它还可以在各种系统层级注入故障,在保持语义完整性的同时暴露根本原因,并考虑云微服务之间的相互依赖性。故障注入器的多功能性可以通过对 AIOps 能力进行彻底的测试和评估,从而增强云系统的可靠性和稳健性。
AIOpsLab 配备了一层可扩展的可观察性层,旨在为任何 AIOps 工具提供全面的监控能力,覆盖各种系统层次。AIOpsLab 收集了多种遥测数据,包括
- 来自 Jaeger 的追踪信息,详细描述了请求在分布式系统中的端到端路径
- 由 Filebeat 和 Logstash 格式化和记录的应用程序日志
- 以由 Prometheus 监控的系统指标。
此外,AIOpsLab 还捕获低级系统信息,如系统调用日志和集群信息。如前所述,我们通过灵活的 API 处理潜在的数据过载,以调整与 AIOps 工具相关的遥测数据。
AIOpsLab 目前支持 AIOps 领域的四个关键任务。这些任务包括事件检测、定位、根本原因诊断和缓解。此外,我们支持几种流行的代理框架:React、Autogen 和 TaskWeaver。研究中提出的两个关键见解强调了可观察性和良好设计的 ACI 重要性。可观察性对于清晰的根本原因诊断至关重要,例如,确定配置错误的 API 网关对于防止服务停机至关重要。
灵活性是另一个关键因素;能够执行任意的 Shell 命令确保在实时场景中有效排除故障。最后,稳健的错误处理至关重要——为代理提供高质量的执行障碍反馈,例如数据库连接失败,确保快速解决问题并不断改善。
Agent: I need to first look at the logs to understand if there are any errors or warnings that could indicate problems.
Action:
get_logs("compose-post-service", "test-social-network")
Service: [2024-Aug-04 23:18:49.365494] <info>:
…
Thrift: Sun Aug 4 23:19:19 2024 TSocket::open() connect()
<Host: user-service Port: 9090>: Connection refused
Agent: … unable to connect to the `user-service` at port 9090, even though the pod is running. This suggests a possible network issue or misconfiguration in service discovery
本项目采纳了微软安全标准和负责任的AI原则,我们期望这项研究能够发展成为一个对旨在优化其IT运营的组织至关重要的资源。此外,我们计划与多个生成式AI团队合作,将AIOpsLab纳入作为评估最先进模型的基准场景。通过这样做,我们旨在促进创新,并鼓励开发更先进的AIOps解决方案。这项研究不仅对IT专业人员至关重要,而且对所有关注技术未来的人都至关重要,因为它有可能重新定义组织如何管理运营、应对事件,并最终在日益自动化的世界中为客户提供服务。
我们要感谢Yinfang Chen, Manish Shetty, Yogesh Simmhan, Xuchao Zhang[4], Jonathan Mace[5], Dax Vandevoorde, Pedro Las-Casas[6], Shachee Mishra Gupta, and Suman Nath [7]等对这个项目的贡献。
基于computer-use的AI Agent可以更好地与操作系统结合,实现数据交互获取更多数据,利用操作系统的API以及AI Agent tool机制,实现指令的自动化编排执行,实现故障定位和根本原因分析,从而减少人为干预和客户影响,在AIOPS领域获得更大的成果。
现在LLM和AI Agent相关的开发框架、累计几乎清一色的Python,类库实属丰富,可以快速上手。但是,但是,但是,有一些天然的弊端,Python的依赖复杂,很容易对系统环境造成破坏;程序是多文件的,不易部署;解释性语言无法保护业务秘密等等。
有没有解决以上痛点无依赖的,可以无缝对接OpenAI、DeepSeek、阿里千问等常见LLM的框架?
字节开源了他们的LLM应用开发框架Eino
[8],纯Go语言开发,静态编译,支持Host MultiAgent、ReactAgent两种Agent模式,支持Tool调用等。组件机制可以较好的支持观测性等。
Eino['aino](谐音 “I know”)旨在成为用 Go 语言编写的终极大型语言模型(LLM)应用开发框架。它从开源社区中的诸多优秀 LLM 应用开发框架,如 LangChain 和 LlamaIndex 等获取灵感,同时借鉴前沿研究成果与实际应用,提供了一个强调简洁性、可扩展性、可靠性与有效性,且更符合 Go 语言编程惯例的 LLM 应用开发框架。
笔者试用一段时间,还是很方便的,代码抽象的特别优美。对AI Agent不熟悉的同学,直接上手这框架,还是有很高的学习成本,本身对AI Agent的理念、机制不熟悉,以及框架抽象太厉害了,会有很多试错成本,哪怕eino-examples仓库,也有很多对新人不友好的地方,多试多练,慢慢熟悉吧。最后,感谢字节开源了这个优秀的开发框架,一定会推动AIOPS方向快速发展的。
构建面向治云的智能体: https://www.microsoft.com/en-us/research/blog/aiopslab-building-ai-agents-for-autonomous-clouds/
AIOpsLab 在 GitHub仓库: https://github.com/microsoft/AIOpsLab/
AIOpsLab 愿景论文: https://www.microsoft.com/en-us/research/publication/building-ai-agents-for-autonomous-clouds-challenges-and-design-principles/
Xuchao Zhang: https://www.microsoft.com/en-us/research/people/xuchaozhang/
Jonathan Mace: https://www.microsoft.com/en-us/research/people/jonathanmace/
Pedro Las-Casas: https://www.microsoft.com/en-us/research/people/pedrobr/
Suman Nath : https://www.microsoft.com/en-us/research/people/sumann/
LLM应用开发框架Eino: https://github.com/cloudwego/eino