脉冲星如何使 Netdata 能够提供无限的免费基础设施监控
简介
Netdata 通过 Pulsar 虚拟峰会北美 2021 展示了其如何利用 Pulsar 架构实现可扩展、低成本的免费基础设施监控解决方案。
演示摘要
Netdata 遇到了一些 Pulsar 相关的挑战,特别是关于具有共享订阅的 Go 客户端以及未来对事件采购的需求,但严重依赖 Pulsar。Pulsar 的数百万个主题和关键共享订阅使其能够应对任意数量的代理和前端请求。可靠的消息持久性使其能够重放旧事件以重建旧视图并构建新的物料化视图,从而解决特定的生产问题,并为事件溯源模式做准备。分解且分层的存储有助于随着基础设施的扩展保持低成本。
我们是谁,我们想要实现什么
Netdata 是一个开源、免费的监控解决方案,提供基础设施的运行状况和性能的完整视图。Netdata Agent 是免费的、开源的一节点监控软件,而 Netdata Cloud 是一种免费的、封闭源代码的软件即服务(SaaS),整合了运行 Netdata Agent 的端点设备的元数据。所有指标都保留在 Netdata 代理上,使 Netdata Cloud 成为分散的焦点。
为什么成功
Netdata 的成功归因于其开源、高效、可扩展的特性,以及对监控专业人员的构建。它能够轻松收集和导出数据,并以高效的方式处理每秒指标。
FOSS 代理的局限性
FOSS 代理非常适合监控单个传统机器,但在数据复制、临时实例、基础设施级指标、警报和模式方面存在局限性。
进入 Netdata Cloud
Netdata Cloud 允许用户立即协作监控整个基础架构并对其进行故障排除,提供集中管理警报和免费无限期提供监控的功能。
免费基础设施监控的挑战
Netdata 需要解决保持实时性、扩展到数十万个监控对象、提供强大的审计能力以及永久免费等挑战。
独特解决方案
Netdata 的解决方案是不集中度量,让 FOSS 代理执行大部分所需的处理,并在云端实现近实时的元数据和警报更新。
建筑鸟瞰
Netdata 的架构包括后端和代理通信,依赖于 Pulsar 的多个特性。
我们依赖的 Pulsar 特征
- 与代理分离的存储:使水平扩展更有效。
- 分层存储/卸载:通过快速保存最新数据来降低成本。
- 无限保留:用于重放旧事件以重建旧视图。
- 数以百万计的主题:用于与前端的通信。
- 密钥共享订阅:保证按顺序交付消息。
- 延迟发布:防止短时间内的一系列通知。
Pulsar 特征丢失 - 未来的挑战
- 多租户和地理复制:确保全球用户最低的延迟。
- 架构支持:验证 FOSS 代理的边缘情况。
- 订阅消息选择器支持:实现货币化道路的关键。
- Go 客户端功能与 Java 客户端的奇偶校验:解决生产者/消费者问题。
结论
Netdata 通过 Pulsar 架构实现了可扩展、低成本的免费基础设施监控解决方案,但仍然面临一些挑战和未来的需求。Pulsar 的多个特性帮助 Netdata 实现了其目标,但还需要进一步改进以支持未来的发展。