容器监控和可观察性

白皮书容器监控 和可观察性 1白皮书容器监控和可观察性简介 现在世界上超过 50% 的人口通过手机连接到互联网，开发新的应用程序已经成为任何数字业务的核心要求。这一核心需求的出现为基础设施领域带来了范式转变。作为云之旅的一部分，公司正在采用云原生技术来提高开发这些新应用程序的速度。云本地计算基金会进行的一项调查显示，采用云原生技术的最大好处是部署时间更快。随之而来的是可扩展性、云可移植性和可用性的提高。容器已经成为最受欢迎的云原生基础设施组件之一，可以更快地开发和测试新应用程序。除了像 Docker 这样的容器技术，开发运维团队还利用像 Kubernetes 这样的容器编排技术来大规模管理和操作容器。本白皮书强调了监控在 AWS 容器环境中的作用，以及有效监控这些容器环境的关键注意事项。它还考察了在确定哪个 AWS 容器服务最适合面向微服务的应用程序方面具有决定作用的因素。最后，阐述了容器监控和可观察性策略的重要性。 Splunk和 AWS：转变容器化应用程序的实时企业监控 Splunk 可观察性解决方案包括 SignaFx 基础设施监控、SignaFx 微服务 APM 和 Splunk 云。 Splunk 解决方案可在您的 Amazon Web Services (AWS) 环境中为您提供： • 对您的整个环境进行实时（1 秒）度量和监控，包括基础设施、应用程序、微服务、容器和 AWS Lambda• 见解，帮助您优化 AWS 环境的成本和容量• 与 AWS 服务直接集成，包括预构建的仪表板• 整合了对整个组织中每个人的可见性和监控 Splunk 使开发运维和 SRE 团队能够更轻松地监控和管理容器环境，并优化内部或云中的资源和成本。在 AWS 上同时使用容器和功能（无服务器）的客户可以为其整个环境提供端到端的实时监控解决方案。除了监控之外，SignalFx 基础设施监控还提供了成本优化器工具，可以直接了解保留的实例和按需 Amazon EC2 实例的成本和资源分配情况。 2白皮书容器监控和可观察性Splunk 一直在帮助拥有复杂容器环境的客户，包括在 Amazon ECS 管理的 Amazon EC2 实例上的 Docker 中运行的应用程序、有状态应用程序（例如在 EC2 实例上的 Docker 中运行的不带调度程序的数据库）、在 ECS 中运行的无状态应用程序，以及在 Mesosphere（现为 D2iQ）上运行的 Apache Spark 等流式应用程序。除了 Amazon EKS 和 AWS Fargate，Splunk 还支持 Amazon EC2、Amazon ECS 以及 200 多个现成的云技术和应用程序集成。 容器基础知识什么是容器 容器为开发软件提供了一种新的敏捷方法，使开发人员能够实现应用程序的可移植性，并能够在同一操作系统上运行多个应用程序，而无需共享依赖关系。容器提供了一种将应用程序的代码、配置和依赖项打包成单个对象的标准方法。如图所示，每个容器共享主机操作系统内核及其二进制文件和库，使它们非常轻（兆字节）。借助该抽象层次，容器可以在几秒钟内上下旋转，释放运行不可变基础设施的能力。格式和开放标准 2013 年，Docker 启动了一个开源容器运行时项目，从而开始了容器采用的蔓延。从那以后，围绕这项技术出现了许多开放标准。有些是互补的，有些是竞争的，但有几个已经成为精英。以下是一些更受欢迎的开放标准：• OCI（开放容器计划）由 Linux 基金会管理，OCI 标准得到许多供应商的支持，并管理映像和运行时规范。• CNI（容器网络接口）CNCF（云原生计算基金会）项目，包括用于编写插件的规范和库，以便在 Linux 容器中配置网络接口。• Kubernetes CRI（容器运行时计划）虽然 Docker 是最受欢迎的容器运行时，但该领域仍在不断发展。CRI 使开发人员能够使用各种各样的容器运行时。 在企业规模上运行容器需要决定使用哪个容器运行时，以及应该采用哪个容器引擎、编排器、 存储和网络解决方案。应用程序 A应用程序 B应用程序 C应用程序 D应用程序 E应用程序 F容器化应用程序Docker主机操作系统基础设施应用程序 A虚拟机来宾操作系统应用程序 B虚拟机来宾操作系统应用程序 C虚拟机来宾操作系统管理程序基础设施容器化与虚拟化应用程序堆栈 3白皮书容器监控和可观察性云中的容器 如果您使用云基础设施来支持您的企业应用程序，AWS 云可以提供针对运行容器而优化的基础设施资源，以及一组编排服务，使您能够轻松地在生产环境中构建和运行容器化应用程序。这些服务允许根据您的需求存储、管理和运行容器，从小型实验到关键的生产应用。AWS 支持符合 OCI 标准的容器，包 括 Docker 容器。AWS 容器管理工具 容器管理工具可以分为三类，如下图所示：注册、计算和编排。通过 AWS 提供的服务，您可以安全存储和管理容器映像、编排（用于管理容器何时何地运行），以及为您的容器提供支持的灵活计算引擎。AWS 可以帮助您管理容器及其部署，因此您不必担心底层基础设施。高度可用和安全的容器注册表，使其易于存储和管理容器图像。了解更多信息 Amazon Elastic Container 注册表注册表完全托管的容器编排，与其他 AWS 服务无缝集成。Amazon Elastic Container 服务编排了解更多信息 使用 Kubernetes 轻松部署、编排和扩展容器化应用程序。Amazon Elastic Kubernetes 服务无服务器计算引擎，可运行任何规模的生产容器。AWS Fargate计算在虚拟机基础设施上运行容器，完全控制配置和扩展。Amazon EC2了解更多信息 了解更多信息 了解更多信息 4白皮书容器监控和可观察性AWS 容器服务注意事项 容器编排器处理容器化工作负载的部署、维护和扩展，帮助公司操作容器。Docker 推出两年后，Kubernetes (K8s) 在社区中掀起了一场风暴，成为了占主导地位的容器编排技术。Kubernetes 从 Google 中剥离而出，由工程师构建，他们的任务是管理每周上下旋转的 20 多亿个容器。 Kubernetes 是目前最流行的容器编排技术。在 CNCF 的一项调查中，78% 的受访者表示他们在生产中使用 Kubernetes。AWS 云可以提供针对运行容器而优化的基础设施资源，以及一组编排服务，使您能够轻松地在生产环境中构建和运行容器化应用程序。这包括围绕 Kubernetes 提供的许多托管服务。例如，Amazon EKS 是 Kubernetes 编排服务的 AWS 版本，它跨多个 AWS 可用性区域为您运行 Kubernetes 管理基础设施，以消除单点故障。Amazon EKS 是经过认证的 Kubernetes，所以您可以使用合作伙伴和 Kubernetes 社区现有的工具和插件。关于哪种用例从每种类型的 AWS 容器服务中受益的 AWS 建议： 当选择 AWS 提供的一个或多个容器服务和工具时，除了您的主要用例之外，您需要记住以下考虑事项：• 用例（应用程序、微服务架构、混合云或多云需求）• 需要由用户管理的实体• 集群配置灵活性要求• 集群管理需求• Kubernetes 环境中工作节点的控制• 对云服务器 instance7.Docker 控制的控制能力• 容器编排工具的自由选择• 可观察性需求、实时应用程序性能监控需求和监控规模• 定价注意事项SignalFx 内置监控SignalFx 为 AWS 容器服务提供内置监控 5白皮书容器监控和可观察性容器服务优点推荐使用CloudWatch MetricsAmazon ECS• 比用于管理容器的 Kubernetes 接口简单得多• 非常类似于基于服务器的工 作 负 载 ，因 此 更 容 易 迁移到基于云的容器• 与 AWS 服务完美集成， 并通过 AWS 服务组件 （例如应用程序负载平衡器 (ALB)、Route 53 和 CloudWatch）提供网络和支持组件 • 对于那些开发运维资源有限的组织来说，使用 ECS 时的学习曲线要小得多， 这些组织不希望围绕容器中的 Pod 概念来重新构建应用程序• 如 果 您 正 在 利 用“ 软 件 定义 的 基 础 设 施 ”，例 如 Terraform、Elastic Beanstalk，您通常会发现 ECS 在这些应用中会得到很好的支持• 如果您需要在任务级别控制扩展，那么您需要使用 ECS，否则 Fargate 会将容器和服务器级别的扩展抽象为一个更简单的任务扩展模型• AWS 控制和管理集群， 允许客户进行一些集群配置 ，如 果 您 的 应 用 程 序 需要对 Docker 进行完全控制 ，这 将 很 有 帮 助 ；然 而 ，容器编排是 AWS 专有的，使用开源调度器• 定价：您需要为 EC2 实例、EBS 卷以及用于部署和设置应用程序服务器的任何附加 AWS 服务付费 — ECS 不收取额外费用，但如果您使用 ECS Fargate 选项，您需要为容器化应用程序请求的 vCPU 和内存资源付费• 容器、磁盘和网络的 CPU 和内存预留和利用率指标• Amazon ECS 集群和 ECS 服 务 ，运 行 任 务 计 数下表提供了每个 AWS 容器服务的优势和推荐使用的详细信息。它还强调了为服务提供最佳服务的不同容器使用场景的关键指标和注意事项。基于您的用例和对基础设施和容器组件的控制水平，您 可 以 选 择 这 些 服 务 。 6白皮书容器监控和可观察性容器服务优点推荐使用CloudWatch MetricsAmazon EC2• 成熟、高度可用的 AWS 云服 务 器 实 例 ，用 于 托 管 您的托管容器应用程序环境• 根据您的应用程序需求灵活选择容器管理软件• 对云服务器实例和运行在其上的应用程序的最高级别 控 制 ，使 用 户 能 够 管 理服 务 器 集 群 的 配 置 、修 补和扩展 — 您可以决定使用 哪 种 类 型 的 服 务 器 、在集群中运行哪些应用程序和多少个容器来优化利用率 ，以 及 何 时 应 该 在 集 群中添加或删除服务器 • 如果您的应用程序需要非常 健 壮 、可 扩 展 和 严 格 控制的混合容器环境，无论是在云中还是在内部，在 EC2 服务器实例上使用 Kubernetes 都是一个不错的选择• 您可以完全自由地选择您喜 欢 的 编 排 工 具 ，例 如 Kubernetes，或者，如果您需要简单的容器管理并希望自己管理它，可以选择 Docker Swarm• 用户可以完全控制服务器集 群 ，并 为 您 的 容 器 环 境提 供更 广泛的定制选项，这可能是支持某些特定应用程序或法规遵从性和政府要求所必需的• 使用自我管理的 EC2 集群部署容器更适合应用程序的可移植性• 定价：您需要为 EC2 实例、EBS 卷以及用于部署和设置应用服务器的任何附加 AWS 服务付费，例如存储、网络、LBS、消息传递等• EC2 实例 – 集群、服务和任务级别的 CPU 和内存利 用 率 、内 存 预 留• 可用性和 AWS 区域指标• 磁盘、网络和端口监控指标• 可扩展性指标虽然大多数托管 Kubernetes 的供应商正在发布其容器解决方案的混合版本，但多云支持仍然微不足道。这促使许多用户继续采用 Kubernetes 作为他们自己管理的独立环境。如果您的应用程序需要对容器放置和流量路由决策进行更多控制，您可以选择 Amazon ECS 或基于 Amazon EC2 的容器环境。 7白皮书容器监控和可观察性容器服务优点推荐使用CloudWatch MetricsAmazon EKS• 与 Amazon 服务紧密集成• Amazon 管理您的 Kubernetes 集群控制平面• 与