云原生可观测性技术研究与应用

@2023云安全联盟大中华区－保留所有权利。你可以在你的电脑上下载.储存.展示.查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：（a）本文只可作个人.信息获取.非商业用途；（b）本文内容不得篡改；（c）本文不得转发；（d）该商标.版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 致谢 《云原生可观测性技术研究与应用》由CSA大中华区云原生安全工作组内企业云原生可观测性白皮书项目组专家撰写，感谢以下专家的贡献： 项目组组长：王亮 主要贡献者： 高巍陈磊浦明郑伟申屠鹏会 杨文宏刘刚李卓嘉谢奕智 研究协调员： 罗智杰闭俊林 贡献单位： 天翼云科技有限公司 (以上排名不分先后) 关于研究工作组的更多介绍，请在CSA大中华区官网（https://c-csa.cn/research/）上查看。 在此感谢以上专家及单位。如此文有不妥当之处，敬请读者联系CSAGCR秘书处给与雅正!联系邮箱research@c-csa.cn；国际云安全联盟CSA公众号 序言 2018年，可观测性（Observability）被引入IT领域，CNCF-Landscape率先出现了Observability的分组。自此以后，“可观测性”逐渐取代“监控”，成为云原生技术领域最热门的话题之一。Gartner发布的《2023年十大战略技术趋势》中，提到了可观测性的发展趋势解读。文中谈到：“可观测性应用使企业机构能够利用他们的数据特征来获得竞争优势。它能够在正确的时间提高正确数据的战略重要性，以便根据明确的数据分析结果采取快速行动。可观测性是一种强大的工具。如果能够在战略中予以规划并成功执行。可观测性应用将成为数据驱动型决策能力建设的最强支撑。” 本白皮书介绍了可观测性在云原生场景的架构设计，阐述在云原生场景使用eBPF技术完成可观测性数据采集的技术实现及优势。云原生可观测性的应用场景涵盖了事件根因分析、安全溯源分析等主要内容，旨在阐述云原生可观测性的生产实践。云原生场景业务弹性变化节奏加快、工作负载生命周期缩短、工作负载直接的访问关系更加复杂。在轻量、多变、短生命周期的云原生环境获得足够多的数据，得以对事件根因进行分析，对入侵行为进行溯源，对未知威胁进行预测，是将可观测性能力运用至云原生安全领域后带来的安全能力提升。这也是可观测性对云原生场景安全的价值体现。 希望通过本白皮书为读者深入浅出的介绍云原生可观测性及云原生可观测性对安全能力的赋能。使得广大云原生基础设施运维者、云原生业务使用者能够借鉴本文的评估自身系统云原生可观测性的成熟度及发展战略。 李雨航YaleLi CSA大中华区主席兼研究院院长 目录 ©2023云安全联盟大中华区版权所有6致谢...............................................................................................................................4序言...............................................................................................................................51.可观测性概述............................................................................................................81.1云原生可观测性发展.............................................................................................81.2可观测性定义.........................................................................................................92.云原生可观测性成熟度..........................................................................................102.1监控.......................................................................................................................112.2基础可观测性.......................................................................................................112.3因果可观测性.......................................................................................................142.4主动可观测性.......................................................................................................183.云原生观测体系能力构建......................................................................................213.1云原生可观测性信号...........................................................................................213.2云原生可观测能力构建......................................................................................283.3核心能力-基于eBPF构建云原生数据采集技术................................................334.云原生可观测性应用场景......................................................................................404.1故障分析...............................................................................................................404.2事件预测...............................................................................................................404.3日志审计...............................................................................................................414.3监控......................................................................................................................474.4微服务追踪..........................................................................................................50 4.5安全检测分析.......................................................................................................535.优秀云原生可观测项目介绍..................................................................................565.1Prometheus项目..................................................................................................565.2OpenTelemetry项目.............................................................................................595.3SkyWalking项目....................................................................................................63附件.引用文献............................................................................................................67 1.可观测性概述 1.1云原生可观测性发展 CNCF云原生定义对云生技术描述为：在现代动态环境（如公有云、私有云和混合云）中构建和运行可扩展的应用程序的能力。容器、服务网格、微服务、不可变基础设施和声明性API均是基于云原生技术的特征。采用云原生技术使松散耦合的系统具有弹性、可管理和可观察性。结合强大的自动化功能，能够以最少的工作量频繁且可预测地进行高影响力的更改。 Pivotal公司MattStine在2013年首次提出云原生概念。2017年MattStine将原生特征归纳为六大点，分别是： 模块化Modularity 可观测性Observability 可部署性Deployability 可测试性Testability 可处理性Disposability 可替换性Replaceability 作为六大特征之一的可观测性是保证云原生应用稳定性的基础。在云原生时代，应用规模不断扩大，复杂度愈来愈高，而其中潜藏的问题和风险也随之增多。这对支撑平台及业务自身的稳定性提出更高要求。能够支撑业务的快速迭代、故障快速响应能力、适应复杂的微服务拓扑、保证高效运维。 在数字化大趋势下，云计算成为企业数字化转型的关键。以云上开发为核心的云原生技术得到了广泛的使用。云原生在企业上云和基础实施架构上的大量应用，也对企业的运维监控安全提出了新的挑战。分布式、解耦合的新型系统架构，服务调用链长、系统行为复杂、软件系统稳定性保障困难，解决以上问题需要采用新的方式对系统进行观测。 1.2可观测性定义 在控制理论中，“可观测性是从系统外部输出的数据衡量系统内部状态的程度”。可观测性是人类对机器可以观察、理解和处理所述系统状态的功能。可观测性是在没有考虑目标的情况下决定系统在实现时应该具有哪些输出。 在IT领域，可观测性是在日志与监控指标组成的传统监控基础上，依据由日志、指标、链路追踪三种核心数据来洞悉系统运行状态。通过统一的链路追踪洞察系统服务调用链，并与日志、指标数据联动分析，可实现对云原