云原生监控：日志与指标的新结合

日志服务CLS新功能发布 刘正新主讲人： 日志+指标全栈式监控方案01 新增“指标主题”功能，兼容Prometheus生态 在成熟的日志功能基础上，新推出指标功能。日志与指标的有机结合，带来全新的监控体验。 新增“指标主题”功能，兼容Prometheus生态 ⚫拥抱开源生态，兼容Prometheus指标采集、查询、导出等协议与接口，可与各类开源监控方案进行融合 ⚫按需使用，无需运维部署，畅享低成本云原生弹性服务 ⚫统一管理指标采集规则与日志采集规则，指标数据与日志数据支持关联分析，高效定位系统异常问题 基于日志提取关键业务指标 使用定时SQL分析提取指标 原始日志数据 提取后的指标数据 * | selecturl, host,approx_percentile("request_time", 0.95) asrequest_time_p95,avg("request_time") as request_time_avggroup byurl, hostlimit 1000000 ⚫日志数据量大，存储成本较高，将其中的关键业务指标提取出来后可实现低成本长期存储 ⚫指标数据查询性能更高、查询语句编写更加容易，适合使用仪表盘进行展示 日志核心功能提升02 日志索引全自动配置：无需手动维护索引，易用性Up！ 推荐配置 痛点 ⚫使用“推荐配置”一键完成索引配置⚫系统自动识别日志中的字段并创建索引，包括日志中后续新增的字段⚫无需手动配置，大幅度降低产品使用复杂度 ⚫索引配置概念复杂，难上手⚫日志结构多样，难以罗列所有可能的日志字段⚫日志结构变化，容易遗漏新增字段⚫索引配置不恰到时，需重建索引才能修复，成本高 日志数据关联分析：深度挖掘日志数据价值 示例： 某业务系统请求日志，包含如下字段： "status_code": "404""local_time": "2023-06-05 19:59:01""refer": "_","user_id": "15""ip": "66.131.53.125""url": "\"GET /class/111.html HTTP/1.1\"" ⚫可使用SQL关联分析多个数据源，支持JOIN、UNION、EXCEPT、INTERSECT等语法 通过关联分析获得每个请求对于的用户名称(Name)及性别(Gender) ⚫数据源可为同地域的日志主题，也可以为外部数据源（包括CSV文件、云数据库MySQL、自建MySQL） 产品易用性提升03 独立控制台DataSight：灵活满足企业内部账号管理/集成要求 DataSight 账号体系灵活安全 ⚫无需登陆腾讯云控制台即可访问日志服务，管控更安全。⚫支持“自定义账号密码登录”或“内网免登录”等多种访问方式⚫支持对接第三方身份认证系统（LDAP、OAuth等） 易集成、易运维 ⚫可内嵌DataSight页面到企业内部统一运维平台⚫开箱即用，无需单独部署 云产品日志中心：云产品日志接入、查询更便捷 云产品日志中心 ⚫一站式管理与使用云产品日志，包括日志接入、检索、统计分析以及数据可视化。 ⚫已经支持对象存储COS、容器服务TKE、负载均衡CLB、内容分发网络CDN及云函数SCF的日志接入，更多云产品也即将上线。 数据加工：以可视化方式配置数据加工逻辑 ⚫数据加工提供对日志数据的过滤、清洗、脱敏、富化、分发等能力 ⚫支持以拓扑图的方式通过点击配置数据加工逻辑，无需学习原有的数据加工函数及语法