智能运维整体能力
京东科技AI Ops整体能力通过AI赋能运维监控,实现智能化故障发现与根因定位,提升运维效率和问题修复效率。核心功能包括:
业务可观测性
- 故障发现:经验平台化减少对老专家经验依赖,上下穿透一站式排查,无阈值监控减少误报和漏报,应急处理预案化提升效率。
- 故障定位:多种固定位算法策略灵活组合,基于APM调用链扫描挖掘故障节点关联性;通过NLP日志模板提取技术,基于知识图谱快速定位故障根因并输出根因报告。
系统稳定性
- 磁盘/表空间趋势预测:依托京东大数据,利用机器学习、深度学习算法预测数据库磁盘空间、表空间及内存未来使用趋势,大促容量预测快速调度,降本增效,实现精细化运营。
- 硬件故障预测:在标签数据不足的PU Learning半监督学习模式下,引入主动迁移学习完成故障预测模型训练;通过时空数据关联增强feature,输入给时间注意力模型,提升硬盘故障预测准确性。
技术底座
- 人工智能:数据挖掘/机器学习/强化学习算法,内部复杂场景训练调优,积累大量负样本标记,专业人员及京东AI团队支持。
- 大数据:京东大数据同款能力,专业、可扩展性强,日志处理实时、海量存储,也可复用客户资源。
- 知识图谱:完整度高覆盖新老设备和应用,一张图支撑所有业务,大量内部经验和规则沉淀,专业图计算能力加持。
智能运维Themis平台核心功能
- 指标异常检测:通过统计学习、时序聚类和时序网络算法,融合运维专家知识,生成多套运维专家算法组件,覆盖核心业务交易、基础资源组件监控场景的故障预警。
- 智能文本分析:基于Bert预训练等NLP技术,对日志全貌聚类分析,内置K8S、缓存、数据库等多场景专家语料库,从日志角度发现问题,保证线上系统稳定性。
- 故障定位:内置日常业务依赖的应用、主机、容器、宿主机、缓存、数据库、ES、KAFKA、K8S及网络等40+智能故障定位场景,通过AI训练生成精通运维全场景技术的智能诊断专家,快速定位故障。
总结
京东科技AI Ops通过AI赋能运维监控,实现智能化故障发现与根因定位,提升运维效率和问题修复效率。平台核心功能包括指标异常检测、智能文本分析和故障定位,依托大数据、人工智能和知识图谱技术底座,覆盖业务可观测性和系统稳定性提升,通过Themis平台实现海量日志处理和AI算法实时聚类分析,集中管理监控指标并智能化检测分析,最终提升运维效率和系统稳定性。