知识图谱概述
知识图谱(Knowledge Graph)由Google于2012年提出,旨在描述真实世界中存在的实体或概念及其关联关系。每个实体或概念使用全局唯一ID标识,属性-值对刻画实体特性,关系连接实体。
通用知识图谱与行业知识图谱
- 通用知识图谱:面向通用领域,以常识性知识为主,强调知识广度,使用者为普通用户。
- 行业知识图谱:面向特定领域,基于行业数据构建,强调知识深度,潜在使用者为行业人员。
行业知识图谱助力人工智能应用
行业知识图谱通过赋予机器领域知识,实现自然人机交互和简单工作自动化,是人工智能发展的必经路径。
知识图谱产业概览
- 知识图谱数据与服务:构建大规模通用和领域知识图谱,为机器认知提供背景知识。
- 底层支撑系统与产品:提供高效稳定的查询系统和领域知识图谱构建工具。
- 知识图谱咨询与方案:为华为、电信、移动等企业提供知识图谱解决方案。
领域知识图谱构建
领域知识图谱定义
领域知识图谱(DKG)是大规模语义网络,包含实体/概念及其语义关系。传统知识工程规模有限,而DKG通过结合大数据形成“大知识”,引领知识工程复兴。
DKG与GKG的关系
- 区别:DKG与GKG在知识表示、获取与应用等方面存在显著差异,行业应用需求难以闭合,GKG对DKG有支撑作用。
- 符号化表示:符号表示和分布式表示是重要的知识表示方式。
领域知识图谱需求
大数据时代需要知识引擎释放大数据价值,人工智能时代需要机器智脑实现自然人机交互,领域知识积累是智能化的必经路径。
领域知识图谱系统生命周期
- 起点:知识建模
- 过程:知识获取、知识融合、知识存储、知识计算、知识应用
- 终点:系统评估与优化
知识建模
- 常用方法:自顶向下(专家编辑)和自底向上(基于现有数据)
- 需要考虑:行业全数据分析、复杂知识表达、多人协同编辑、现有知识集成、大数据量与自动算法结合
知识获取
- 来源:结构化数据、半结构数据、文本数据
- 方法:多策略学习,利用不同数据源冗余信息辅助抽取
知识融合
- 考虑因素:数据模式层融合、数据层融合(实体合并、属性融合、冲突检测)
- 关键任务:数据层融合,因行业知识图谱数据模式通常经过人工校验
知识存储
- 基本存储:三元组知识、事件信息、时态信息、组织数据
- 上层应用:知识推理、知识快速查询、图实时计算
- 存储方式:RDF存储 & 图数据库
知识计算
- 基于规则的推理:使用规则引擎编写业务规则辅助决策
- 基于本体的推理:利用本体进行推理
知识应用
- 智能问答:理解自然语言问题,从知识图谱中获取答案
- 可视化决策支持:提供图形接口,结合可视化、推理、检索等功能
- 语义搜索:解决关键字语义多样性和消歧问题,实现知识与文档混合检索
DKG评价、存储、查询与应用
- 评价:综合考虑构建成本、知识质量、应用效果等
- 存储:RDF存储 & 图数据库
- 查询:SPARQL,表达能力强但复杂
- 应用:智能问答、可视化决策支持、语义搜索等
DKG落地最佳实践
- 应用引领:以应用需求驱动图谱构建
- 避难就简:从简单场景入手
- 结构化->半结构化->非结构化:逐步扩展数据类型
- 避免从零开始:利用通用图谱作为种子
- 跨领域迁移:从邻近领域迁移共性知识
DKG挑战
- 知识获取:领域样本缺失,手工构建代价高昂
- 知识应用:应用场景有限,需拓展
- 知识表示:对时空语义、跨媒体语义支撑不足
知识图谱在医疗行业应用
国外案例:IBM Watson
- 功能:分析医学文献,整理病患记录,提供个性化诊疗方案
- 技术:实体抽取、知识图谱构建、专家知识扩展、知识置信度评估
医疗知识图谱应用
- 搜索范式迁移:实现知识驱动的搜索
- 轻问诊:基于知识图谱的智能问答服务
- 知识服务平台:系统梳理和展示中医药知识
- 药物发现:如OpenPHACTS项目
- 辅助诊断:基于认知计算的诊疗解决方案
- 医疗行情分析:原材料供应链可视化分析
知识图谱在其他领域应用
- 基于代码知识图谱的搜索与推荐管理:提升代码搜索效率
- 运营商业务分析智能化解决方案:实现更丰富的搜索和个性化推荐
- 商业情报分析智能化解决方案:帮助企业发现商机
- 司法智能辅助审判:提高审判效率
- 一带一路地缘环境知识图谱:支持专家决策
- 基于政务大数据的市民服务云应用:整合多部门信息资源,提供便捷服务
- 基于知识图谱的网站多媒体推荐:推送合适内容给目标用户
- 电信知识图谱与标签系统:提升业务管理效率
复旦知识工场平台
- 服务:CN-Dbpedia、ProbasePlus等知识图谱数据服务
- 技术:实体理解、知识图谱查询、深度问答、情感分析、智能交互等