1. AliMeMKG的业务背景
电商直播存在开播成本高、品牌易受主播负面事件影响等痛点。为解决这些问题，AliMeMKG应运而生，旨在构建以内容为中心的多模态商品知识图谱，提供商品认知画像，帮助消费者在直播间内进行消费决策。
2. AliMeMKG的建设
目标： 构建以内容为中心的多模态商品知识图谱，提供商品认知画像，帮助消费者在直播间内进行消费决策。
特色：
- 面向直播的KG特色：直播消费属于种草类型，不是主动搜索类型，需要有逻辑的知识链进行用户需求引导(场景->痛点->诉求->商品)，不仅仅包含标签(三元组)，更重要包含内容(句子、图片、视频)。
图谱建设演进过程：
- 三元组类型知识挖掘：通过短语挖掘、实体识别和关系抽取等技术，构建领域知识图谱。
- 句子类型知识挖掘：从商品详情页挖掘要素句子，构建句子粒度的知识图谱。
- 多模态类型知识挖掘：通过图像-文本匹配和视频场景识别等技术，构建包含图片和视频知识的多模态知识图谱。
关键技术：
- 三元组类型知识挖掘：短语挖掘、实体识别、关系抽取。
- 句子类型知识挖掘：文本生成、文本分类。
- 多模态类型知识挖掘：图像-文本匹配、视频场景识别。
KG Statistics：
- 垂直领域：服装、美妆、零食。
- 场景：400+。
- 用户问题：1K+。
- POI：500K+。
- 三元组：2K+“Scenario - cause - Problem”、12K+“Problem - need - POI”、500K+“Property_value - satisfy - POI”。
- 商品：300K+。
- 图片：28M+。
3. KG 应用：直播助手
基于AliMeMKG构建的直播助手，可以实现以下功能：
- 商品展示：根据用户查询，展示商品卡片。
- 商品问答：回答用户关于商品的疑问。
- 商品推荐：根据用户画像，推荐商品图片/视频内容。
应用场景：
- 数字人主播：利用AliMeMKG生成智能剧本，并进行商品播报。
- 智能小助理：根据用户需求，推荐合适的商品。
4. 多模态知识挖掘技术探索
潜在业务需求： 直播画面多模态知识挖掘。
多模态NER：
- 问题：现有工作难以抽取任务相关的图像信息。
- 贡献：设计基于prompt的图像信息提取器，使用基于知识库的离散型prompt标签和连续型prompt标签。
- 实验：在公开数据集上取得了较好的效果。
多模态Entity Linking：
- 问题：现有数据集话题、实体类型和歧义现象有限。
- 贡献：开源了多样化数据集，提出两阶段的多模实体链接方案，包括多模态候选实体检索和基于多模对比学习的实体消歧。
- 实验：在公开数据集上取得了较好的效果。
5. Takeaways
- 直播场景：通过丰富的商品内容激发用户对商品的兴趣。
- 多模态图谱：知识范围从三元组和句子知识，扩展到图片和视频知识；挖掘技术从文本结构化理解，延伸到多模态内容理解；落地场景从搜索和问答落地，拓展到智能创作、多模内容生产。
- 多模态知识挖掘技术探索：多模态NER：基于prompt抽取任务相关的图像信息；多模态Entity Linking：开源了多样化数据集。
