1. AliMeMKG的业务背景
电商直播存在开播成本高、品牌易受主播负面事件影响等痛点。为解决这些问题,AliMeMKG应运而生,旨在构建以内容为中心的多模态商品知识图谱,提供商品认知画像,帮助消费者在直播间内进行消费决策。
2. AliMeMKG的建设
目标: 构建以内容为中心的多模态商品知识图谱,提供商品认知画像,帮助消费者在直播间内进行消费决策。
特色:
- 面向直播的KG特色:直播消费属于种草类型,不是主动搜索类型,需要有逻辑的知识链进行用户需求引导(场景->痛点->诉求->商品),不仅仅包含标签(三元组),更重要包含内容(句子、图片、视频)。
图谱建设演进过程:
- 三元组类型知识挖掘:通过短语挖掘、实体识别和关系抽取等技术,构建领域知识图谱。
- 句子类型知识挖掘:从商品详情页挖掘要素句子,构建句子粒度的知识图谱。
- 多模态类型知识挖掘:通过图像-文本匹配和视频场景识别等技术,构建包含图片和视频知识的多模态知识图谱。
关键技术:
- 三元组类型知识挖掘:短语挖掘、实体识别、关系抽取。
- 句子类型知识挖掘:文本生成、文本分类。
- 多模态类型知识挖掘:图像-文本匹配、视频场景识别。
KG Statistics:
- 垂直领域:服装、美妆、零食。
- 场景:400+。
- 用户问题:1K+。
- POI:500K+。
- 三元组:2K+“Scenario - cause - Problem”、12K+“Problem - need - POI”、500K+“Property_value - satisfy - POI”。
- 商品:300K+。
- 图片:28M+。
3. KG 应用:直播助手
基于AliMeMKG构建的直播助手,可以实现以下功能:
- 商品展示:根据用户查询,展示商品卡片。
- 商品问答:回答用户关于商品的疑问。
- 商品推荐:根据用户画像,推荐商品图片/视频内容。
应用场景:
- 数字人主播:利用AliMeMKG生成智能剧本,并进行商品播报。
- 智能小助理:根据用户需求,推荐合适的商品。
4. 多模态知识挖掘技术探索
潜在业务需求: 直播画面多模态知识挖掘。
多模态NER:
- 问题:现有工作难以抽取任务相关的图像信息。
- 贡献:设计基于prompt的图像信息提取器,使用基于知识库的离散型prompt标签和连续型prompt标签。
- 实验:在公开数据集上取得了较好的效果。
多模态Entity Linking:
- 问题:现有数据集话题、实体类型和歧义现象有限。
- 贡献:开源了多样化数据集,提出两阶段的多模实体链接方案,包括多模态候选实体检索和基于多模对比学习的实体消歧。
- 实验:在公开数据集上取得了较好的效果。
5. Takeaways
- 直播场景:通过丰富的商品内容激发用户对商品的兴趣。
- 多模态图谱:知识范围从三元组和句子知识,扩展到图片和视频知识;挖掘技术从文本结构化理解,延伸到多模态内容理解;落地场景从搜索和问答落地,拓展到智能创作、多模内容生产。
- 多模态知识挖掘技术探索:多模态NER:基于prompt抽取任务相关的图像信息;多模态Entity Linking:开源了多样化数据集。