信息流场景下的AIGC实践

信息流场景下的AIGC实践总结

01 个性化的标题生成

标题生成概述

• 标题生成目标：为给定文章生成流畅、相关且无事实错误的标题。
• 方法：直接在标题生成数据集上学习Seq2Seq模型，或学习特定风格的标题生成模型。
• 个性化标题生成场景：
  • 推荐场景：根据用户兴趣生成个性化标题。
  • 搜索场景：基于用户搜索query生成相关标题。
  • 创作者平台：模仿创作者历史风格生成标题。

问题难点

• 场景表示：如何表示用户兴趣、搜索query、作者风格等显式或隐式信息。
• 交互设计：如何将场景表示与文章或标题交互生成个性化标题。

基于关键词的标题生成

• 场景表示：使用关键词表示场景（如Tag、兴趣点、用户画像、query关键词提取）。
• 交互设计：
  • Stack Fusing：新增子层与Filtered-Article交互。
  • Addition Fusing：Article与Filtered-Article做point-wise addition交互。
  • Parallel Fusing：分别与Article和Filtered-Article交互后做pointer-wise addition。

基于历史点击序列的个性化标题生成

• 场景表示：使用历史点击序列表示用户点击风格。
• 方法：
  • Pointer-generator network：
    • Attention Distribution：使用user embedding参与计算。
    • Vocab Distribution：使用user embedding参与计算。
    • Generation Probability：使用user embedding参与计算。
  • User embedding作为Decoder hidden state的初始化。

基于作者风格的标题生成

• 场景表示：使用创作者的历史标题表示风格。
• 方法：
  • 对比学习：
    • 目的：让标题更有区分度。
    • 正例：同一作者的不同标题。
    • 负例：不同作者的标题。
    • Loss：对比学习encoder复用Seq2Seq的encoder。
  • 交互设计：
    • Style vector与Article vector concat用于Decoder。
    • Attention Distribution：使用style vector参与计算。
    • Generation Probability：使用style vector参与计算。
• 数据集：
  • 给定文档和若干历史标题生成新标题。
  • 过滤发文特多或特少的创作者。
• 评估指标：
  • 自动评估：Rouge和BLEU。
  • 风格评估：学习分类器判断标题是否来自同一作者。
  • 人工评估：从流畅性、相关性、吸引性角度评估。

实验效果

• 自动评估指标显示模型效果显著。
• 风格评估分类器准确率高。
• 人工评估显示生成的标题在流畅性、相关性、吸引力方面表现良好。

02 自动封面图合成

背景

• 封面图对用户点击有重要帮助，但创作费时且需要经验。
• 问题：
  • 过于简单：内容过少，用户可能错过感兴趣的内容。
  • 过于复杂：影响用户体验，界面杂乱。
• 目标：
  • 封面图干净简洁。
  • 提取标题和Tag关键词加入封面图。
  • 文字内容不遮挡重要目标。

Faster R-CNN封面图清洗

• 识别文本框（OCR）。
• 使用ResNet50提取特征，识别文案、台标、字幕等。
• 使用inpainting抹除不需要的内容。

Seq2Seq关键信息提取

• 使用带Pointer的预训练T5模型。
• 输入：视频标题、分类、关键词。
• 输出：人工改写的信息。
• 预测结果可能包含多个片段。

封面图合成模型

• 端到端的Seq2Seq模型。
• 输入：
  • 所有object的坐标。
  • 文本框的个数。
  • 文本框的大小。
• 输出：
  • 文本框的坐标。