竞技世界-李慧-跨越感知界限的多模态数据分析与应用

讲师简介 主要研究领域涵盖：用户增长因果推断数据预测自然语言处理知识图谱精细化运营分析计算传播分析直播与短视频分析 浅谈多模态数据一、 多模态数据的分析与应用二、 能力复用与思考三、 Part1浅谈多模态数据 多模态数据——跨越感知界限的探索 •多模态数据的演变过程 2.跨模态合成阶段 将不同模态的数据进行组合和合成将文字与图片结合创建漫画或插图将音频与图像结合创建视频等 4.多模态数据时代 3.多模态融合阶段 不同模态的数据可以无缝地集成和处理更深入的理解和利用数据 多模态数据——跨越感知界限的探索 •多模态数据的定义 指包含多种感知模式（文本、图像、音频、视频等）的数据集合 在多模态数据中，不同感知模式之间存在交互和关联，提供了丰富的信息来源 多模态数据——跨越感知界限的探索 •多模态数据的研究意义 拓宽数据研究的边界 多模态数据的研究可以帮助克服单一模态数据的局限性，突破传统的边界，引入更复杂、多样的数据特征和信息 提供更全面且准确的信息 通过同时利用文本、图像、声音等多种模态，可以获取更丰富的上下文信息，从而改善对数据的理解和处理，挖掘出更精准、有价值的信息 改善任务效果与性能 整合和融合不同感知模式的信息，可以提供更多的数据维度来支持机器学习、计算机视觉、自然语言处理等任务，并提高其性能 Part2多模态数据的分析与应用 业务简介 分析及应用1——关键词提取 提炼核心信息，直观展示文本数据的特征和重点 应用案例：评论及弹幕区关键词的词云展示 基于词性标注信息和规则来构建短语 举例：这个苹果很好吃分词结果：["这个", "苹果", "很", "好吃"]词性标注结果：["代词", "名词", "副词", "形容词"]短语组合：将"苹果"和"很好吃"组合成短语"苹果很好吃" 分析及应用2——主题检测 帮助理解文本数据集中隐藏的结构和内容，发现和识别不同主题的存在 应用案例：抖音直播间内活跃用户的话题检测 分析及应用3——情感倾向分析 识别和理解信息中传递的情感倾向 算法模型 应用案例：用户评论的语义情感评分 词典匹配算法机器学习算法：朴素贝叶斯、SVM、决策树等深度学习算法：循环神经网络（RNN）、卷积神经网络（CNN）大模型 文本数据预处理 利用同义词、反义词、程度副词权重等方式进行文本增强 特征提取 基于TF-IDF、词频、n-gram的文本特征提取方法，调整建模的输入 集成学习思想 将多个算法的输出进行综合，提高分类准确率 分析及应用4——巡场AI 精准识别辱骂或带节奏等具有明显情绪导向的用户群体，净化网络环境 应用案例：游戏内对局辱骂识别巡场AI 分析及应用5——信息摘要生成 消除信息过载，降低文本的复杂性，快速了解信息中的核心内容 应用案例：热门短视频下用户评论内容的信息提取 分析及应用6——目标检测识别 在图像或视频中准确检测和识别目标物体，并获得这一目标的类别信息和位置 应用案例：拆解直播间内牌局视频 Part3能力复用与思考 能力复用与思考1 挑精彩视频 解说语音识别 •高兴、愤怒、悲伤、惊奇等•情绪波动•… •评论频率•语义分析•情绪识别•… •多炸牌局•剧情反转•农民配合•… •主持解说情绪波动•解说文本判断•… •专业视角评判打分•1-5分制 微 信 官 方 公 众 号 ： 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例