个人介绍
马金龙拥有多年媒体算法开发经验，涉及音视频图像文本领域，曾负责音频前后端处理、弱网优化、音视频质量提升、智能内容安全审核“T网”、内容理解“T悟”等大型项目，并作为“灵声讯”创始人参与智能媒体技术自媒体运营和推广。
内容审核现状与挑战
- 现状：政府监管趋严、用户内容层出不穷、违规种类繁杂、AIGC内容不可控。
- 挑战：实时性（紧跟政府管控要求）、准确性（不漏杀不误杀）、多样性（不同算法解决违规种类）、未知性（AIGC内容不确定且存在知识“幻觉”）。
AI多媒体技术实践之路
- 自建OR第三方：选择自建AI多媒体技术。
- T网平台：通过人工智能算法打造一站式内容安全机器审核平台，帮助公司审核团队实现语音、文本、图像、小视频等风险管控能力。
- 技术模块：语音识别（ASR）、NLP文本审核、多模态识别、音频事件检测、小语种识别、歌曲识别、声纹识别、违规图像识别。
技术方案与效果
- ASR：使用深度学习模型Transformer/Conformer提取音频特征，CTC解码得到候选文本，实现语音转文字，为后续NLP审核提供支持。
- 技术架构：Efficient Conformer结合CNN和Transformer，通过量化剪枝和蒸馏技术压缩模型大小，支持CPU和GPU高吞吐量识别。
- 效果：未详细说明具体数据。
- NLP：采用Prompt算法、多模态识别算法、关键词挖掘算法、Bert算法、AIGC语料生成算法、Fasttext算法。
- 挑战：变体关键词多样化、文字与表情包结合的复杂表达、特定场景语料不足、特定关键词隐晦表达、正常词与关键词语义差异。
- 效果：未成年人识别精确率99%+。
- 多模态：结合语气和语义信息提高处罚有效率。
- 算法：Transformer跨模态多头注意力机制、随机森林。
- 效果：处罚有效率为99%+，每日占总机审违规样本约17%。
- 声音事件检测：检测审核类（娇喘、炸房、怒骂）、普通标签（BRaSS）、背景音乐、说唱、说话、唱歌等声音事件。
- 价值：完善声音类违规审核能力，音频类型分流降低模型成本，语音直播趋势分析。
- 语种识别：利用预训练Hubert模型特征解析功能，结合线上数据和开源数据集进行模型fine-tune。
- 歌曲识别：将原始歌曲指纹信息存储于指纹库，进行相似度比对。
- 声纹识别：利用VAD进行语音活性检测，ResNet34作为主干网络进行微调训练，余弦相似度计算声纹相似性。
- 涉黄图像识别：基于ResNet50预训练模型结构，结合多任务图像识别算法进行微调训练。
智能内容审核平台案例
- 流程图：未详细描述。
- 微服务架构：自研任务编排系统统一算力管理和容灾，拆分算法服务实现细粒度算力伸缩和统一调度，支持多可用区部署。
- 处理能力：最大并发语音流可线性扩展。
- 可靠性：支持多可用区部署。
- 多任务调度方案：实现可动态配置的媒体算法加工流水线，满足不同审核需求。
- 管理后台与BI报表：提供管理后台和BI报表功能。
AIGC内容风控实践
- 文生文拦截：利用关键词+语义理解审核技术，对输入和输出进行审核。
- 文生图审核：利用AI图像涉政&涉黄审核技术，降低风控风险。
- 效果：对涉政内容进行拦截，对涉黄类裸露、行为、性感等进行拦截，但生成图存在不可控、不合理问题。
未来展望
- 利用LLM能力强化语义理解，提升审核准确率和数据收集速度。
- 用户对抗下的精细化算法模型，强化多模态复杂任务决策。
- 审核平台的langchain+LLM工作流介入，打通舆情监控到内审决策全链路。
- AIGC内容用传统算法+AIGC方法做审核。
企业介绍
趣丸科技成立于2014年，集兴趣社交及电子竞技等业务于一体，旗下有TT语音、麦可及TTChat等产品。核心产品TT语音是国内领先的兴趣社交平台，累计注册用户超2亿，成为LPL、KPL、PEL等五大头部电竞职业赛事官方合作伙伴。趣丸科技聚焦兴趣社交领域，积极研发全球数字技术基础前沿领域和关键核心技术。
