智能媒体新引擎：腾讯云媒体加速内容生产

腾讯云媒体处理解决方案 媒体处理基于腾讯多年音视频领域的深耕，为您提供极致的编码能力，大幅节约存储及带宽成本、实现全平台播放，同时提供视频截图、音视频增强、内容理解、内容审核、云端原生录制、互动应用直播、云端特效渲染等能力，支持公有云及专有云方式灵活部署，可满足客户多种场景媒体处理需求，助力企业降本增效。 极速高清转码 极速高清以智能编码技术实现低码率高画质，转码性能与编码格式行业领先，帮助客户节省50%的流量和存储成本。 通过智能场景识别、动态编码技术，CTU/行/帧三级码率精准控制模型，把编码bits运用在视频感知重要的地方，以更低的码率获得更高的主观画质。 转码性能质量领先者 连续多年获得MSU世界云端转码大赛，全方位超越友商（阿里云、AWS、金山云等） 前沿编码格式引导者 VVC/H.266：逾100项提案获标准采纳，在国际视频标准研究制定领域，处于第一阵营 头部音视频客户全面覆盖，支撑全网40%+媒体处理服务 音视频增强 基于MPS业界领先的音视频AI处理模型和丰富的业务数据积累，音视频增强功能可以大幅提升音频和视频质量，广泛应用在OTT、电商、赛事等场景，带来QoE、QoS提升等业务收益。 音视频增强效果示例 大模型增强效果示例 媒体智能处理平台 智能字幕（擦除、翻译、配音）、视频拆条、精彩集锦、横转竖、智能摘要等其他媒体AI处理能力，依托大模型实现多场景视频智能处理，提升内容生产效率与质量。 媒体智能 视频拆条 基于分镜、大模型理解将长视频拆成短视频 基于大模型理解提取视频精彩片段生成集锦 •字幕擦除：擦除视频里面的文本字幕 电视剧/电影高光画面（动作戏、BGM时间段、主角出场等） •字幕翻译：提取原视频中的文本，翻译成多种语言 新闻拆条 •字幕配音：支持音色克隆与AI对翻译好的字幕进行配音 （按分镜、关键字拆分） 足球/篮球进球集锦 大模型内容拆条（教育类、讲解类等视频） 游戏集锦 （一血、五杀、丝血逃生） 大模型摘要 视频横转竖 适用于教学课程、新闻、演讲等视频场景，基于ASR识别结果进行大模型摘要提取。 自动识别人眼感兴趣区域并将16:9的横屏视频智能裁剪成9:16的竖版视频 音视频全流程的质检能力 媒体质检产品通过智能算法，感构建覆盖生产、传输、处理、分发全流程的质量监控体系，有效提升终端用户的观看体验，最终提升产品和业务的效益。 在媒体数据的生命周期中，可能因为处理不当、程序错误、网络异常等问题，造成播放失败、花屏、模糊、卡顿等异常，影响用户体验，造成用户流失与品牌价值折损。 ➢准入质检：发现生产环节异常，准确定位异常原因，保证视频能正常播放。 ➢视频分析：精准定位视频问题，为转码和增强提供针对性方案，按需转码和增强，更好的画质更低的成本，业务降本增效。 ➢画质评分：基于人眼视觉模型，保证用户观看体验。 质检技术方案 技术优势：完整的视频检测技术栈，支持从客观到主观的视频检测分析。 ➢主观评价指标：根据人眼敏感程度，准确地反映人对视频质量的主观感受。➢融合内容感知：融合图像内容感知技术，能识别内容和构图进行评分。 无参考质量&归因 ➢主观画质检测：支持清晰度、色彩、亮度、对比度等种类型的检测。 ➢视频格式检测：支持分析流信息异常、时间信息异常、流状态异常、容器封装异常和解码异常等。 格式质检 腾讯云点播解决方案 云点播整合媒资上传、管理、处理、分发播放全链路能力，叠加智能媒资与AIGC技术赋能，构建智能化媒资管理体系，推动媒资从“被动存储”向AI时代的“主动赋能”转型。 一体化 智能化 智能媒资：内容上传后大模型理解提取媒资信息存储到知识库，基于Agent问答与多模态检索快速查找相关内容，为后续AIGC和媒体处理提供信息支撑。 一体化能力：传统云点播面向音视频客户提供媒资上传、媒资管理、媒体处理、媒体分发播放一体化服务，客户无需对接多个产品即可快速搭建视频点播服务，并能实现端到端的质量调优。 拥抱AI全面升级+ AIGC：支持头部多家AI生图生视频模型，基于智能媒资提供AIGC垂直化场景方案，并提供极速高清、画质增强、智能字幕、CV处理等媒体处理的工具能力。 点播智能化能力 聚焦智能媒资与AIGC双引擎：智能媒资以媒资理解与知识库，实现媒资价值深度挖掘与高效检索；AIGC整合多场景内容生成及媒体AI工具箱，集成头部模型并优化垂直场景，为音视频业务提供从智能管理到创意生产的智能化支持。 智能媒资 通过媒体质检（视频质量检测修复）、内容识别（OCR/ASR/结构化提取信息）、大模型内容分析（多模态理解、摘要与分类标签），实现对媒资的全面检测、信息提取与大模型内容解析。 大模型内容分析 内容识别 媒体质检 基于从文本、画面、音频多维度识别到的内容，大模型统一进行理解，概括内容的摘要，及为视频打上分类标签。 通过OCR识别、ASR识别、结构化识别等技术，快速识别出视频分镜头的标签及文本信息，存入知识库为后续多模态检索和智能问答提供依据。 提供完整的视频检测技术栈，支持从客观到主观的视频检测分析。沉淀媒体质检标签，智能调用画质增强进行内容修复。 OCR识别文本、人脸场景、物品...... ASR识别语音转文本 结构化识别分镜、转场、片段 格式质检 知识库 提供知识存储、多模态检索、Agent问答三大能力，在电商商品检索、教育知识匹配、企业媒资管理等场景中，实现多模态知识的高效管理与智能应用，为用户提供精准、便捷的知识检索与交互体验。 多模态检索 知识存储 Agent问答 对大模型理解媒资后生成的文档描述进行知识结构化存储，将分段信息、fileID、分段字幕经过向量化存入向量数据库vdb。 用户与agent提问，对话内容向量化后从vdb中检索出视频分段信息、fileID、分段字幕信息。最终返回给客户相关的视频地址。 提供文搜图、文搜视频、图搜图、图搜视频，跨模态检索能力，打破单一模态检索局限，快速检索媒资内容。 通用场景AIGC 支持混元、谷歌、MJ、即梦、可灵等头部大模型厂商，为客户提供文生图、图生图、多图参考生图、文生视频、图生视频等生成式AI能力。生成好的图片内容，也可以基于PAG模板生成高质量的动效视频。 图片生成 视频生成 prompt：将图二的服装穿在图1的模特身上 垂直场景AIGC 点播垂直场景AIGC，提供场景模板能力框定模型与提示词快速套用，支持按场景细化提示词，结合大模型微调，提升生成效果。 场景化模板 prompt提示词优化 大模型微调 为电商、动漫短剧、娱乐场景提供优质生成模板，用户可参考模型与对应的提示词，快速套用产出适配效果。 通过“参考维度精准锚定+生成参数动态适配+多轮迭代验证”的闭环，可让大模型在图像生成任务中快速学习场景化特征，实现针对性微调。 针对用户prompt进行场景化扩展，使提示词更加丰富并能结合不同场景的特点，提升创作的效果 用户prompt：图一人物穿着图二服装在海边行走 媒体处理&云点播场景化方案 短剧出海场景 在短剧出海过程中，通过媒体处理的多项增值能力，为制作团队提供智能的字幕擦除、文字提取、字幕翻译、音视频增强等能力，批量快速的处理短剧翻译工作。 画面提取 自动插入字幕轨道 画面压制/字幕外挂 自动生成字幕文件 可自动生成字幕并插入字幕轨道，可防止字幕视频分开存储导致字幕文件丢失，用户可按需开启 无需代码开发，控制台配置好语种模板和编排，基于文件上传触发，自动生成视频字幕文件 基于自动生成的字幕文件，可自动转码压制到视频画面，样式、字体、字号、字体颜色、背景色均可自定义压制 基于视频画面原有字幕自动提取并生成字幕文件，高清重制进行老片保护 短剧内容本地化-智能字幕+视频译制 字幕擦除 字幕提取 视频译制 字幕翻译 基于画面字幕OCR提取生成字幕文件，自动识别字幕区域，几乎无漏识别、重复识别，极少误识别 多行字幕自动识别、更高时间轴精度自动剔除干扰文字、极少漏识别和重复 普通机翻： 大模型翻译： 无上下文参考直接翻译，生硬无法修正识别错误无法根据题材修改翻译用词 参考上下文有译法根据语境调整译法适当修正识别错误根据题材选择用词 短剧增效-综 合 增 强+极 速 高 清 极速高清H264+去毛刺文件大小：7.88MB 短剧头部客户案例 客户诉求：客户自建短剧视频播放APP，目前已在海外20+国家/地区上线，月均用户量千万+，客户对视频播放清晰度、稳定性、流畅体验要求非常高，同时客户自制的短剧在分发过程中需加密保障不被盗用、盗播。产品方案：QUIC上传、极速高清、智能降冷、媒体处理、媒体分发、DRM加密 客户诉求 AIGC视频/图片场景 AIGC视频/图片场景-娱乐社交 点播支持AIGC生成个性化礼物，一键生成主播多风格写真，主播举牌祝福视频等创新玩法。 AI个性化礼物 AI主播写真 AI主播举牌视频 支持文生图、图生图等生图方式，支持内置Prompt优化，满足不同国家地区礼物本土化偏好（以下为中东地区礼物示例） 支持文生图、图生图、多图参考生图，一键生成4k超高清、多种风格写真，支持输入主播签名，生成高仿真主播签名写真 支持主播声音克隆，生成音画同出主播灯牌视频 主播面部五官、轮廓、发型等特征保持高度一致性 输入 输出 AIGC视频/图片 漫剧平台合作：视频超分增强降本增效 大模型公司合作：以MPS服务媒体后处理全流程 腾讯自研超分增强模型助力客户降本增效 AI+直播全链路赋能 直播+AI全链路升级聚焦于直播素材智能生成和直播创作与AIGC相结合：直播过程中自动生成直播精彩切片、直播内容拆条、大模型摘要、高光截图等直播素材；配合直播AIGC的场景化创作能力，让直播流的每一帧画面都成为你的创作灵感，让直播中的每一段精彩都成为你的流量源泉。 AI赋能云导播台 江苏省足球联赛 ➢AI色度抠像：上传纯色背景的视频，AI抠像后实现远程主播的直播。➢AI点播编辑：上传点播视频，AI处理后转推你三方平台无压力。➢AI实时字幕：根据直播流内容，实时生成直播字幕。➢AI精彩集锦：根据直播流内容，导播后生成直播精彩集锦。➢AI内容拆条：根据直播流内容，导播后生成直播拆条视频片段。 •一屏观双赛：利用导播台的自定义布局实现；•画质增强：使用画质增强使进球和视频转播画面更加清晰；•多模态大模型识别精彩瞬间。 THANKS