LiveVideoStack：2024音视频技术发展报告

着眼现在、探究未来、创造新价值 2024音视频技术发展报告 序言 2017年LiveVideoStack成立后不久，就有不少同学想让我们推荐合适的候选人，这样的询问频率也随着行业的起伏而波动。与此对应的是，很多企业也希望快速了解多媒体行业生态的现状，以优化产品与市场策略，其实分析报告很符合LiveVideoStack自身中立媒体社区的特性。但种种原因导致分析报告被一拖再拖，直到2023年。 更多共识，促进协作，为未来的发展指引方向，至少提供一些客观真实的声音。于是，是时候决心推出多媒体生态的报告了。 希望大家享受这份报告，由于是第一次设计报告，难免瑕疵，欢迎反馈建议。最后，感谢这个时代，让LiveVideoStack有机会为大家呈现这份报告。 2023年是多媒体行业进一步调整的一年，降本、出海、AI几乎成为行业最热点。在这样的背景下，如果能这个时间点让大家凝聚 随着互联网基础设施的完善，出现了各种各样的流媒体和实时互动新玩法，流媒体、WebRTC的应用也越来越广泛，有AI加持，开发人员的队伍也越来越壮大。为了深入了解流媒体和RTC的从业情况，把握音视频新技术的发展方向，LiveVideoStack做了这次匿名调查，从各个方面和维度获取了各种技术的使用情况，做出了《2024音视频技术发展报告》，内容详实、真实，对音视频从业者是一个很好的参考。 音视频行业经过过去10年的蓬勃发展，技术人员正面临前所未有的挑战与机遇。一方面传统音视频技术枝繁叶茂，迭代更新速度加快；另一方面，AI已全面渗透到多媒体从内容生产到消费体验各个方面，正在成为新的必备技能。LiveVideoStack的这一份高质量的调研报告，及时准确地获得从业人员的技术洞见和态度，勾画出音视频技术发展的热力分布图，非常有价值！ ⸻杜金房烟台小樱桃网络科技有限公司CTO ⸻宋利上海交通大学教授、图像通信与网络工程研究所副所长 目录 02 第二章 中国音视频行业发展概述 1.音视频技术基础概念2.音视频技术渗透领域3.宏观政策分析070809 01 03 第一章 第三章 报告概述 中国音视频行业核心技术分析 1.研究背景2.研究方法2.1桌面研究2.2问卷调查2.3专家访谈2.4研究数据来源050606060606 1.音视频技术人员现状1.1技术人员基本画像1.2公司规模、职位、领域、行业、部门分布情况1.3就业与招聘现状2.音视频技术使用情况1212141618 2.超低延迟与关键技术3.虚拟现实现状4.AIGC发展趋势5.出海机遇6.当下与未来4345464951 2.1编解码技术2.2开发环境使用情况1827 04 第四章 附录52 中国音视频行业典型企业分析 1.产业链分析2.产业链头部企业图示3.音视频技术头部企业代表分析343536 05 第五章 中国音视频行业的“危”与“机” 1.行业困局和创新趋势40 第一章 报告概述 2.1 桌面研究 1. 研究背景 近年来，从短视频异军突起，媒体传播格局的转变，再到5G、虚拟现实、元宇宙等技术不断创新迭代，描绘了想象的虚拟世界，视听领域不断迈向多元化、高端化、智能化，成为数字经济的重要引擎。 对行业内公开的音视频信息进行桌面研究，资料包括但不限于专业机构的研究报告、技术领域书籍、技术社区网站、新闻网站、技术企业官网及专家公开演讲内容等。 国内正处于加速向数字化转型的阶段，而且随着人工智能、5G等新技术的兴起，给音视频行业带来新的发展机遇。在发展的窗口期，我们更应该掌握发展态势，抓住发展机遇，迎接新一轮的科技发展新高度。 2.2 问卷调查 采用线上问卷的形式，对部分问题进行问卷调查。包括音视频技术人员的基本情况、音视频技术的使用情况、音视频的发展现状和趋势等。 当我们站在十字路口时，要认清周围形势，才能采取进一步的动作。因此，LiveVideoStack作为全国唯一一家专注音视频领域的技术交流社区，为了给音视频技术人员带来更加清晰的领域认知，促使技术带动相关产业的进一步发展，我们将从音视频行业发展现状、音视频核心技术使用情况、音视频典型企业案例分析、音视频的“危”与“机“等方面出具一份业内的调研报告，供大家更清晰了解音视频整个领域目前的一些情况。 2.3 专家访谈 共邀请了42位音视频各领域的技术负责人、专家学者等，进行音视频领域的技术发展现状、企业发展形势以及未来趋势进行访谈，并对模型生成结果进行讨论和指导。 2.4 研究数据来源 2. 研究方法 本次调研发放1607份问卷，共收回312份，去除无效数据3份，整理有效问卷共309份。许多问题是多项选择题，这些多项选择题的百分比总和不会达到 100%。 整体报告形成将通过桌面研究、问卷调查、专家访谈、数据分析等方法收集与展现。同时还会邀请业内专业人士对最终呈现结果的技术及相关表述，给出专业评判及修改意见，终而形成最后的完成报告。 本次调研访谈42位音视频各领域专家，领域包括泛娱乐、在线教育、IoT、供应商、创业者等等。将专家观点合并整理，并采用匿名方式将个别观点融入报告。 本次研究通过收集并整理国家政策信息，形成音视频宏观政策分析。 第二章 中国音视频行业发展概述 1. 音视频技术基础概念 2. 音视频技术渗透领域 音视频技术包括音频技术和视频技术。当我们从设备端采集原始音频或视频时，一般情况下数据量大，如不进行技术处理，就无法传输。因此，需要音视频技术对其进行处理。除此之外，音视频的流畅性、清晰度等也需要音视频技术的支持。 当前，我国音视频行业正处于场景深化阶段的发展中，音视频技术产业互联网场景加速渗透。从2015年还不到1%，到2022年音视频行业应用场景达到83.2%，整个市场已经过了快速发展期，早期入局的公司具有明显的先发优势，行业新进入者机会收窄。 音视频技术的应用场景越来越多样化，并向垂直行业延伸发展。各企业在基本技术打磨的同时，也在探索新行业场景，积极寻求新增长点，例如与AI结合，以及相关前沿技术的突破，AIGC的应用、大模型相关技术的研发，都希望能占领新技术的制高点。 随着5G、芯片、内存等技术的发展，RTC的应用也愈发多样化，整个市场处于快速发展期。RTC技术在延时控制、弱网对抗、跨国传输、机型适配、音视频编码、算法等方面都要持续精进，音频和视频技术日新月异。有专家指出，音视频现阶段技术将呈现三方面的发展： 一是体验向沉浸式发展 从2020年腾讯提出“全真互联网”概念后，直到现在大家仍然热衷于探索人与数字世界的交互体验。随着AR/VR技术的突破，我们更热衷于追求沉浸式新世界的美好。 二是技术向AI方向发展 到2022年音视频行业应用场景达到83.2%，整个市场已经过了快速发展期，早期入局的公司具有明显的先发优势，行业新进入者机会收窄。 去年年底，ChatGPT的出现掀起人工智能的浪潮，针对于AI项目的投资不断增加，又一波技术爆发即将来临。 三是技术能力需要更精细化打磨 泛娱乐 互动游戏、游戏直播、AR/VR游戏在线K歌、视频群聊、语音电台直播带货、云购物赛事直播、体育远程加油 游戏类场景社交类场景电商类场景体育 现在由于外部环境的影响，业务的快速发展，资源消耗和成本压力显著增加。各公司都希望借助音视频技术来降低成本，进而达到效率提升的目的。 3. 宏观政策分析 教育 课堂教学、小班授课、互动授课、在线自习室智能家教台灯、智能手写笔、学习平板在线兴趣课、陪练课程 3.1 互联网相关政策 近年来政府出台了一系列政策为我国音视频产业的健康发展提供了有力的支持和保障，促进了技术创新、内容创新和商业模式创新，推动了产业的高质量发展。同时，随着流媒体技术、行业的成熟，国家推行音视频政策的趋势逐渐向监管方向倾斜，尤其是加强个人信息保护力度方面。以下是近年来，各单位发布的相关政策。 金融 医疗 IoT 智能手表、AR/VR/MR头戴一体机行车记录仪、智能后视镜无人车、无人机、工业机器人、服务机器人 智慧城市 无人远程控车无人仓储、无人配送服务数字展馆、云拍卖、文旅直播 企业办公 视频会议、远程招聘、协同办公 数字政府 数字办公政务协同办公、一网通办、在线政法服务 3.2 人工智能相关政策 2022年底，以ChatGPT为代表的出现掀起了又一波人工智能发展热潮。ChatGPT的出现，优化了语音识别和生成技术，促进了多模态交互技术的发展，加速了人工智能在音视频领域的应用。人工智能行业受到国家产业政策的重点支持。截至2023年9月份，我国中央及各地政府已相继发布多部人工智能相关政策，而且对产业链中应用层的关注明显多于基础层和软件算法层。同时，人工智能技术的快速发展，也带来了传播虚假信息、侵害个人信息权益、数据安全等问题。政府出台政策在鼓励发展的同时也对这些问题进行监督和管理。这些政策为我国人工智能产业发展提供了长期保障，也让我们看到以人工智能高水平应用促进经济高质量发展的新动力。以下是近年来，各单位发布的相关政策。 第三章 中国音视频行业核心技术分析 1. 音视频技术人员现状 1.1 技术人员基本画像 画像分析基本情况 大部分技术人员为男性，年龄在31-40岁之间，30岁以上技术人员占比57%。 技术人员主要集中在北京、上海、广州等一线城市。 技术人员学历本科及以上占据大部分，其中本科和研究生占比较大。 技术人员有5年以上从业经验的人数占比达到62.5%，其中有5-9年从业经验的人数居多。 本调查范围的技术人员学历较高，而且在音视频领域从业经验较丰富，5年以上者较为常见。 1.2 公司规模、职位、领域、行业、部门分布情况 技术领域 所在行业 所在部门 技术人员集中在1000人以上的大公司，职位涉及公司的技术负责人、高管以及领导者，其中占比最高的是高级工程师。 部门主要涉及音视频业务与产品研发。 行业分布主要集中在信息传输、软件和信息技术服务业，部分人员涉及传统行业，传统行业占比约10.3%。 领域分布比较平均，占比最高是RTC/实时通信技术和音视频编解码领域。 总体来看，本调查范围技术人员分布在音视频技术各个领域，有丰富音视频相关经验，并且扮演着公司音视频技术发展推动者的角色。 1.3 就业与招聘现状 收入来源 在就业方面，本调查范围内大部分技术人员在过去的24个月里都不存在无固定收入现象，但存在个别人员工作变动情况。从去年和前年的固定收入月数来看，技术人员在前年的工作变动相对大于去年。 在薪酬方面，大多数技术者薪水达到30w+，甚至担任公司重要职位者达到100w+，可见音视频技术从业人员的薪水是可观的。 年薪范围 在招聘方面，根据访谈人员了解，目前大多数大公司保留校园招聘以及实习生招聘。少量公司保留社会招聘名额，而且往往社招面向高端技术人才。一些业务增长的创业公司存在少量人才扩张需求。 有专家指出，音视频技术涉及的基础知识较为复杂，随着AI技术发展，对人才综合能力的要求可能比专业深度更加关键。但即懂前沿技术AI又懂音视频技术人才稀缺，对尖端人才的竞争也成为了各家公司竞争的关键。 2. 音视频技术使用情况 在视频编解码器的选择上，和H.265/HEVC成为主导选择对象 。H.266/VVC最新标准相比于前两个标准有较少技术者选择使用。其他视频编解码器在市场上仍占据一片天地，在市场中同时共存。 2.1 编解码技术 2.1.1 现在、未来以及国内、国外视频编解码器使用情况对比 在未来视频编码器的选择上，H.264/AVC使用份额呈现萎缩趋势。A V 1 、H . 2 6 6 / V V C 、A V S 3 使 用 份 额 将 呈 现 较 大 增 长 趋 势，其 中H.266/VVC的增长势头最为迅猛。 调查问题：现在您在工作中使用哪些视频编解码器？在未来12-24月内，计划使用哪些视频编解码器？ H.265/HEVC是H.264