腾讯云赋能智能硬件开发者“看、听、说”的最佳实践

AI大模型时代，腾讯云带给智能硬件开发者“看、听、说”最佳实践 龙一民丨腾讯云音视频物联网总经理 大模型时代的智能硬件产品趋势 智能硬件产品趋势 腾讯云定义多模态大模型时代“看、听、说”智能硬件I/O标准化 让我看 记住人看书看题看环境 麦克风 看听增强 定向拾音 语音交互 听我说 跟我说 让我管 用我搜 多语支持本地语言东南亚日韩德法意葡西 低延时 智能打断 方言支持 网络搜索 位置搜索 管理音频 管理视频 管理文档 生成图片生成音乐生成视频生成文档 摄像头 记忆能力 拍照 录像 直播 第一视角 感知人感知位置感知环境感知情绪 近场通信 通行 支付 碰一碰 加好友 交换名片 会议场景 腾讯云平台对于智能硬件开发者的开放能力 微信 微信通话拍照分享视频号直播 会议摘要声纹区分多语言支持 语音交互 语音AIAgent低延时全球接入 腾讯音乐 语音读书 智能硬件开发者的开放能力 画质超分实时字幕多语翻译 社交关系 视频直播 电商直播互动运动直播互动 近场通信 交换名片离近加好友 语音消息文字消息 学生之间硬件微聊 社交名片家庭群家长学生 智能设备与微信原生音视频通话 高触达率的微信原生音视频通话 设备一键呼叫，微信持续响铃提醒 保有与微信原生音视频通话一致的触达率和流畅通话体验 全线适配视频、音频芯片，资源占用低 支持RTOS/Linux，随操作系统支持快启动，低功耗，资源占用低编码、解码，无压力 智能设备与微信原生音视频通话 高触达率的微信原生音视频通话 设备一键呼叫，微信持续响铃提醒 保有与微信原生音视频通话一致的触达率和流畅通话体验 全线适配视频、音频芯片，资源占用低 支持RTOS/Linux，随操作系统支持快启动，低功耗，资源占用低编码、解码，无压力 TWeTalk多模态对话：跟我说、听我说、让我看、微信通话 TWeTalk 唤醒/降噪/回声消除远场增益 Linux/RTOS 音视频 P2P RTC 音视频 双向音视频 P2P服务 TWeTalk （AI对话） 教育：听写、背诵、口语陪练 陪伴机器人：情感陪伴、康养咨询 全屋智能：FunctionCall 设备拔打微信音视频通话 TWeCall （微通话) 视频语义理解、拍照识图 TWeSee （多模态） P2P双向音视频对讲服务 RTC服务 可接第三方 LLM ASR 语义打断 可接第三方 TTS LLM AIAgent 陪伴、教育、出行、客服、酒店服务 TTS 智能耳机、智能眼镜 会议场景：转写字幕、多语翻译、智能录制，多说话人分离，降噪增强 音频降噪 主讲人语音增强多说话人分离 实时转写+字幕 背景音降噪：识别并自动抑制环境噪音，让人声更清晰 回声抑制：回声抵消、啸叫检测、自动增益控制等技术，降低声音问题的干扰，提升会议效率 弱网时自动切换使用Penguins 语音引擎，提升音质体验 基于录入的声纹，在抑制其他人声干扰的同时，增强目标讲话人的语音 眼镜看着的主讲人的声音可以被识别，“陌生人”的人声不会被ASR转写。适用于开放工位和户外等喧闹场景，帮助生成“纯粹和干净”的字幕和纪要 支持进行多说话人分离功能，通过声纹讲转写内容按照发言人拆分，并支持修改发言人名称 会议录制文件的视频、转写和纪要支持按发言人回顾，快速定位目标内容 自动识别声源语言并转写为字幕。参会成员可根据个人需求选择翻译成中文、英语、日语，帮助外籍员工不受语言限制 会议内容实时转为文字，支持翻译为日语、韩语、俄语等17种语言，会中可随时回顾会议内容。实时转写支持导出为文本的形式 腾讯云方言大模型 音频 方言 腾讯云方言大模型 上海话 侬让伊可以过来试驾一下噶车子[叫易为来四号]再试试阿拉车子试对比一下呵，搿部是就是赛道版一百零两万百，呃，但是侬屋里相呢，侬可以就是讲就讲噶种4.5的噶种百公里加速也够用了对吧？而且现在的续航是500多公里，那现在把照送的啊无来购置税在十一月现在自己国家是免购置税的，那你现在就是等于是后机养费用搿车子还是非常少对吧？对就是对阿拉12大权益不客户啊，都是尊贵的，这种就是车主本呃比如说三年免费充电，比如说免费安装加充终身质保 四川话 你给他给他看下那个一号座二号个谢谢啊这边这边我先给你介绍下那个项目嘛，你们是第一次打那个项目啊，那我接着给你介绍下那个周边那个交通情况吗？就不了都比较了解过，就情况，然后就给[你]讲从项目上[沙盘]开始讲嘛。啊，这个是我们一个大的一个沙盘。啊，我们现在所在的位置是在这个位置，售楼部这个位置，然后我们下目的话，它是背靠彭山这边，这边是彭山景区，呃，这边是南边，然后前面是成都的母亲河景家啊他整个项目它是背山面水的一个项目，然后你们过来的话，他就是你们走的是哪个位置嘛，环天路吗嘛？ 自定义热词、行业领域词汇、转写支持多语言 AR Thanks