解码AI时代的实时交互秘籍：万物互联，实时互动

黄成言腾讯云音视频TWeTalk产品负责人 03 产品介绍 技术架构 功能与特点 应用场景 AIoT行业趋势06 05 07 产品演示 标杆案例 产品介绍 TWeTalk:重塑AIoT的语音交互体验 腾讯云音视频TWeTalk是面向智能硬件的AI对话软硬一体化产品方案。TWeTalk与主流嵌入式芯片及模组厂商合作，整合端侧、云端与通信能力。该方案已应用于AI陪伴玩具、具身智能、智能穿戴（耳机、手表、眼镜）、智能点餐、导览、AI面试等AIoT场景，实现人与硬件的自然“对话”（Talk）。 •音频处理：3A音频降噪、唤醒•编解码：支持opus格式 •微信与设备（VoIP）的双向音视频呼叫•P2P/TRTC/WebSocket通道 TWeTalk：快速接入 按业务需求，积木式组装。同时提供语音智能体，开箱即用。 应用场景 TWeTalk应用场景与行业方案 方案核心：端云协同+场景化AI，支持AIOT一站式接入。 功能与特点 TWeTalk：快速接入 按业务需求，积木式组装。同时提供语音智能体，开箱即用。 音色定制 语音端到端 情绪识别 对话集锦 独特的意图理解ASR引擎，不仅支持语音识别，更能精准捕捉用户的情绪与意图；TTS支持音色定制；精调大模型适配玩具、机器人等场景，提供准确执行function call的高性价比引擎。 依托先进的语音处理技术与精调场景大模型，精准捕捉语调、语速、语义的细微特征以感知用户情绪，及时给予礼貌、贴合心境的回应。 智能生成与AI的精彩对话片段，留存暖心交流、趣味对话、Baby’s firstword等瞬间，搭配情感化交互与BGM动效。“声波日记”就是您的时间胶囊！ 可根据IP打造专属声音，结合实时交互与灵活打断，定制音色，让我们的AI伙伴更鲜活，带来独特的陪伴体验。 音乐播放 设备控制 微信通话 微信支付 安防、家居场景下语音控制设备。语音指令直达，操控便捷，让您轻松用语音掌控物联智能生活。 支持微信与设备双向音视频呼叫，设备可直接拨打微信电话。 支持音乐的点播功能（音乐版权方对设备端有单独的授权）。 智能手表、AI眼镜，支持可穿戴设备一站式接入微信支付（探索中）。 TWeCall（微信通话） 应用场景：消费电子（AI玩具、机器人）、穿戴（智能耳机/手表/AI眼镜）、家居（中控屏、音箱）、安防（门铃、门锁）。 基于微信原生VoIP 高触达率的微信原生音视频通话 •设备一键呼叫，微信持续响铃提醒，保有与微信原生音视频通话一致的触达率和流畅通话体验•秒Call，设备拨打微信可以做到秒级响应 广泛适配主控芯片平台，资源占用低 •支持Linux/RTOS/Android•适用于低功耗、轻量化系统，资源占用低 低成本一站式接入 •提供设备端和小程序SDK，快速完成全功能接入•无须额外搭建服务器，维护云端呼叫状态 TWeTalk技术特色 TWeTalk智能硬件AI对话解决方案驱动，深度集成三大核心技术模块。 搭载TWeTalk场景精调大模型，优化玩具、机器人等场景，语言风趣拟人，函数调用精准，支持长记忆。还能讲故事、播音乐、查天气，可微信通话。 Hear-感知层 Talk-声音表现 Think-大脑中枢层 独家自研的TTS引擎支持输入情绪标签与音色克隆功能，让硬件的每一句话都充满情感，并能化身为任何您喜爱的声音。整套对话系统支持实时交互与灵活打断，打造出真正“活”起来的AI伙伴。 采用独特的意图理解ASR引擎，不仅能准确识文，更能精准捕捉用户的情绪与意图。结合自研的语义端点检测技术，实现了流畅、无感的语音交互起点。 TWeTalk方案架构 提供可扩展、可定制的灵活架构，适用于具体场景下的AI应用扩展。SDK支持小存贮需求。 技术架构 腾讯云AIoT整体产品功能架构 TWeSee与TWeTalk的协同价值 TWeSee与TWeTalk共同构成腾讯云AIoT交互矩阵：能力互补、场景融合、交替进化。 标杆案例 2025巴黎Viva Tech：TWeTalk透明屏一鸣惊人 腾讯云CEO Dowson邀请国际友人体验鹅厂特产：TWeTalk解决方案（智能点餐）。Enjoy the coffee in Central Perk! TWeTalk透明屏：Smart Ordering智能点餐 场景 泛互、出海：智能点餐、AI面试消费电子：智能穿戴（耳机/手表/AI眼镜）家居、工业制造：设备控制、AI机器人 特点 嘈杂环境抗噪拾音多轮对话精准点餐，自动同步订单算法工程化优化时延软硬一体深度融合，1+1＞2 2025巴黎Viva Tech：TWeTalk透明屏一鸣惊人 腾讯云CEO Dowson邀请国际友人体验鹅厂特产：TWeTalk解决方案（导览）。语音控制页面浏览，从此解放双手。 TWeTalk透明屏：Tour Guide导览 场景 泛互、出海：导览、中控屏、文旅政务大厅出行：智能车载金融：智能客服消费电子：故事机、拍学机 特点 多轮对话精准理解意图语音控制页面滚动、播放、暂停（解放双手）高性价比（最小可用v.s.足够精准专业配比）深度适配主流芯片 腾讯QQ公仔：TWeTalk亮相WAIC（世界人工智能大会）2025 腾讯鹅仔，从此会说话了！Bring the latest technology to QQ and You. QQ公仔语音体验：智能硬件语音交互系统 场景 消费电子：AI陪伴玩具、机器人智能穿戴：儿童手表、智能眼镜 特点 情绪识别音色定制对话集锦（“声波日记”）场景化AI（如理解儿童模糊指令）智能硬件生态协同：AI+模组方案商+芯片原厂 玩具大IP：奥飞喜羊羊3.0 +汤姆猫出海北美 腾讯AIoT团队为奥飞娱乐喜羊羊3.0最新款产品提供全栈式TWeTalk语音方案，包括微信通话及音色定制服务。汤姆猫通过TWeTalk全球化产品方案实现英语深度适配、出海北美市场，以“中国芯+国际IP”组合定义AI玩具出海范式。 飞利浦：Meeting Assistant耳机摘要 腾讯云AIoT基于TWeTalk端云协同架构，为飞利浦TAT5599耳机提供提供智能摘要及耳机同传服务，助力飞利浦智能耳机从硬件设备升级为“智能会议助理”与“随身翻译官”。 飞利浦：Translator耳机同传 智能穿戴，耳机、儿童手表、AI眼镜..ing适配中。 TWeTalk：AI Interviewer面试官 24*7 AI面试官always on，面试者挑选时间更自由，交流更放松。会议结束，AI自动分析候选人语音情感波动，生成综合能力评估报告。 AIoT行业趋势 智能硬件行业趋势的一点思考 智能硬件新兴赛道预测 商业之外，核心是产品解决什么问题 AI玩具+具身智能+智能穿戴洞察布局新兴赛道&生态协同合作布局 标杆牵引按行业细分落地、出海、生态协同 优化智能体，以项目沉淀标品 形态：“无用之用”玩具，客群高收入中年女性特点：反向暴击，强调失控、无负担的陪伴价值优势：高客单价（单机3w+880元/月软件订阅服务费），创新商业模式 标杆客户 服务好头部客户，持续拓展标杆 形态：挂件/宠物形态玩具特点：不说话，表情反馈和动物声音为主优势：温暖戳人，不用担心宠物生老病死，寄托感情 消费电子、制造、泛互、家居通信等 出海 形态：具身智能/机器人特点：主打机器人关节动效+原版IP台词优势：IP粘性极大，且只需简单语音指令，硬件触感是亮点 自有IP →产品技术验证→头部IP跟进→国际IP突围→生态定价权垄断 快速交付 生态协同覆盖客户+模组集成商+芯片原厂 准确、快速交付，提升SLA标准 形态：宠物硬件赛道特点：给宠物玩的AI玩具，模拟声音、球球脖圈感应、智能喂养等优势：较为蓝海，与视觉多模态融合 产品演示 THANKS Contact usEmail: twetalk@tencent.com, twesee@tencent.comWechat: TWeTalk｜TWeSee 附录：RTC-IoT芯片平台覆盖介绍 目前RTC-IoT设备端SDK可以全平台支持（Linux/RTOS/Android），并且已覆盖5大场景的26个主流芯片平台的上百款芯片，特别针对一些低功耗、轻资源的芯片也能很好的支持，同时对于新出的芯片也会不断跟进适配。 TWeTalk：Smart Ordering智能点餐（鹅厂Demo） 近距离围观黑科技背后的团队实战。 THANKS Contact usEmail: twetalk@tencent.com, twesee@tencent.comWechat: TWeTalk｜TWeSee 音视频实时互动如何走进千行百业 腾讯云音视频创新解决方案首席布道师章怡成 AI对话应用场景 自24年下半年以来，涌现了哪些新场景？ 应用场景01：大模型/搜索——实时AI对话已经成为标配 从「会思考」到「能对话」 未来挑战与演进方向 RTC+AI的方案不断优化 •在嘈杂的地铁场景中，用户仍可通过语音与大模型完成复杂问题交互，且支持随时打断和话题切换，接近真人对话体验 •当前仍需解决长时对话中的意图漂移问题（如30轮以上对话的上下文丢失率约12%） 有效提升对话轮次和客户粘性 •相比仅用IM单次对话，加入AI实时语音对话平均轮次提升3-5倍 应用场景02：AI+泛娱乐头部产品——加入voicecall功能后留存和对话轮次均大幅提升 APP：Talkie发行商：Minimax APP：C.ai发行商：Character.AI •在C.ai24年6月发布语音功能后，7月相比6月下载量有96%的增长•对话轮次随着voicecall能力的增长显著，从20次/天上升到27次/天•主要付费来源是美国用户，20%的下载量贡献了60%的收入•57.07%的用户是18-24岁的青少年，平均使用时长达2小时 •Minimax的出海产品Talkie于24年7月发布了calling实时通话功能，留存和对话轮次都有显著提升•Talkie主要受众在美国，40%的用户为18-24岁的青少年，其中女性较多•平均每天使用时长约70分钟 Sources:Sensor tower 应用场景02：AI主持人——全民K歌通过AI主持人提升效率 用户场景刚需 •主持需同时承担房间管理（迎送用户、控制麦序）、氛围营造（活跃冷场、活跃引导）、送礼答谢等多种类型的任务 实现效果 •AI主持大拿可通过语音播报和弹幕消息与用户进行双向互动，对于歌房内的点歌、演唱、上下麦、送礼等事件均能产生有效的反馈 应用场景03：对话式AI在教育行业的应用场景 •LLM+VoiceAgent是下一代交互的开始：低延迟、高智能。 •长链路的延迟是用户难以接受的，RTC+LLM使得延迟降低，加入了智能打断等功能让用户交互起来更像在于真人交流。•这对于互动/实时要求性高的教育场景具有显著意义。典型场景如语言学习、儿童兴趣引导、阅读伴侣等。 软件类 AI大模型参与教学的能力逐渐增强，难度逐渐增大 硬件类 应用场景03：AI+教育——典型客户案例，AI教学语音+多模态实时对话 •App：伴鱼智学•开发者：WuhanQinxuanTechnology Co., LTD•区域：中国 •伴鱼凭借差异化的产品矩阵和长期技术深耕，已稳居中国少儿英语教育领域头部阵营，覆盖0-14岁全年龄段，形成“AI工具+直播课+分级阅读”的闭环生态。•伴鱼智学首创“AI私教全程个性化教学”体系，基于伴鱼7000万用户和3000万节课的实践积累，打造了AI智慧学习产品——“AI私教”，以“因材施教”的学习模式，为6-12岁青少年提供优质的英语教学辅导。 •客户需求： •需整合语音识别、圈选提问、情绪感知等多模态交互能力，满足学生通过语音、触屏、文字等多种