AI智能总结
智能存储全新升级 腾讯云「存储+智能」组合拳助力企业出海 王致铭丨云存储高级产品经理 PART1场景分析 目录PART2存储底座 PART3处理管理双引擎 PART4一站式软件搭建平台 01 场景分析 章节副标题18号字 应用和模型的爆发,对基础设施带来全新挑战 趋势 市场应用交互体验提升 模型能力快速升级 智能体加速落地 关注 客户服务体验可靠性 面临服务不稳定 问题扩容速度慢 模型迭代速度 数据处理效率低集群利用率低 智能体应用效果 检索效率低安全合规要求 从云原生到AI原生,场景正在引领全新的技术突破趋势 第三阶段 需要更低开发门槛+运维成本 智能体/智驾/机器人为代表 AI原生 第二阶段 需提高资源利用率+稳定性 LLM等大模型为代表 第一阶段 需要更低架构复杂度+成本+提升效率 Web/APP为代表 云原生 云原生技术的发展过程,是一个“效率+成本”不断优化的过程 腾讯云智算已成业内公认的AI原生云 积极参与主流通信框架建设 Deepseek团队致谢并声称hugespeedup Gartner®生成AI云基础设施领域新兴市场象限 产品性能未来潜力维度均位列 亚太第一 安全灵活的高性能智算底座,与AI应用共生共长 丰富开放的配套工具 向量数据库、日志服务、安全解决方案 智能高效的资源调度 Serverless数据处理、TRMT通讯优化、vRDMA多机互联 稳定可靠的基础设施 一云多芯、自研AI服务器、高性能存储、全球加速网络 具身智能自动驾驶 智能体及AI应用 公有云 同源分布式云 同构专有云 互联网应用 AI浪潮来袭,存储场景演变 1.0时代,解决数据上云2.0时代,云端数据处理3.0时代,数据增值服务NOW,拥抱AI 云端备份 内容加工 增值赋能 AI存储 主动上传 图片编辑 智能压缩 AIGC转存&分发 自动备份 水印添加 内容审核 媒体库智能检索 生命周期沉降 备份防丢失 音视频加工 基础加工 AI识别 提升价值 知识库 AI数据中台 数据采集 数据清洗 模型训练 推理应用 StorageforAI AI存储GooseFS 10Gbps单链接性能亚毫秒级延迟逼近硬件极限极致文件访问性能Tbps级吞吐百亿级元数据规模提升模型推理分发效率集群异常秒级恢复 数据清洗和训练效果提升1倍,耗时减少50% AIforStorage 场景存储 数据处理-CI图片HDR数十倍色彩提升边转边播成本下降60%视频H.266体积再减50% 数据管理-CI智能文档问答接入DeepSeek检索引擎升级支持千亿元数据理解增强支持视频理解 场景服务视图计算物流场景解决方案智能媒资托管垂类网盘解决方案腾讯云企业网盘开箱即用存储服务 对象存储COS 数据可用性 99.995% 数据持久性 12个9 单集群管理 百EB级数据 高速外网访问能力数据稳定接入 Tbps级超大带宽数据高效处理 02 存储底座 安全可靠、降本增效的解决方案 对象存储简介 对象存储(CloudObjectStorage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持HTTP/HTTPS协议访问的分布式存储服务。通过控制台、API、SDK和工具等多样化方式,用户可简单、快速地接入COS,进行多格式文件的上传、下载和管理,实现海量数据存储和管理。 存储可靠性 提供多副本或者纠删码冗余存储,最高可达12个9的数据持久性。 高性能 高达30,000QPS的请求性能;保障客户业务在高并发情况下稳定运行。 开放兼容 提供全兼容AWSS3的接口,以及多种生态工具支持。 高可用 提供高达99.995%的服务可用性,为您的业务保驾护航。 数据安全 提供多租户权限隔离,支持HTTPS加密传输,支持SSE-KMS加密等多种数据加密方式。 低成本 提供具有竞争力的产品定价,支持数据生命周期管理,进一步降低云存储成本。 存储节点 page/offset BN1 BN2 BN… BNK Yotta存储引擎 集群调度中心 数据均衡中心 管理节点 volume 接入服务 增值服务 监控统计 身份鉴权 请求解析 接入网关 负载均衡 路由选择 流量清洗 三网融合 高可靠可用性 网络接入 •多运营商多线路接入 •攻击流量清洗 •负载均衡结构 应用接入 •应用层无状态管理 •集群横向无限扩展 数据层 •数据跨机架、跨交换机部署 •索引分级存储 •数据自动均衡、弹性扩展 •冷热数据手动、自动沉降 容灾设计 •内外网负载均衡 •请求高可用、可迁移 •模块心跳检测,秒级切换 •故障自愈机制 99.9999999999% 存储可靠性高达12个9,保障客户数据不丢失 99.995% 服务可用性高达99.995%保障客户业务不掉链 30000 请求QPS高达30,000 提供极致读写体验(可提升) 全生命周期矩阵支持 全生命周期管理,满足热、温、冷分层存储需求 存储 标准存储低频存储智能分层 归档存储 深度归档存储 经常访问的数据 •毫秒即时访问 较低频率访问的数据 •毫秒即时访问 •最低保留期限30天 •最小存储64KB 访问模式不固定的数据 •支持标准、低频、归档、深度归档 •根据访问模式自动转 换层级 离线存档数据 •离线归档,支持分钟级--小时级取回 •最低保留期限90天 •最小存储64KB 长期保存的离线存档数据 •离线归档,支持小时级取回 •最低保留期限180天 •最小存储64KB x-cos-forbid-overwrite头部 •同名文件检测,结合条件键使用,进一步加强安全。 版本控制 •保护历史版本,覆盖及时追回。 已支持17个PolicyCondition,用于限制请求来源、https协议、文件类型、文件大小、存储类型、对象版本等。 精细化权限管理 对象锁定功能 •通过CA认证。满足美国证券交易委员会(SEC)、美国金融业监管局(FINRA)和美国商品期货交易(CFTC)相关合规要求。 •对象级别worm,灵活管理锁定状态。 数据防覆盖 UGC场景安全:精细化权限管理+多种数据防覆盖方案 业内领先的高性能存储产品-GooseFS 大数据AI自动驾驶HPC 机器学习 性Hadoop 能Compatible FUSE Compatible NativeFSInterface S3 Compatible 元数据加速 计算端加速 服务端加速 数据流动 百亿规模 智能缓存 秒级恢复 业内领先的 分布式缓存服务 Tbps级读写带宽亚毫秒级读写延迟百亿级元数据规模十万级元数据OPS 成对象存储 本 POSIX/HDFS/S3多协议支持 GooseFS的价值 大幅度优化对象存储COS在AI场景下的性能表现,拓宽COS在自动驾驶、大模型等行业赛道的应用场景。 存储吞吐访问时延元数据QPS 存储带宽实现百倍提升: 从15Gbps/PB提升到1.8Tbps/PB 海量小文件访问时延大幅提升: 小文件(4K)延迟从~40ms提升到~0.4ms 元数据QPS性能提升十倍+: 元数据QPS从3w提升到30w 存储吞吐 1.8Tbps/PB 访问时延 ~40ms 元数据QPS 30wQPS ↑提升120倍 15Gbps/PB ~0.4ms ↓降低100倍 ↑提升10倍 3wQPS COSGooseFS COSGooseFS COSGooseFS 03 处理管理双引擎 数据万象--存储的数据加工生产平台 数据万象:存储+处理一站式平台,构建「处理-管理」双引擎 处理能力 数据处理 数据万象 智能理解 智能检索 数据管理 卑勮;KK¿栔䤘O›Ş 㿕䣶ƒ䑧.樓實ë.㞧㪃䵩⎈⛡些⬺Ⲳⅳ㞐¾“S 处理加工 元数据管理 ưffi“S匝t㤠lⷬFん☐ 非结构化数据存储 对象存储COS 数据底座 近存储加工,降本且高效 成本更低 开箱即用便捷高效 提升用户体验 帮助挖掘数据价值 一站式存储+数据处理智能平台 1站式 0流量 快30% 一套API,开箱即用, 降低使用门槛 服务间调用零外网流量,用户 成本更低 更靠近存储的处理 处理耗时快30% 电商 图片处理图片处理 生活互联 音视频处理音视频处理 数据万象 自动化工作流 内容安全审核 内容智能识别 图片/音视频/文档处理 文创 内容审核内容审核 视频监控 智慧门店智慧家居 COS对象存储底座 数据处理引擎提供一站式处理加工及内容审核 内容审核 图片处理 视频处理 图片审核文本审核 色情查处 暴恐查处 图片水印 图片压缩 图片脱敏 基础转码 边转边播 视频理解 视频水印 视频审核音频审核 广告查处 文档审核 图像编辑 画质优化 图像评分图像理解 视频编辑 画质优化 视频评分视频脱敏 音频处理 文档服务 智能处理 音频转码音频降噪 音频编辑 转图片预览文档水印 HTML预览文档翻译 图片智能处理 图片标签质量评分 以图搜图OCR识别 视频智能处理 视频标签精彩集锦 老片修复智能封面 文件处理 语音合成TTS语音识别ASR 文件Hash计算文件打包压缩 文件解压缩病毒查杀 图像增强图像修复 商品抠图…… 质量评分画质增强 视频DNA…… 数据工作流批量处理 内容审核 云原生:与COS深度集成 根据COS路径特征任意审核路径、一键扫描COS历史数据 免流:节省30%审核成本 COS数据内网审核,避免数据外 经济网流量费用 高效 高并发:弹性扩容 VIP专属集群,敏感日期快速扩容 云原生审核 便捷 一站式:SaaS审核服务 一键开启,自动审核,自动冻结 应用场景-内容保护 明水印+ 图文可见水印 增强品牌标识 强警示资源归属 商品图素材制作 盲水印+ 隐形水印强力保护 盲水印不影响图片观感 侵权可追溯,有法律效益 应用场景-内容保护 水印嵌入 嵌入水印信息 版权/渠道/用户信息 原视频 分发 平台 用户 隐水印,不可见性 (保障用户体验) 盗版追溯 盗版网站 云盘 H.264重转码,码率/分辨率降低,音频重采样 H.264重转码,码率/ 分辨率/音频采样率没变 水印检出 漏洞定位溯源及维权 视频数字水印能做什么 1数据水印可以在数据泄漏后追踪溯源 一旦发生数据泄露,可精准溯源到操作数据用户身份、作业及泄露范围和渠道。 2数据水印可以使数据所有权有据可查 通过数据水印系统对数据资产中注入水印,可以很好的实现数据的版权保护, 避免因版权问题陷入漫长的纠纷和诉讼 3个性化水印支持亿级用户水印信息唯一 支持外网添加个性化水印信息,达到亿级别用户水印信息个性化溯源的目标 员工监控防泄漏 防止竞品扒数据 UGC/PGC标识 私域电商场景下,众多用户通过以图搜图功能搜索商品 COS存储桶 构建商 品库 用户图搜商品 客户网页/APP/小程序界面 阻断截流 群聊内识别竞品二维码图片,阻断截流引流行为 批量检测商家图片,对引流二维码进行拦截或覆盖 以图搜图 应用场景-私域营销 万象智能抠图 普通图片 商品种类:手机图片库 … 其他商品库 万象以图搜图 同类推荐 用户拍照/保存的图片 ①搜前交互提示商品种类 ②确定搜索返回检索结果 精准定位 同类商品 MetaInsight 索引 自然语言、图片、… 数据管理引擎提供智能检索及元数据管理 非结构化数据 智能算子特征算子元信息算子 •语义检索 数据集内容向量特征内容标签对象元信息 支持自然语言检索,可实现文搜图,图搜图等,提高搜索结果的准确性和相关性 •统计分析 检索 开发中 音频搜音频 以图搜图 媒资管理 视频搜视频 以文搜图 元信息统计 支持海量对象基础元信息的高效查询、统计分析 •无缝贴合存储 与对象COS深度关联,自动处理云上数据 存储 对象存储COS 标量+向量双管齐下构建智能数据集 MetaInsight提供多场景、跨模态的检索服务,通过自然语言或结构化的检索条件,分析存储在对象存储 COS中的数据,满足存储数据的管理、分析、