字节专家

1.在25年5/6月之前，不会有算力的上下修，全年AICapEx是900亿+左右，再加500亿+CPU，总共约1500亿人民币左右，6月份之后再根据实际情况而定；倾向于多采购CPU的规模，24年CPU的采购量在65万台（总储备是240万台，和阿里一致），25年年底可能从65万台提升至85万台；CPU的上修是因为字节的云从租改自建，再增加对外售卖的云资源的扩容，今年目标200多亿 2.拆分：海外500亿，90%是NV（170—180亿是B200和H200，海外主体买的，就放在马来西亚不进国内，给国内seed的基座模型训练使用，其它会是GB20072柜为主，部分转到GB300去），10%是AMD；国内400亿，其中200亿还是NV的服务器，80亿是昇腾的服务器整机，包括91082万张，910C5万多张；寒武纪的服务器整机80多亿（去年年底入库1万多张，大概1000+台机器，1025是3500多台，2025是5000台），其它都是其它的国产卡；芯片占服务器的70%； 3.H20在FP8精度下，承接文本推理模型挺好用，但在FP16精度下大概是H800的70%左右； 4.H20在5月节前还是有很多应交而未交的货在国内组装；不确定尾单能不能交； 5.字节现有的卡量：A100是1.6—1.7万张，A8006万张，H8002.4—2.5万张；海外的H1002万多张，H2027万张，最后是几十万张L20/L40等的卡 6.24年token调用量是4万亿日均，25年年底预估是40万亿日均（需要55万芯片承接模型推理，70%是训练芯片，30%是推理芯片），目前在12万亿token日均； 7.主要带队是吴永辉，gemini核心贡献者，带队1200人，扁平方案，允许团队试错，不必对OKR，也没有一定要求什么时间段内有多少明确的产出和结果；团队里面，30%—40%是 原有团队转型，40%是集中扩容的新增社招和校招，20%是即将入职的外部挖的大牛； 8.字节做的比较好的是图像理解，是针对图像本身的内容做归类提取，图像理解（一张图折算1，500token，视频折算15，000token/秒）一天的token调用量是4000亿左右，1/2/3月份是200亿/1500亿/3000亿+。现在一天字节14万亿token调用量里面，3.5—4万亿 是图像理解模型。主要应用在于内部，比如内容的数据标签，短视频的内容审核，客服等； 9.模型未来的roadmap：2月初是视频的5s和15s发布，3月中下旬是深度思考模型TOC上线，4月中旬是TOB上线，5月是视频理解模型上线，6月份是语音对话的端到端模型上线； 10.豆包：日均1600万DAU，7000—8000万MAU，次日留存30%，7日留存23%，十日留存10%，每天对话7—8轮，token数2500—3000.今年目标5000万DAU； 11.整个豆包一个月投放预算6000—00万，40%投放在内部渠道，巨量比外部客户低30%，60%投放在外部渠道。