国盛计算机星环科技GPUNative数据库平台与NV合
#与NV合作，向量/图/认知数据库均在完成双向适配，卡位优秀；下一步或共同探讨GPU直连方案，公司的ArgoDB本身就是分布式闪存数据库，技术前瞻性和市场空间有目共睹。 1、大模型推理潮起、计算架构亟需转向“以GPU为核心”。 1）控制vs计算：传统计算架构以CPU为核心，本身是为了运行操作系统、Web服务器 【国盛计算机】星环科技：GPU-Native数据库平台 #与NV合作，向量/图/认知数据库均在完成双向适配，卡位优秀；下一步或共同探讨GPU直连方案，公司的ArgoDB本身就是分布式闪存数据库，技术前瞻性和市场空间有目共睹。 1、大模型推理潮起、计算架构亟需转向“以GPU为核心”。 1）控制vs计算：传统计算架构以CPU为核心，本身是为了运行操作系统、Web服务器这种逻辑复杂的程序设计的。 而GPU强项在于SIMT单指令多线程，AI推理就是一层层的矩阵运算，天然适合GPU并行吞吐。 2）内存墙：大模型推理最大的瓶颈不是算得不够快，而是数据供不上来。 CPU使用DDR内存，带宽通常在50-200GB/s；而GPU使用HBM，带宽可达到2-5TB/s。 2、GPU直连是目标、NV&存储厂已开始探索。 1）打破PCIe瓶颈：传统架构中，数据必须先经过CPU，再通过PCIe总线传给GPU。 改变后，NVLink/NVSwitch让GPU之间直接互联，不走CPU；CXL允许GPU直接访问系统内存，甚至共享地址空间；也可以像NV的Grace-Hopper或苹果M芯片，CPU和GPU封装在一起。 2）存储直连：现在的路径，从硬盘读取数据->进系统内存-> CPU处理->拷贝到GPU显存；通过存储直连GPU技术，SSD直接把数据传输到GPU显存，CPU只负责发号施令。 3、数据库向GPU-Native变革、计算效率呈量级提升。 1）算子重构：传统DB的算子都是用C++/Java为CPU写的，后续须用CUDA或OpenCL重写这些算子。 2）以后数据库需要直接管理GPU显存，需要智能的算法来决定哪些数据常驻显存或换入换出。 3）数据布局：从对CPU友好的行式存储到对GPU友好的列式存储。 4）全面向量化：数据库查询引擎必须是一次处理一个向量块；同时，数据库内核需内置GPU加速的向量索引。 核心逻辑是：硬件架构直接改造太复杂，那就把应用层的计算重心下沉到离数据最近的地方。 1）当前向量数据库和图数据库与GPU的适配已成熟，用户只需要配置带有CUDA驱动的服务器，安装对应版本的数据库软件即可。 另外，库内模型已验证可行，直接对查询结果做处理。 2）如此，向量与图查询性能可得到数量级提升，端到端的延迟会大幅降低，特别适合实时推荐及金融风控场景。
