英特尔：2023云原生产业大会构建可信AIGC云原生应用

刘秉伟 英特尔软件与先进技术事业部系统软件高级总监 2023年12月1日 机密容器（Confidential Containers) 英特尔®平台的可信AIGC能力 构建可信AIGC应用 容器运行时安全的演进 云原生 机密计算 •容器和K8S生态•聚焦应用•弹性•高密 •利用Hardware TEE保护应用/模型/数据•基于远程证明构建信任•把基础设施服务提供者排除在可信计算基（TCB）之外•提供安全上云的新范式 设计原则 状态 •广泛的业界支持•2022年3月成为CNCF沙箱项目•完整的安全特性•应用场景驱动 •易用无需应用修改•容易部署和运维•非常容易和各种云服务集成•Pod级TCB，IT运维人员天然不可信•端到端零信任覆盖运行时/存储/网络/secrets CoCo项目的技术路线图 基于硬件TEE的安全加固 机密容器（Confidential Containers) 英特尔®平台的可信AIGC能力 构建可信AIGC应用 Intel®Extension forPyTorch*的大语言模型优化 Intel®Extension forPyTorch*是英特尔提供的基于PyTorch的扩展库 •针对大语言模型做了大量定制的优化•更高效的LLM定制化GEMM内核来充分发挥AMX和DDR5的性能•Indirect access KVcache优化了LLM的MHA计算瓶颈•更激进的面向LLM典型结构的算子融合算法•多种低精度数据类型支持来更好的满足各种应用场景•BF16, INT8, INT4•内置多CPU/多节点扩展支持，弹性扩展性能和性价比 英特尔®信任域扩展(TrustDomain eXtensions) 机密容器（Confidential Containers) 英特尔®平台的可信AIGC能力 构建可信AIGC应用 私有数据中心上构建可信AIGC应用保护关键模型