大模型的异构计算和加速

自回归大语言模型与英特尔XPU加速框架IPEX-LLM

Transformer解码器架构

• 核心架构：基于Transformer解码器架构的自回归大语言模型，重点在于推理阶段（下一个token生成）的性能优化。

大语言模型推理与训练瓶颈

• 主要瓶颈：
  • 内存带宽
  • 计算能力
  • 显存大小

大模型的异构计算和加速

• 异构计算：
  • 利用CPU、GPU、NPU等XPU进行硬件加速。
• 低比特计算：
  • 模型量化/压缩（如WxAy、INTx、FPx）
  • 低比特算子
  • 显存优化（如kvcache）
  • 训练与微调技术（如QLoRA）
• 低比特模型精度分析：
  • 在Wikitext数据集上测试低比特模型的精度困惑度。
• 推理算法优化：
  • Self-speculative decoding
  • KV Cache compression
  • Sliding window attention
  • Sparse attention
  • Flash attention/decoding
  • Continuous batching
  • Prefill/decoding disaggregation

IPEX-LLM：开源大模型XPU加速框架

• 生态系统支持：
  • Python (PyTorch) 生态
  • llama.cpp 生态（如Ollama、LangChain.js、OpenWebUI等）
  • HuggingFace、Langchain、LlamaIndex、DeepSpeed、TRL、Axolotl等
• IPEX-LLM库：
  • 英特尔XPU大模型加速体验

英特尔XPU大模型加速体验

• 具体案例：
  • Intel UHD/IrisiGPU llama.cpp + IPEX-LLM（Phi-3-mini, Q4_0）
  • Intel Core Ultra AI PC Ollama + IPEX-LLM（Mistral-7B, Q4_K_M）
  • Intel Arc A770 GPU TextGeneration-WebUI + IPEX-LLM（Llama3-8B, FP8）
  • 4 x Arc A770 GPU FastChat + IPEX-LLM（QWen1.5-72B FP6）
• 扩展支持：
  • LoRA/QLoRA on Xeon
  • Multi-Arc支持PEFT、TRL、Axolotl、Zero2/Zero3

英特尔XPU大模型应用创新

• 应用案例：
  • Office助手（ExtendOffice）
  • 工业机器人代码生成（科东软件）
  • AI座舱-汽车助理（智谱AI）
  • AI座舱-驾驶伴侣（百川智能）
• 本地RAG系统：
  • 在英特尔XPU上运行GraphRAG
  • 在英特尔XPU上运行RAGFlow

Call to Actions

• 行动号召：
  • 关注和试用IPEX-LLM，并提供反馈：IPEX-LLM GitHub
  • 使用IPEX-LLM在Intel XPU平台开发大模型及其应用：
    • 客户端-边缘-服务器（Intel Core Ultra AI PC、AI座舱、Xeon+Intel Arc GPUs）
    • 推动高效的大模型XPU加速创新
    • 开创大模型应用场景创新

Notices & Disclaimers

• 性能表现受使用方式、配置等因素影响。
• 性能数据基于特定日期的测试配置，可能未包含所有公开更新。
• 产品或组件无法绝对安全。
• 成本和结果可能因人而异。
• 英特尔技术可能需要启用硬件、软件或服务激活。
• © Intel Corporation. 英特尔及其相关商标为英特尔公司或其子公司的注册商标。