定陈冠中地瓜机器人RDK系列部署生成式AI模型

陈冠中地瓜机器人算法工程师 DataFunSummit#2024 RDK系列产品介绍 RDK上的模型部署 RDK上LLM的技术选型 RDK上LLM的实际效果演示 01 RDK系列产品介绍 嵌入式 嵌入式系统是一种专门设计用于特定任务的计算机系统。它通常被嵌入在另一个设备中，以控制、监测或执行某些特定功能。嵌入式系统通常包含一个或多个微处理器或微控制器，以及与其配套的硬件和软件。嵌入式系统可以用于各种不同的应用领域，例如汽车、家电、医疗设备、电子玩具、军事设备等等。 嵌入式系统通常需要满足以下特定要求： 实时性：嵌入式系统通常需要能够在严格的时间限制下运行。 可靠性：由于嵌入式系统通常被嵌入到其他设备中，因此其稳定性和可靠性非常重要。 低功耗：嵌入式系统通常需要在低功耗模式下运行，以便延长其电池寿命或降低功耗成本。 低成本：嵌入式系统通常需要在成本可控的情况下设计和制造。 嵌入式产品介绍 RDK系列 RDK全称为Robotics Developer Kits，即地瓜机器人开发套件（RDK） 是基于地瓜智能芯片打造的机器人开发者套件，包括RDK X3、RDK X3 Module、RDK X5、RDK X5 Module等。搭配TogetheROS.Bot机器人中间件，RDK套件可以帮助开发者快速搭建机器人原型，开展评测和验证工作。 Compute：5 TopsCPU：4×Cortex A53 1.5GDDR：2/4 GBeMMC：16/32/64 GBWi-Fi：2.4G/5G Compute：10 TopsCPU：8×Cortex A55 1.5GGPU：32GflopsDDR：4/8 GBWi-Fi：2.4G/5G Compute：？CPU：？GPU+Audio？DDR：？eMMC:？Wi-Fi：？ Compute：5 TopsCPU：4×Cortex A53 1.8GDDR：2/4 GBWi-Fi：2.4G/5GCertification：CE/FCC/MIC/KC Compute：5 TopsCPU：4×Cortex A53 1.2GDDR：2/4 GBWi-Fi：2.4G Compute：>20 Tops RDK X5 RDK X5 02 RDK上的模型部署 人工智能演变史 自然语言处理 自然语言处理是一种人工智能领域，旨在使计算机能够像人类一样理解和生成自然语言文本。自然语言处理的研究主要关注如何使计算机理解和处理人类语言，并从中提取有用的信息或生成符合语境的语言输出。 自然语言处理涉及到很多不同的任务，包括文本分类、情感分析、机器翻译、自动摘要、问答系统、命名实体识别、语言生成等。 大语言模型（LLM） 传统语言模型的劣势在于：局限于某一领域的知识、泛化能力差难以迁移、上下问理解有限基于transformer的大语言模型：基于海量（基本全互联网）数据进行预训练。对于特定场景的任务，只需微调适应常见：ChatGPT、文心一言、Llama、Baichuan2、同义千问等 地瓜工具链 地瓜工具链 地瓜工具链 Model Zoo https://github.com/D-Robotics/rdk_model_zoo/tree/main 03 RDK上LLM技术选型 LLM类别 大语言模型（LargeLanguage Model, LLM）主要分为两类：基于transformer的模型和基于循环神经网络RNN的模型。 Transformer是近年来非常流行的一种神经网络架构，它在自然语言处理（NLP）任务中取得了巨大的成功。Transformer依赖于“注意力机制”（Attention Mechanism）来处理输入数据，从而更好地理解句子中各个词之间的关系。 RNN（循环神经网络）是一类适用于处理序列数据的神经网络架构。RNN通过“循环”的方式在时间步之间共享信息，因此非常适合处理像文本和语音这类序列数据。早期的语言模型大多基于RNN及其改进版本（如LSTM和GRU）。 RWKV语言模型 RWKV模型在架构上继承了Transformer的思想，但在具体的实现上做了一些重要的改进，这些改进主要体现在Time Mixing和Channel Mixing两个方面。 Time Mixing:与Transformer中的自注意力机制不同，rwkv模型引入了时间混合（Time Mixing）机制。这种机制关注序列数据中时间步之间的依赖关系，通过时间混合层来捕捉时间序列中的长期依赖性。Time Mixing通过加权平均和非线性变换的方式，将不同时间步的信息进行整合，确保模型能够有效捕捉序列的全局和局部信息。 Channel Mixing: Channel Mixing则是对序列中不同特征通道的处理。在Transformer中，特征通道的混合主要通过多头自注意力和前馈神经网络来完成，而在rwkv模型中，Channel Mixing采用了一种更加高效的方式。通过一系列的线性变换和激活函数来对通道信息进行融合。这种方法不仅减少了计算复杂度，还保持了模型的表达能力，使其能够在处理大规模数据时更加高效。 RWKV语言模型 O(1)内存占用 高效训练 空间复杂度恒定O(1)，transformer内存占用随上下文长度不断增加，即O(T^2) 高效并行训练，训练速度与上下文长度无关 O(T)推理速度 可解释性强 类似RNN，每次推理内部有固定大小的state，即上下文信息向量 线性时间复杂度O(T)，即与RNN持平transformer推理速度为O(T^2) 04 RDK上LLM效果演示 端侧RWKV-V5展示 端侧Llama 1B展示 云端Qwen多模态展示 THANKS