人人懂AI之从机器学习到大模型

导论

AI技术已广泛应用于金融、制造、消费、医疗、教育、交通等各个行业，并随着ChatGPT等AIGC应用的兴起，进一步融入人们的日常生活。本书面向IT从业者和学生，旨在通俗易懂地讲解机器学习、深度学习、神经网络等基本原理，并分享大语言模型、知识库等AIGC应用，探讨大语言模型“知识茧房”问题及解法，期望成为AI技术爱好者的启蒙书籍和学习手册。

AI的基本原理

AI的核心是从数据中挖掘规律，并使用规律预测结果。其训练过程包括数据收集和预处理、模型选择和训练、损失函数定义、最佳函数寻找等步骤。AI的三大要素是数据、算法和算力，此外，应用场景的选择也至关重要。

深度学习及神经网络

神经网络是模拟人类大脑结构的一种计算模型，通过神经元之间的连接和处理单元运算来处理数据。卷积神经网络（CNN）在图像处理领域应用广泛，通过卷积、激活函数、池化等操作提取图像特征。LeNet、AlexNet、VGG、ResNets、GoogleLeNet等是经典的CNN网络。

AIGC及大模型

AIGC技术带来了搜索推荐、人机交互、内容创作等领域的革新，并推动了对话即编程等应用开发新范式。大语言模型（LLM）在智能问答、摘要/概括、推断、文本转换、文本扩展等任务上表现惊艳，但其存在“知识茧房”缺陷，即缺乏训练数据样本之外的知识。RAG技术通过结合知识库和LLM，可以有效破解“知识茧房”困局。

知识库+LLM智能问答系统的构建流程

知识库是企业私域知识问答系统的核心，通过文本处理、分割、向量化等步骤构建知识库，并结合语义检索和LLM构建问答系统。Langchain是一个集成了文档格式转换、分割、转向量等流程的开源框架，可以实现知识库+LLM的完整方案。

如何把AI技术融入到产品

产业界在持续探索新领域，学术界则在模式识别、机器学习、机器视觉、算法、数据挖掘、NLP等领域进行研究。将AI技术融入产品需要考虑应用场景、数据、算法和算力等因素，并进行充分的评估和分析。

AI落地三问

1. 你想用AI解决什么问题？AI不是万能的，需要选择合适的应用场景。
2. 用于训练的数据样本在哪里？AI需要基于已有的数据样本做训练，数据质量至关重要。
3. 研发团队和资源在哪里？算法是决定最终应用效果的核心因素，需要高水准的AI研发团队和足够的算力资源。