人工智能通识-第四章：深度学习

第四章深度学习

4.1 从感知机到深度神经网络

本章首先回顾了神经网络的发展历程，从20世纪40年代的M-P神经元模型开始，介绍了感知机的工作原理和局限性。感知机只能处理线性可分问题，而多层感知机（MLP）通过引入隐藏层和激活函数，能够模拟更复杂的非线性函数。激活函数在神经网络中引入非线性，常见的激活函数包括Sigmoid、ReLU等。

4.2 深度学习中的优化与学习

本章介绍了深度学习中常用的优化方法和学习算法。损失函数用于衡量模型预测与实际标签之间的差异，常见的损失函数包括均方误差（MSE）、平均绝对误差（MAE）和交叉熵（CE）等。梯度下降算法是常用的优化算法，包括批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD）。此外，本章还介绍了批量标准化（BN）和反向传播算法。

4.3 深度学习框架

本章介绍了几个主流的深度学习框架，包括Theano、Caffe、TensorFlow、PyTorch、PaddlePaddle和MindSpore。这些框架提供了统一的编程模型和丰富的工具库，简化了深度学习模型的开发过程。

4.4 卷积神经网络

本章重点介绍了卷积神经网络（CNN）的结构和原理。CNN由卷积层、池化层和全连接层组成，具有局部连接、权重共享和池化等特性。本章还介绍了几个经典的CNN架构，如AlexNet、VGGNet、InceptionV1和ResNet等。

4.5 序列到序列模型

本章介绍了序列数据及其处理方法，以及序列到序列（Seq2Seq）模型的原理。Seq2Seq模型通常使用编码器-解码器架构实现，常见的任务包括机器翻译、文本生成等。本章还介绍了循环神经网络（RNN）及其变体，如长短期记忆网络（LSTM）和门控循环单元（GRU），以及它们面临的梯度消失和梯度爆炸问题。

4.6 Transformer模型

本章介绍了Transformer模型及其核心组成。Transformer由编码器和解码器组成，每个层包含多头注意力（MHA）和前馈网络。本章还介绍了VisionTransformer（ViT）等基于Transformer的模型。

4.7 深度生成模型

本章介绍了深度生成模型的概念和原理。概率生成模型通过拟合数据的概率分布来生成新样本，常见的模型包括变分自编码器（VAE）和生成对抗网络（GAN）。本章还介绍了GAN的训练过程及其变体，如DCGAN、CycleGAN和StyleGAN等。