人工智能报告之机器学习 Artificial Intelligence Report of Machine Learning 2020年第1期 顾问：唐杰 2020年1月 II 9Y8VpWoYmXiZmUfWyXrRnO8OdNaQoMpPpNrRlOmMsPfQrQrR6MrQnOxNrRqRvPpPpR 图目录 图 1-1 机器学习发展历程 ............................................................................................................. 1 图 2-1 机器学习分类 ..................................................................................................................... 2 图 2-2 GAN发展脉络 ...................................................................................................................... 3 图 2-3 AutoML基本过程 ................................................................................................................ 5 图 2-4 ATMSeer自动机器学习定制化工具的用户友好型交互界面 .......................................... 5 图 2-5 Transformer的网络架构 .................................................................................................. 8 图 2-6 图卷积示意图 ..................................................................................................................... 9 图 3-1 深度学习模型最近若干年的重要进展 ........................................................................... 11 图 3-2 卷积神经网络的重要进展 ............................................................................................... 12 图 3-3 Auto-Encoder的重要进展 .............................................................................................. 12 图 3-4 循环神经网络RNN的重要进展 ....................................................................................... 13 图 3-5网络表示学习与图神经网络的重要进展 ........................................................................ 13 图 3-6 增强学习的重要进展 ....................................................................................................... 14 图 3-7 生成对抗网络的重要进展 ............................................................................................... 14 图 3-8 老虎机的重要进展 ........................................................................................................... 15 图 5-1 机器学习领域全球学者分布 ........................................................................................... 21 图 5-2 机器学习领域学者h-index分布 ................................................................................... 22 图 5-3 机器学习领域中国学者分布 ........................................................................................... 22 图 6-1 自动驾驶目标识别、运动预测 ....................................................................................... 31 图 7-1 机器学习技术趋势 ........................................................................................................... 35 表目录 表 4-1 ICML近10年best paper ............................................................................................... 18 表 4-2 NeurIPS近10年best paper ......................................................................................... 19 表 5-1 机器学习领域中国与各国合作论文情况 ....................................................................... 23 表 5-2 NeurIPS高引学者TOP100 ............................................................................................... 26 表 8-1机器学习三级知识树 .......................................................................... 错误!未定义书签。 概述篇 1 1 概述篇 1.1 机器学习的概念 机器学习已经成为了当今的热门话题，但是从机器学习这个概念诞生到机器学习技术的普遍应用经过了漫长的过程。在机器学习发展的历史长河中，众多优秀的学者为推动机器学习的发展做出了巨大的贡献。 从1642年Pascal发明的手摇式计算机，到1949年Donald Hebb提出的赫布理论——解释学习过程中大脑神经元所发生的变化，都蕴含着机器学习思想的萌芽。事实上，1950年图灵在关于图灵测试的文章中就已提及机器学习的概念。到了1952年，IBM的亚瑟·塞缪尔（Arthur Samuel，被誉为“机器学习之父”）设计了一款可以学习的西洋跳棋程序。塞缪尔和这个程序进行多场对弈后发现，随着时间的推移，程序的棋艺变得越来越好[1]。塞缪尔用这个程序推翻了以往“机器无法超越人类，不能像人一样写代码和学习”这一传统认识。并在1956年正式提出了“机器学习”这一概念。 对机器学习的认识可以从多个方面进行，有着“全球机器学习教父”之称的Tom Mitchell则将机器学习定义为：对于某类任务T和性能度量P，如果计算机程序在T上以P衡量的性能随着经验E而自我完善，就称这个计算机程序从经验E学习。 普遍认为，机器学习（Machine Learning，常简称为ML）的处理系统和算法是主要通过找出数据里隐藏的模式进而做出预测的识别模式，它是人工智能（Artificial Intelligence，常简称为AI）的一个重要子领域。 1.2 机器学习的发展历史 从机器学习发展的过程上来说，其发展的时间轴如下所示： 图 1-1 机器学习发展历程 人工智能之机器学习 2 2 技术篇 2.1 机器学习算法分类 机器学习算法可以按照不同的标准来进行分类。比如按函数f (x，θ)的不同，机器学习算法可以分为线性模型和非线性模型；按照学习准则的不同，机器学习算法也可以分为统计方法和非统计方法。但一般来说，我们会按照训练样本提供的信息以及反馈方式的不同，将机器学习算法分为监督学习、无监督学习和强化学习[2]。 图 2-1 机器学习分类 2.2 机器学习的经典代表算法 1980年机器学习作为一支独立的力量登上了历史舞台。在这之后的10年里出现了一些重要的方法和理论，典型的代表是：分类与回归树（CART，1984）、反向传播算法（1986）、卷积神经网络（1989）。从1990到2012年，机器学习逐渐走向成熟和应用，在这20多年里机器学习的理论和方法得到了完善和充实，可谓是百花齐放的年代。代表性的重要成果有：支持向量机（SVM，1995）、AdaBoost算法（1997）、循环神经网络和LSTM（1997）、流形学习（2000）、随机森林（2001）。机器学习代表算法包括[3]：  线性回归  分类与回归树（CART） 技术篇 3  随机森林（Random Forest）  逻辑回归  朴素贝叶斯（Naive Bayesian）  k最近邻（kNN）  AdaBoost  K-均值算法（K-Means）  支持向量机（SVM）  人工神经网络ANN（Artificial Neural Network） 2.3 生成对抗网络及对抗机器学习 2.3.1 生成对抗网络 生成对抗网络（Generative Adversarial Networks, GAN）是用于无监督学习的机器学习模型，由Ian Goodfellow等人在2014年提出，由神经网络构成判别器和生成器构成，通过一种互相竞争的机制组成的一种学习框架，GAN在深度学习领域掀起了一场革命。传统的生成模型最早要追溯到80年代的RBM，以及后来逐渐使用深度神经网络进行包装的AutoEncoder，然后就是现在称得上最火的生成模型GAN[4]。 图 2-2 GAN发展脉络 人工智能之机器学习 4 2.3.2 对抗机器学习 对抗机器学习是一个机器学习与计算机安全的交叉领域。对抗机器学习旨在给恶意环境下的机器学习技术提供安全保障。由于机器学习技术一般研究的是同一个或较为稳定的数据分布，当部署到现实中的时候，由于恶意用户的存在，这种假设并不一定成立。比如研究人员发现，一些精心设计的对抗样本（adversarial example）可以使机器学习模型失败输出正确的结果[5]。针对模型的攻击问题，我们主要分为两大类，就是从训练阶段和推理（inference）阶段来进行讨论[6]。  训练阶段的攻击 训练阶段的恶意攻击（T