深度学习、优化与识别

赵源欣

深度学习开启人工智能时代的钥匙！

深度学习充满诸多不确定性，除了超参数（隐层个数、每层上隐单元个数和激活函数）和策略技巧外，模块化的贡献愈来愈小，难以区分深度框架的原创性与有效性，而使其逐渐发展为一门“经验调参”学科。亟需从科学（数学分析、物理解释）角度，解剖这一“黑箱”的核心，本书便是从数据、模型、优化目标函数和求解等四方面详述深度学习领域出现的各个经典模型及框架的一个初步探索。

深度学习与人工智能全球梦

从单隐层神经网络到深度神经网络模型，迎来了神经网络发展的又一高潮，深度学习及其应用受到了前所未有的重视与关注，世界迎来又一轮人工智能变革的高潮，从谷歌脑到中国脑科学计划，再到互联网+和中国人工智能2.0，人工智能及深度学习也首次写进了2017年全国人民代表大会第十五次会议国务院政府工作报告。深度学习是人工智能及机器学习的一个重要方向，在未来，它将会不断出现激动人心的理论进展和方法实践，深刻影响我们生活的方方面面。

深度学习、优化与识别

焦李成， 赵进，杨淑媛，刘芳
清华大学出版社
2017年6月
我们依托智能感知与图像理解教育部重点实验室、智能感知与计算国际联合实验室及智能感知与计算国际联合研究中心于2014年成立了类脑计算与深度学习研究中心，致力于类脑计算与深度学习的基础与应用研究，搭建了多个深度学习应用平台，并在深度学习理论、应用及实现等方面取得了突破性的进展，本书即是我们在该领域研究工作的初步总结。

第一章 深度神经网络的数学基础

数学基础、稀疏表示（稀疏认知学习、计算与识别）、机器学习与神经网络

第二章 深度前馈神经网络

生物神经机理 ， 网络模型常见的三个问题：一是训练数据量少，待优化参数多，易导致过拟合现象；二是优化目标函数为非凸，可行域上分布着大量的鞍点和局部极值点，故参数初始化策略十分必要；三是优化求解易发生梯度弥散现象。

第三章 深度卷积神经网络

解决过拟合现象，深度卷积神经网络约减参数（核心理念：局部链接、权值共享、平移不变—下采样池化操作），结合正则化理论，有效克服过拟合现象； 反卷积神经网络（卷积稀疏编码网络）；全卷积神经网络；网络训练技巧：DropOut、批量归一化等。

第四章 深度堆栈自编码网络

理念：逐层学习+精调 ；核心模块：自编码网络（确定性的有稀疏自编码网络、降噪自编码网络、可伸缩性的自编码网络、卷积自编码网络等；概率形式的有变分自编码网络、受限玻尔兹曼机、玻尔兹曼机）；详述深度堆栈网络、深度置信网络等。

第五章 稀疏深度神经网络

稀疏性可有效地提升深度神经网络的泛化性能。

第六章 深度融合网络

深度学习的“深度”理念（注重简洁、其次准确），结合优化算法或机器学习中经典方法（支撑矢量机、主成分分析、独立成分分析、极限学习机、随机森林、稀疏编码、小波分析、多尺度几何分析等等），主要在参数初始化、模型构建多样性等方面充分发挥二者的优势，即“深度”带来的表达能力与经典方法的算法有效性（时效性、凸性）。

第七章 深度生成网络

深度生成网络，本书涉及的分为三部分：一是深度贝叶斯网络；二是生成式对抗网络（零和博弈，常见三问题模型稳定性差、生成图片质量低、网络收敛性弱，主要论述深度卷积生成式对抗网络、沃森斯坦距离生成式对抗网络、堆栈生成式对抗网络和对偶生成式对抗网络）；三是变分自编码网络。

第八章 深度复卷积神经网络与深度二值神经网络

从实数域到复数域，将深度卷积神经网络延拓至深度复卷积神经网络；另外为了改善实数域上的数值计算，将其改为二值运算（注意不是二元域上的逻辑操作），使得算法复杂度有效的得到降低。

第九章 深度循环/递归神经网络

自然语言处理（问答系统，图片标注、唇语识别等等），最为经典的技术——深度循环神经网络（Valliena网络和长短时记忆网络LSTM）和深度递归神经网络。

第十章 深度强化学习

深度学习具有强大的感知能力，结合强化学习的决策能力，在诸多经典的游戏（围棋）上形成“超人”的算法（如计算机围棋程序AlphaGo及其升级版Master等）。

第十一章 深度学习软件仿真平台与开发环境

当前，深度学习的热潮得益于大规模数据、网络模型设计与优化算法求解、硬件加速等三个核心方面的有效结合。其中硬件加速带来深度学习平台的迅猛发展，常用5大主流深度学习平台有Caffe、TensorFlow、MXNet、Torch和Theano（Keras）。

第十二章 基于深度神经网络的SAR/PolSAR影像地物分类

从光学图像到卫星影像分类任务的延拓，再从特征工程（包括特征提取与特征筛选，强调带有数据先验下的人工特征设计）到特征学习（较少的依赖数据中的先验特性）的过渡，深度神经网络显示出强大的表征能力与泛化性能。

第十三章 基于深度神经网络的SAR影像变化检测

变化检测是一个确定和评价各种地表现象随时间发生变化的过程。检测出两幅SAR影像之间发生变化的区域。根据具体的应用，对检测结果进行分析。本章从深度神经网络的模型出发，为解决SAR图像变化检测的相关问题提供一些思路。

第十四章 基于深度神经网络的高光谱图像分类与压缩

介绍深度神经网络在高光谱图像分类与压缩任务中的应用，如堆栈自编码、深度置信网络、深度卷积神经网络等。

第十五章 基于深度神经网络的目标检测与识别

不论是百度小度的“跨年龄人脸识别任务”，还是亚马逊的无人超市值守任务，都与目标检测与识别任务密不可分。深度神经网络发展了一系列的算法，从最初的R-CNN，到目前的Mask R-CNN，仅仅三年的时间间隔，让我们看到了人类能力的视觉水平实现了跨越式发展。

第十六章 总结与展望

大数据的背景下，硬件的加速发展带来计算能力的大幅度提升，表现在“复杂结构”下的深度神经网络其训练变得更为行之有效，另外深层的表达方式也弱化了对数据先验知识的依赖性。本章给出深度学习的发展脉络、网络模型的可塑性；以及结合应用任务分析，学术上进一步可研究的方向。

深度学习：从第一代深度学习模型到第二代深度学习模型，更多是理念的变革。

《深度学习、优化与识别》目录

本书特色

我国首部神经网络系统理论及应用专著（神经网络三部曲）作者，国家自然科学奖获得者焦李成教授最新著作《深度学习、优化与识别》！
本书作为深度学习的基础教材，覆盖了深度学习当前出现的诸多经典框架或模型，分为两个部分。第一部分系统地从数据、模型、优化目标函数和求解等四个方面论述了深度学习的理论及算法，如第一代深度学习网络中的卷积神经网络、深度堆栈网络、深度融合网络、深度复域、二值网络等，第二代深度学习模型中的深度生成模型、深度强化学习等；第二部分基于5种主流的深度学习平台给出了深度网络在自然图像、卫星遥感影像等领域的应用，如分类、变化检测、目标检测与识别等任务。另外给出了深度学习发展的脉络图及最新研究进展，提供可基于5种平台实现的47中深度网络代码，以便有兴趣的读者进一步钻研探索。

购书联系：清华大学出版社

购书方式一

购书方式二

　　衷心感谢智能感知与图像理解教育部重点实验室老师及同学的帮助，以及类脑计算与深度学习研究中心的所有成员。