【干货】Geoffrey Hinton《神经网络设备学习》经典课程

9q13nh

来自|专知

【导读】今日，深度学习三巨头之一，Geoffrey Hinton经过twitter颁布了自己在2012年准备的MOOC课程——设备学习中的神经网络。课程中仔细介绍了神经网络的各样概念与特点，虽然来自于5年前，但仍不失为一份特别有道理的讲解，特此编译如下。

作者简介

Geoffrey Hinton，被叫作为“神经网络之父”、“深度学习鼻祖”，他曾得到爱丁堡大学人工智能的博士学位，并且为多伦多大学的特聘教授。在2012年，Hinton还得到了加拿大基廉奖(Killam Prizes，有“加拿大诺贝尔奖”之叫作的国家最高科学奖)。2013年，Hinton 加入谷歌并带领一个AI团队，他将神经网络带入到科研与应用的热潮，将“深度学习”从边缘课题变成为了谷歌等互联网巨头仰赖的核心技术，并将反向传播算法应用到神经网络与深度学习。

作者主页：

https://www.cs.toronto.edu/~hinton/

课程介绍

这次颁布的课程共有16节，基本涵盖了神经网络关联的各个知识点，正如hinton所说，课程中有些算法已然过时，但其中的理论基本仍然在为今天的各类主流算法供给着靠谱的支持，针对算法科研者来讲，重温经典有助于加深对这一行业的理解，并对将来的科研方向起到必定的借鉴道理。

视频链接：

https://www.cs.toronto.edu/~hinton/coursera_lectures.html

资源获取方式

在公众号输入关键词“GHNM”获取资源

课程内容大纲

第1节

咱们为何需要神经网络

什么是神经网络

有些简单的神经元模型

有些简单的例子

三种学习任务

第二节

重点神经网络类型概览

感知机：第1代神经网络

感知机的几何视角

为何学习办法有用

感知机不可做什么？

第三节

线性神经元的权重学习

线性神经元的误差表现

规律回归神经元的权重学习

反向传播算法

怎样运用反向传播算法计算

学习下一个单词的预测模型

认知科学

在神经概率语言模型中处理大规模输出的办法

第五节

目的识别问题的难点所在

得到观点不变性的办法

面向手写字体识别的卷积神经网络办法

面向目的识别问题的卷积神经网络办法

第六节

小批量梯度下降问题概览

小批量梯度下降的训练技巧

动力学办法

针对每一个连接的独立、自适应的学习率

rmsprop

序列建模：简要概述

运用反向传播训练RNN

RNN训练样例

为何RNN难以训练

长短期记忆网络

第八节

Hessian-Free优化问题概述

字符串建模

运用HF预测下一个字符

状态网络

加强泛化指标办法概述

限制权重规模

运用噪声进行正则

贝叶斯办法介绍

处理权重开销的快速办法

第十节

为何有助于模型联结

混合系统

完整贝叶斯学习办法

全贝叶斯学习实践

Dropout

第十一章

Hopfield网络

处理hopfiled网络的局部最小值问题

运用随机单元加强搜索能力

玻尔兹曼机模型数据

第十二章

玻尔兹曼机学习网络

更有效的办法

限制玻尔兹曼机

对比发散学习的例子

协同过滤中的RBM模型

第十三章

反向传播办法

Belief 网络

Sigmoid Belief 网络学习

wake-sleep算法

第十四章

层叠玻尔兹曼机特征学习

DBN微调

在调试过程中出现了什么？

RBM是有限的Sigmoid Belief Net

第十五章

从原理层面分析自编码器办法

深度自动编码器

用于文档检索与可视化的深度自编码器

语义哈希

图像检索

用于与训练的窄自编码器

第十六章

图像与描述信息的联合学习模型

分层协调框架

神经网络超参的贝叶斯优化

前进的迷雾

—完—

为您举荐

【资源】954页《数据可视化》手册

官推！用TensorFlow2.0做深度学习入门

送你一座GitHub上的“金矿”

381页设备学习数学基本PDF下载

AI圣经 PRML《模式识别与机器学习》

taiker

对于这个问题，我有不同的看法...