来自|专知
【导读】今日,深度学习三巨头之一,Geoffrey Hinton经过twitter颁布了自己在2012年准备的MOOC课程——设备学习中的神经网络。课程中仔细介绍了神经网络的各样概念与特点,虽然来自于5年前,但仍不失为一份特别有道理的讲解,特此编译如下。
作者简介
Geoffrey Hinton,被叫作为“神经网络之父”、“深度学习鼻祖”,他曾得到爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授。在2012年,Hinton还得到了加拿大基廉奖(Killam Prizes,有“加拿大诺贝尔奖”之叫作的国家最高科学奖)。2013年,Hinton 加入谷歌并带领一个AI团队,他将神经网络带入到科研与应用的热潮,将“深度学习”从边缘课题变成为了谷歌等互联网巨头仰赖的核心技术,并将反向传播算法应用到神经网络与深度学习。
作者主页:
https://www.cs.toronto.edu/~hinton/
课程介绍
这次颁布的课程共有16节,基本涵盖了神经网络关联的各个知识点,正如hinton所说,课程中有些算法已然过时,但其中的理论基本仍然在为今天的各类主流算法供给着靠谱的支持,针对算法科研者来讲,重温经典有助于加深对这一行业的理解,并对将来的科研方向起到必定的借鉴道理。
视频链接:
https://www.cs.toronto.edu/~hinton/coursera_lectures.html
资源获取方式
在公众号输入关键词“GHNM”获取资源
课程内容大纲
第1节
咱们为何需要神经网络
什么是神经网络
有些简单的神经元模型
有些简单的例子
三种学习任务
第二节
重点神经网络类型概览
感知机:第1代神经网络
感知机的几何视角
为何学习办法有用
感知机不可做什么?
第三节
线性神经元的权重学习
线性神经元的误差表现
规律回归神经元的权重学习
反向传播算法
怎样运用反向传播算法计算
学习下一个单词的预测模型
认知科学
在神经概率语言模型中处理大规模输出的办法
第五节
目的识别问题的难点所在
得到观点不变性的办法
面向手写字体识别的卷积神经网络办法
面向目的识别问题的卷积神经网络办法
第六节
小批量梯度下降问题概览
小批量梯度下降的训练技巧
动力学办法
针对每一个连接的独立、自适应的学习率
rmsprop
序列建模:简要概述
运用反向传播训练RNN
RNN训练样例
为何RNN难以训练
长短期记忆网络
第八节
Hessian-Free优化问题概述
字符串建模
运用HF预测下一个字符
状态网络
加强泛化指标办法概述
限制权重规模
运用噪声进行正则
贝叶斯办法介绍
处理权重开销的快速办法
第十节
为何有助于模型联结
混合系统
完整贝叶斯学习办法
全贝叶斯学习实践
Dropout
第十一章
Hopfield网络
处理hopfiled网络的局部最小值问题
运用随机单元加强搜索能力
玻尔兹曼机模型数据
第十二章
玻尔兹曼机学习网络
更有效的办法
限制玻尔兹曼机
对比发散学习的例子
协同过滤中的RBM模型
第十三章
反向传播办法
Belief 网络
Sigmoid Belief 网络学习
wake-sleep算法
第十四章
层叠玻尔兹曼机特征学习
DBN微调
在调试过程中出现了什么?
RBM是有限的Sigmoid Belief Net
第十五章
从原理层面分析自编码器办法
深度自动编码器
用于文档检索与可视化的深度自编码器
语义哈希
图像检索
用于与训练的窄自编码器
第十六章
图像与描述信息的联合学习模型
分层协调框架
神经网络超参的贝叶斯优化
前进的迷雾
—完—
为您举荐
【资源】954页《数据可视化》手册
官推!用TensorFlow2.0做深度学习入门
送你一座GitHub上的“金矿”
381页设备学习数学基本PDF下载
AI圣经 PRML《模式识别与机器学习》
|