文本介绍了三种无监督学习的Generative Model：Pixel RNN，Variational Auto-encoder(VAE)和Generative Adversarial Network(GAN)。

文本介绍了Auto-encoder（自编码器）的基本思想，与PCA的联系，从单层编码到多层的变化；以及Auto-encoder的一些应用，包括在文字搜索和图像搜索上的应用，预训练DNN，利用CNN实现自编码器，加噪声的自编码器等。

本文介绍了一些非线性降维算法，包括LLE(Locally Linear Embedding，局部线性嵌入)、Laplacian Eigenmaps(拉普拉斯特征映射)和t-SNE(T-distributed Stochastic Neighbor Embedding，t分布随机邻居嵌入t-SNE)。

本文介绍了NLP领域中的Word Embedding（词嵌入），它是specific用在word上的Dimension Reduction方法，介绍了常用的两种方法：Count-based和Prediction-based，以及Word Embedding的一些应用。

Unsupervised learning（无监督学习）可以做的事大致可以分为Clustering（聚类），Dimension Reduction（降维）和Generation。本文先简单介绍了Clustering，然后主要从数学推导和理解component的含义这两个角度来介绍了Dimension Redunction中常用的一种方法PCA(Principe Component Analysis，主成分分析），最后简单介绍了Matrix Factorization。

本文主要介绍了Semi-supervised Learning（半监督学习）的概念，Semi-supervised Learning for Generative model，以及做Semi-supervised Learning时常用的两种假设：Low-density Separation Assumption和Smoothness Assumption。

本文从一个例子-Slot Filling出发，介绍了Recurrent Neural Network(RNN，循环神经网络)的基本概念和作用，RNN的几种变形，其中重点介绍了Long Short-term Memory(LSTM），以及如何训练RNN，和RNN在NLP领域的一些具体应用。

本文分别介绍了Adam和SGDM这两种Optimizers的几种改进的优化方法。

本文从改善模型在Training Data上的表现和在Testing Data上表现，这两个方面介绍了Deep Learning的几个Tips，前者包括New activation function和Adaptive Learning Rate，后者包括Early Stopping，Regularization和Dropout。

本文主要介绍了Convolutional Neural Network，CNN（卷积神经网络）的基本概念和结构，以及Convolution层和Max pooling层的实现方式和作用；相比于DNN，它是如何实现减少参数的。CNN并不是一个黑盒子，我们是可以分析它的learn的过程中学到了什么。最后用CNN应用在Alpha Go，Speech，Text中的三个例子来说明我们应该充分考虑task的特性去设计合理的network strcuture。