課程時長：３天

第1部分 深度學習入門基礎

　　2.1 K-means特征學習

　　1）通過最小化數據點和最近鄰中心的距離來尋找各個類中心

　　2）矢量量化vector quantization

　　3）數據、預處理、初始化

　　4）與稀疏特征學習的比較

　　5）在圖像識別上的應用

　　6）構建深度網絡

　　7）案例實現與分析

　　2.2 稀疏濾波Sparse Filtering

　　1）核心思想

　　2）非監督特征學習

　　3）特征分布

　　4）Sparse filtering

　　5）Deep Sparse filtering

　　6）與divisive normalization的聯系

　　7）與ICA 和sparse coding的聯系

　　8）案例實現與分析

　　2.3 單層非監督學習網絡

　　1）網絡中隱含層神經元節點的個數，采集的密度和感知區域大小

　　2）非監督特征學習框架

　　3）特征學習：

　　4）特征提取與分類

　　5）案例實現與分析

　　2.4 CNN卷積神經網絡推導和實現

　　1）全連接的反向傳播算法

　　2）Convolutional Neural Networks 卷積神經網絡

　　3）CNN的訓練過程

　　4）案例實現與分析

　　2.5 Multi-Stage多級架構分析

　　1）分級多層

　　2）濾波器組層Filter Bank Layer-FCSG

　　3）校正層Rectification Layer-Rabs

　　4）局部對比度歸一化層Local Contrast Normalization Layer

　　5）平均池化和子采樣層Average Pooling and Subsampling Layer

　　6）最大值池化和子采樣層Max-Pooling and Subsampling Layer

　　7）案例實現與分析

　　2.6 深度網絡高層特征可視化

　　1）模型：DBNs、降噪自動編碼器

　　2）Maximizing the activation 最大化激活值

　　3）Sampling from a unit of a Deep Belief Network 從DBN的一個節點中采樣

　　4）Linear combination of previous layers’ filters 上層濾波器的線性組合

　　5）實驗：Data and setup、Activation Maximization、Sampling a unit、Comparison of methods

　　6）綜合案例實現與分析

第2部分 深度學習進階大綱

　　1）關于特征

• ① 特征表示的粒度
• ② 初級（淺層）特征表示
• ③ 結構性特征表示
• ④ 需要有多少個特征？

　　2）Deep Learning的基本思想

　　3）淺層學習（Shallow Learning）和深度學習（Deep Learning）

　　4）Deep learning與Neural Network

　　5）Deep learning訓練過程

• ① 傳統神經網絡的訓練方法
• ② deep learning訓練過程

　　6）Deep Learning的常用模型或者方法

• ① AutoEncoder自動編碼器
• ② Sparse Coding稀疏編碼
• ③ Restricted Boltzmann Machine(RBM)限制波爾茲曼機
• ④ Deep Belief Networks深信度網絡
• ⑤ Convolutional Neural Networks卷積神經網絡

　　7）CNN

　　8）DNN

　　9）TDNN

　　10）LSTM