深度學習為人工智能帶來了巨大突破，也成為機器學習領(lǐng)域一顆閃耀的新星。雖然相關(guān)學習資料豐富，但大部分內(nèi)容較為龐雜且難以理解，并對初學者的相關(guān)理論知識與實踐能力有較高的要求，這使得大部分想進入這一領(lǐng)域的初學者望而卻步。本書去繁化簡地對深度學習的理論知識進行了梳理，并對算法實現(xiàn)做出了淺顯易懂的講解，適合初學者進行學習。結(jié)合本書的內(nèi)容，讀者可以快速對深度學習進行實踐。通過啟發(fā)式的自學模式，可以使讀者由淺入深地學習并掌握常用的深度學習模型，為進一步使用開源的深度學習平臺與工具提供理論與實踐基礎(chǔ)。 本書可作為高等院校計算機專業(yè)的本科生或研究生教材，也可供對深度學習感興趣的研究人員和工程技術(shù)人員閱讀參考。

目錄

第1章 深度學習的發(fā)展介紹 1
1.1 如何閱讀本書 3
1.2 深度學習沉浮史 3
1.2.1 模擬生物大腦的瘋狂遠古時代 4
1.2.2 聯(lián)結(jié)主義近代 5
1.2.3 百花齊放，層次結(jié)構(gòu)主導，模型巨大的當代 6
1.3 Python簡易教程 7
1.3.1 Anaconda搭建 7
1.3.2 IPython Notebook使用 7
1.3.3 Python基本用法 8
1.3.4 NumPy 15
1.3.5 Matplotlib 23
1.4 參考文獻 25
第2章機器學習快速入門 27
2.1 學習算法 28
2.1.1 學習任務(wù) 29
2.1.2 性能度量 30
2.1.3 學習經(jīng)驗 32
2.2 代價函數(shù) 33
2.2.1 均方誤差函數(shù) 33
2.2.2 極大似然估計 34
2.3 梯度下降法 36
2.3.1 批量梯度下降法 38
2.3.2 隨機梯度下降法 39
2.4 過擬合與欠擬合 40
2.4.1 沒免費午餐理論 42
2.4.2 正則化 43
2.5 超參數(shù)與驗證集 44
2.6 Softmax編碼實戰(zhàn) 46
2.6.1 編碼說明 49
2.6.2 熟練使用CIFAR-10 數(shù)據(jù)集 50
2.6.3 顯式循環(huán)計算損失函數(shù)及其梯度 53
2.6.4 向量化表達式計算損失函數(shù)及其梯度 56
2.6.5 最小批量梯度下降算法訓練Softmax分類器 57
2.6.6 使用驗證數(shù)據(jù)選擇超參數(shù) 61
2.7 參考代碼 68
2.8 參考文獻 70
第3章前饋神經(jīng)網(wǎng)絡(luò) 72
3.1 神經(jīng)元 73
3.1.1 Sigmoid神經(jīng)元 74
3.1.2 Tanh神經(jīng)元 75
3.1.3 ReLU神經(jīng)元 76
3.2 前饋神經(jīng)網(wǎng)絡(luò) 80
3.2.1 輸出層單元 80
3.2.2 隱藏層單元 80
3.2.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計 81
3.3 BP算法 82
3.4 深度學習編碼實戰(zhàn)上 86
3.4.1 實現(xiàn)仿射傳播 88
3.4.2 實現(xiàn)ReLU傳播 91
3.4.3 組合單層神經(jīng)元 93
3.4.4 實現(xiàn)淺層神經(jīng)網(wǎng)絡(luò) 96
3.4.5 實現(xiàn)深層全連接網(wǎng)絡(luò) 101
3.5 參考代碼 109
3.6 參考文獻 113
第4章深度學習正則化 115
4.1 參數(shù)范數(shù)懲罰 116
4.1.1 L2參數(shù)正則化 118
4.1.2 L1正則化 119
4.2 參數(shù)綁定與參數(shù)共享 120
4.3 噪聲注入與數(shù)據(jù)擴充 120
4.4 稀疏表征 122
4.5 早停 123
4.6 Dropout 126
4.6.1 個體與集成 126
4.6.2 Dropout 127
4.7 深度學習編碼實戰(zhàn)中 129
4.7.1 Dropout傳播 131
4.7.2 組合Dropout傳播層 134
4.7.3 Dropout神經(jīng)網(wǎng)絡(luò) 136
4.7.4 解耦訓練器trainer 138
4.7.5 解耦更新器updater 143
4.7.6 正則化實驗 145
4.8 參考代碼 148
4.9 參考文獻 150
第5章深度學習優(yōu)化 152
5.1 神經(jīng)網(wǎng)絡(luò)優(yōu)化困難 153
5.1.1 局部最優(yōu) 153
5.1.2 鞍點 154
5.1.3 梯度懸崖 154
5.1.4 梯度消失或梯度爆炸 155
5.1.5 梯度不精確 156
5.1.6 優(yōu)化理論的局限性 156
5.2 隨機梯度下降 156
5.3 動量學習法 158
5.4 AdaGrad和RMSProp 159
5.5 Adam 160
5.6 參數(shù)初始化策略 161
5.7 批量歸一化 163
5.7.1 BN算法詳解 163
5.7.2 BN傳播詳解 165
5.8 深度學習編碼實戰(zhàn)下 166
5.8.1 Momentum 167
5.8.2 RMSProp 171
5.8.3 Adam 172
5.8.4 更新規(guī)則比較 174
5.8.5 BN前向傳播 176
5.8.6 BN反向傳播 180
5.8.7 使用BN的全連接網(wǎng)絡(luò) 182
5.8.8 BN算法與權(quán)重標準差比較 188
5.9 參考代碼 191
5.10 參考文獻 195
第6章卷積神經(jīng)網(wǎng)絡(luò) 196
6.1 卷積操作 197
6.2 卷積的意義 198
6.2.1 稀疏連接 199
6.2.2 參數(shù)共享 200
6.3 池化操作 201
6.4 設(shè)計卷積神經(jīng)網(wǎng)絡(luò) 204
6.4.1 跨步卷積 204
6.4.2 零填充 205
6.4.3 非共享卷積 206
6.4.4 平鋪卷積 207
6.5 卷積網(wǎng)絡(luò)編碼練習 208
6.5.1 卷積前向傳播 209
6.5.2 卷積反向傳播 212
6.5.3 最大池化前向傳播 215
6.5.4 最大池化反向傳播 218
6.5.5 向量化執(zhí)行 220
6.5.6 組合完整卷積層 223
6.5.7 淺層卷積網(wǎng)絡(luò) 224
6.5.8 空間批量歸一化 229
6.6 參考代碼 233
6.7 參考文獻 237
第7章循環(huán)神經(jīng)網(wǎng)絡(luò) 238
7.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 239
7.1.1 循環(huán)神經(jīng)元展開 239
7.1.2 循環(huán)網(wǎng)絡(luò)訓練 240
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計 242
7.2.1 雙向循環(huán)網(wǎng)絡(luò)結(jié)構(gòu) 242
7.2.2 編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu) 243
7.2.3 深度循環(huán)網(wǎng)絡(luò)結(jié)構(gòu) 244
7.3 門控循環(huán)神經(jīng)網(wǎng)絡(luò) 245
7.3.1 LSTM 246
7.3.2 門控循環(huán)單元 249
7.4 RNN編程練習 250
7.4.1 RNN單步傳播 252
7.4.2 RNN時序傳播 255
7.4.3 詞嵌入 258
7.4.4 RNN輸出層 261
7.4.5 時序Softmax損失 262
7.4.6 RNN圖片說明任務(wù) 264
7.5 LSTM編程練習 269
7.5.1 LSTM單步傳播 269
7.5.2 LSTM時序傳播 273
7.5.3 LSTM實現(xiàn)圖片說明任務(wù) 276
7.6 參考代碼 278
7.6.1 RNN參考代碼 278
7.6.2 LSTM參考代碼 282
7.7 參考文獻 285
第8章 TensorFlow快速入門 287
8.1 TensorFlow介紹 288
8.2 TensorFlow1.0安裝指南 289
8.2.1 雙版本切換Anaconda 289
8.2.2 安裝CUDA 8.0 291
8.2.3 安裝cuDNN 292
8.2.4 安裝TensorFlow 293
8.2.5 驗證安裝 294
8.3 TensorFlow基礎(chǔ) 295
8.3.1 Tensor 295
8.3.2 TensorFlow核心API教程 296
8.3.3 tf.train API 299
8.3.4 tf.contrib.learn 301
8.4 TensorFlow構(gòu)造CNN 305
8.4.1 構(gòu)建Softmax模型 305
8.4.2 使用TensorFlow訓練模型 307
8.4.3 使用TensorFlow評估模型 308
8.4.4 使用TensorFlow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò) 308
8.5 TensorBoard快速入門 311
8.5.1 TensorBoard可視化學習 312
8.5.2 計算圖可視化 316