機器學習及其硬件實現

來自 孔夫子網 的圖片

《機器學習及其硬件實現》，出版社： 機械工業出版社，ISBN：9787111739500。

機械工業出版社成立於1950年，是建國後國家設立的第一家科技出版社，前身為科學技術出版社，1952年更名為機械工業出版社。機械工業出版社（以下簡稱機工社）由機械工業信息研究院作為主辦單位，目前隸屬於國務院國資委。

目錄

內容簡介

本書主要討論機器學習、形態計算和神經網絡的理論及應用，專注於機器學習加速器和硬件開發。本書從傳統的微處理架構發展歷程入手，介紹在後摩爾定律和後丹納德微縮定律下，新型架構的發展趨勢和影響執行性能的各類衡量指標。然後從應用領域、ASIC和特定領域架構三個角度展示了設計特定的硬件實現所需考慮的諸多因素。接着結合機器學習開發過程及其性能提升方法（如模型壓縮、編碼、近似、優化等）介紹硬件實現的細節。給出機器學習硬件實現的大量案例，展示機器如何獲得思維能力。本書適合有一定機器學習基礎並希望了解更多技術發展趨勢的讀者閱讀。

目錄

譯者序

前言

第1章　簡介 1

1.1　機器學習的曙光 1

1.1.1　「Jeopardy!」中的IBM Watson

挑戰 1

1.1.2　ImageNet挑戰 2

1.1.3　谷歌AlphaGo挑戰職業

圍棋選手 2

1.2　機器學習及其應用 3

1.2.1　定義 3

1.2.2　應用 3

1.3　學習及其性能指標 4

1.3.1　學習前的準備 5

1.3.2　學習方法 7

1.3.3　性能指標和驗證 8

1.4　例子 11

1.4.1　工業4.0 11

1.4.2　交易（區塊鏈） 12

1.5　機器學習的總結 15

1.5.1　與人工智能的區別 15

1.5.2　炒作周期 15

第2章　傳統的微架構 16

2.1　微處理器 16

2.1.1　處理器核心的微架構 16

2.1.2　微處理器的編程模型 17

2.1.3　微處理器的複雜性 18

2.1.4　超標量處理器的優點和

缺點 20

2.1.5　寄存器文件的規模 20

2.1.6　分支預測及其懲罰 20

2.2　多核處理器 21

2.2.1　眾核的概念 21

2.2.2　編程模型 21

2.3　數字信號處理器 22

2.3.1　DSP的概念 22

2.3.2　DSP微架構 23

2.4　圖形處理單元 24

2.4.1　GPU的概念 24

2.4.2　GPU微架構 24

2.4.3　GPU上的編程模型 26

2.4.4　將GPU應用於計算系統 26

2.5　現場可編程門陣列 27

2.5.1　FPGA的概念 27

2.5.2　FPGA微架構 27

2.5.3　FPGA設計流程 28

2.5.4　將FGPA應用於計算系統 29

2.6　特定領域架構的前景 30

2.6.1　過去的計算機行業 30

2.6.2　機器學習硬件的歷史 31

2.6.3　重新審視機器學習硬件 32

2.7　執行性能的衡量指標 34

2.7.1　延遲和吞吐量 34

2.7.2　每秒的操作數 35

2.7.3　能耗和功耗 36

2.7.4　能效 37

2.7.5　利用情況 39

2.7.6　數據重用 40

2.7.7　面積 41

2.7.8　成本 41

第3章　機器學習及其實現 43

3.1　神經元及其網絡 43

3.2　神經形態計算 45

3.2.1　脈衝時序依賴可塑性和

學習 45

3.2.2　神經形態計算硬件 46

3.2.3　地址-事件表示 48

3.3　神經網絡 49

3.3.1　神經網絡模型 50

3.3.2　以前和現在的神經網絡 52

3.3.3　神經網絡硬件 53

3.4　用於模擬實現的內存單元 57

第4章　應用、ASIC和特定領域架構 58

4.1　應用 58

4.1.1　應用的概念 58

4.2　應用的特徵 59

4.2.1　局部性 59

4.2.2　死鎖 60

4.2.3　依賴性 62

4.2.4　時間和空間操作 64

4.3　特定應用的集成電路 65

4.3.1　設計約束 65

4.3.2　模塊化結構和大規模生產 69

4.3.3　牧村波動 70

4.3.4　設計流程 71

4.4　特定領域架構 71

4.4.1　特定領域架構簡介 71

4.4.2　特定領域語言 72

4.5　機器學習硬件 73

4.6　深度學習上的推理分析和訓練

分析 74

4.6.1　深度學習上的推理分析 74

4.6.2　深度學習上的訓練分析 76

第5章　機器學習模型開發 79

5.1　開發過程 79

5.1.1　開發周期 79

5.1.2　交叉驗證 80

5.1.3　軟件棧 81

5.2　編譯器 82

5.2.1　ONNX 82

5.2.2　NNVM 83

5.2.3　TensorFlow XLA 83

5.3　代碼優化 83

5.3.1　提取數據級並行 83

5.3.2　內存訪問優化 84

5.4　Python腳本語言和虛擬機 85

5.4.1　Python和優化 85

5.4.2　虛擬機 86

5.5　計算統一設備架構 87

第6章　性能提升方法 89

6.1　模型壓縮 89

6.1.1　剪枝 89

6.1.2　dropout 93

6.1.3　dropconnect 94

6.1.4　蒸餾 94

6.1.5　主成分分析 96

6.1.6　權重共享 97

6.2　數值壓縮 99

6.2.1　量化和數值精度 100

6.2.2　對內存占用和推理準確性

的影響 103

6.2.3　切邊和剪裁 109

6.3　編碼 110

6.3.1　遊程編碼 110

6.3.2　霍夫曼編碼 111

6.3.3　壓縮的效果 113

6.4　零值跳過 116

6.4.1　零值跳過的概念 116

6.4.2　CSR和CSC的稀疏表示 116

6.4.3　零值跳過的用例 119

6.5　近似 121

6.5.1　近似的概念 121

6.5.2　激活函數近似 121

6.5.3　乘法器的近似 123

6.6　優化 125

6.6.1　模型優化 125

6.6.2　數據流優化 126

6.7　性能提升方法的總結 128

第7章　硬件實現的案例研究 130

7.1　神經形態計算 130

7.1.1　模擬邏輯電路 130

7.1.2　數字邏輯電路 131

7.2　深度神經網絡 135

7.2.1　模擬邏輯電路 135

7.2.2　DSP 137

7.2.3　FPGA 139

7.2.4　ASIC 145

7.3　量子計算 175

7.4　研究案例的總結 175

7.4.1　神經形態計算的案例

研究 181

7.4.2　深度神經網絡的案例

研究 181

7.4.3　神經形態計算和深度神經

網絡硬件之間的比較 182

第8章　硬件實現的關鍵 183

8.1　市場增長預測 183

8.1.1　IoT市場 183

8.1.2　機器人市場 184

8.1.3　大數據和機器學習市場 184

8.1.4　藥物研發中的人工智能

市場 185

8.1.5　FPGA市場 185

8.1.6　深度學習芯片市場 185

8.2　設計和成本之間的權衡 186

8.3　硬件實現策略 188

8.3.1　策略規劃的要求 188

8.3.2　基本策略 191

8.3.3　替代因子 193

8.4　硬件設計要求概述 193

第9章　結論 194

附錄A　深度學習基礎 195

A.1　等式模型 195

A.1.1　前饋神經網絡模型 196

A.1.2　激活函數 196

A.1.3　輸出層 197

A.1.4　學習和反向傳播 197

A.1.5　參數初始化 201

A.2　用於深度學習的矩陣操作 201

A.2.1　矩陣表示及其布局 202

A.2.2　用於學習的矩陣操作

序列 203

A.2.3　學習優化 203

A.2.4　偏置-方差問題 203

附錄B　深度學習硬件建模 205

B.1　深度學習硬件的概念 205

B.1.1　參數空間與傳播之間的

關係 205

B.1.2　基本的深度學習硬件 206

B.2　深度學習硬件上的數據流 206

B.3　機器學習硬件架構 207

附錄C　高級神經網絡模型 208

C.1　CNN變體 208

C.1.1　卷積架構 208

C.1.2　卷積的後向傳播 210

C.1.3　卷積的變體 213

C.1.4　深度卷積對抗生成

網絡 215

C.2　RNN變體 215

C.2.1　RNN架構 215

C.2.2　LSTM和GRU單元 216

C.2.3　公路網絡 218

C.3　自編碼器變體 218

C.3.1　堆式去噪自編碼器 218

C.3.2　梯形網絡 219

C.3.3　變分自編碼器 220

C.4　殘差網絡 221

C.4.1　殘差網絡的概念 221

C.4.2　殘差網絡效應 221

C.5　圖神經網絡 222

C.5.1　圖神經網絡的概念 222

附錄D　國家研究、趨勢和投資 224

D.1　中國 224

D.1.1　下一代人工智能發展

計劃 224

D.2　美國 225

D.2.1　SyNAPSE計劃 225

D.2.2　UPSIDE計劃 225

D.2.3　MICrONS計劃 225

D.3　歐洲 225

D.4　日本 226

D.4.1　內政及通信省 226

D.4.2　文部科學省 226

D.4.3　日本經濟貿易產業省 226

D.4.4　內務省 227

附錄E　機器學習對社會的影響 228

E.1　產業 228

E.1.1　過去的產業 228

E.1.2　下一個產業 230

E.1.3　開源的軟件和硬件 230

E.1.4　社會企業和共享經濟 231

E.2　機器學習與我們 231

E.2.1　機器學習可替代的領域 231

E.2.2　產業整合 232

E.2.3　一個簡化的世界 232

E.3　社會與個人 233

E.3.1　將編程引入教育 233

E.3.2　價值改變 233

E.3.3　社會支持 235

E.3.4　犯罪 235

E.4　國家 236

E.4.1　警察和檢察官 236

E.4.2　行政、立法和司法 236

E.4.3　軍事 236

參考文獻 237