嵌入式深度學習檢視原始碼討論檢視歷史

《嵌入式深度學習》，副標題：算法和硬件實現技術，[比] 伯特·穆恩斯，[美] 丹尼爾·班克曼，[比] 瑪 著，出版社： 機械工業出版社。

機械工業出版社成立於1950年，是建國後國家設立的第一家科技出版社，前身為科學技術出版社，1952年更名為機械工業出版社。機械工業出版社（以下簡稱機工社）由機械工業信息研究院作為主辦單位，目前隸屬於國務院國資委。

內容簡介

本書面向的是供能受限的嵌入式平台，在這樣的平台上部署深度學習應用，能耗是最重要的指標。本書詳細介紹如何在應用層、算法層、硬件架構層和電路層進行設計和優化，以及跨層次的軟硬件協同設計，以使深度學習應用能以大力度優惠的能耗運行在電池容量受限的可穿戴設備上。本書適合從事深度學習硬件架構、深度學習軟硬件協同設計等研究的高校學生閱讀，也可供從事相關領域工作的技術人員參考。

目錄

譯者序

前言

致謝

縮寫詞

第1章嵌入式深度神經網絡1

1.1簡介1

1.2機器學習2

1.2.1任務T3

1.2.2性能度量P3

1.2.3經驗E4

1.3深度學習4

1.3.1深度前饋神經網絡6

1.3.2卷積神經網絡8

1.3.3循環神經網絡16

1.3.4訓練深度神經網絡18

1.4嵌入式深度神經網絡的挑戰25

1.5本書創新點27

參考文獻29

第2章優化的層次級聯處理34

2.1簡介34

2.2層次級聯繫統36

2.2.1泛化的兩級喚醒系統36

2.2.2層次化的代價、精度和召回率37

2.2.3層次化分類器的Roofline模型40

2.2.4優化的層次級聯感知42

2.3概念的一般性證明43

2.3.1系統描述43

2.3.2輸入統計45

2.3.3實驗46

2.3.4本節小結48

2.4案例研究：基於CNN的層次化人臉識別49

2.4.1人臉識別的分層結構49

2.4.2層次化的代價、精度和召回率51

2.4.3優化的人臉識別分層結構52

2.5小結55

參考文獻56

第3章硬件–算法協同優化58

3.1簡介58

3.1.1利用網絡結構59

3.1.2增強並利用稀疏性63

3.1.3增強並利用容錯性64

3.2低精度神經網絡的能量增益66

3.2.1片外訪存的能耗67

3.2.2硬件平台的一般性建模68

3.3測試時定點神經網絡69

3.3.1分析和實驗70

3.3.2量化對分類準確率的影響70

3.3.3稀疏FPNN的能耗73

3.3.4結果75

3.3.5討論76

3.4訓練時量化神經網絡77

3.4.1訓練QNN78

3.4.2QNN的能耗81

3.4.3實驗81

3.4.4結果84

3.4.5討論88

3.5聚類神經網絡88

3.6小結90

參考文獻91

第4章近似計算的電路技術95

4.1近似計算範式簡介95

4.2近似計算技術98

4.2.1容錯分析與質量管理98

4.2.2近似電路99

4.2.3近似架構100

4.2.4近似軟件101

4.2.5討論102

4.3DVAFS：動態電壓精度頻率調節102

4.3.1DVAFS基礎102

4.3.2DVAFS的容錯識別105

4.3.3DVAFS的能量增益106

4.4DVAFS的性能分析109

4.4.1模塊級的DVAFS109

4.4.2系統級的DVAFS111

4.5DVAFS實現的挑戰115

4.5.1基礎DVA（F）S模塊的功能實現115

4.5.2基礎DVA（F）S模塊的物理實現117

4.6小結和討論118

參考文獻119

第5章Envision：能耗可調節的稀疏卷積神經網絡處理122

5.1神經網絡加速122

5.2針對嵌入式CNN的二維MAC處理器架構124

5.2.1處理器數據通路125

5.2.2片上存儲架構128

5.2.3利用網絡稀疏性的硬件支持130

5.2.4通過定製化指令集實現高能效的靈活性132

5.3基於40nm CMOS的DVAS兼容的Envision處理器133

5.3.1RTL級的硬件支持134

5.3.2物理實現135

5.3.3測量結果136

5.3.4Envision V1回顧143

5.4基於28nm FD-SOI的DVAFS兼容的Envision處理器144

5.4.1RTL級硬件支持146

5.4.2物理實現147

5.4.3測量結果147

5.4.4Envision V2回顧156

5.5小結157

參考文獻158

第6章BinarEye：常開的數字及混合信號二值神經網絡處理160

6.1二值神經網絡160

6.1.1簡介160

6.1.2二值神經網絡層161

6.2二值神經網絡應用165

6.3可編程的輸入到標籤的加速器架構167

6.3.1256X：基礎的BinaryNet計算架構169

6.3.2SX：靈活的DVAFSBinaryNet計算架構178

6.4MSBNN：混合信號的256X實現182

6.4.1開關電容神經元陣列183

6.4.2測量結果184

6.4.3模擬信號通路代價188

6.5BinarEye：數字的SX實現189

6.5.1全數字的二值神經元189

6.5.2物理實現190

6.5.3測量結果190

6.5.4BinarEye中的DVAFS194

6.5.5與最優選水平的對比195

6.6數字與模擬二值神經網絡的實現對比197

6.7展望與未來工作200

6.8小結202

參考文獻204

第7章結論、貢獻和未來工作206

7.1結論207

7.2未來工作的建議210

參考文獻211

索引212