掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
高效深度學習 模型壓縮與設計 版權信息
- ISBN：9787121480591
- 條形碼：9787121480591 ; 978-7-121-48059-1
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
高效深度學習 模型壓縮與設計 本書特色
全彩印制 高效模塊設計、模型剪枝、模型量化、模型二值化、神經網絡架構搜索、知識蒸餾、定制化硬件加速器的設計及大語言模型的加速和壓縮 高效模型壓縮與設計，釋放大模型潛能，賦能千行百業 清華大學電子工程系汪玉 寧雪妃 作品 權威：出自芯片領域著名專家之手 系統：梳理模型壓縮與設計關鍵技術 經驗：提供實踐中總結的分析思路和經驗 前沿：結合大模型壓縮與加速
高效深度學習 模型壓縮與設計 內容簡介
本書系統地介紹了高效模型壓縮和模型設計的方法，在編寫上兼顧理論和實踐。本書主體部分詳細介紹了模型壓縮的方法論，包括高效模塊設計、模型剪枝、模型量化、模型二值化、神經網絡架構搜索、知識蒸餾幾大部分。另外，簡要介紹了定制化硬件加速器的設計及大語言模型的加速和壓縮。
高效深度學習 模型壓縮與設計 目錄
第1部分 基礎
1 緒論 2
1.1 神經網絡技術的發展 2
1.2 神經網絡的高效化需求 3
1.3 神經網絡的高效化路徑 4
1.4 本書主要內容 6
2 基礎知識 7
2.1 優化問題 7
2.1.1 優化問題的定義和分類 7
2.1.2 優化方法的分類 9
2.2 卷積神經網絡模型 10
2.2.1 基礎模塊 10
2.2.2 代表性模型介紹 13
2.3 視覺Transformer 模型 15
2.3.1 基礎模塊 16
2.3.2 模型分類與總結 18
第2部分 高效模型壓縮方法論
3 高效模塊設計 20
3.1 概述 20
3.2 代表性模型介紹 21
3.2.1 SqueezeNet 21
3.2.2 MobileNet 系列 22
3.2.3 ShuffleNet 系列 24
3.2.4 GhostNet 26
3.2.5 ConvNeXt 27
3.2.6 VoVNet 系列 28
3.2.7 RepVGG 29
3.3 高效模塊的5 個設計維度 30
3.4 本章小結 31
4 模型剪枝 32
4.1 模型剪枝的定義和分類 32
4.2 模型敏感度分析方法 34
4.2.1 層內和層間敏感度分析 34
4.2.2 層內敏感度分析指標 35
4.3 結構化剪枝方法 37
4.3.1 基于權重正則的結構化剪枝方法 37
4.3.2 基于搜索的結構化剪枝方法 39
4.3.3 給定資源限制的條件下的結構化剪枝方法 44
4.4 近似低秩分解方法 47
4.5 非結構化剪枝方法 48
4.6 半結構化剪枝方法 51
4.7 針對激活值的剪枝方法 53
4.8 剪枝方法的經驗性選擇 55
4.8.1 剪枝流程的選擇 55
4.8.2 剪枝稀疏模式的選擇 56
4.8.3 關于任務性能的經驗 56
4.9 Group Lasso 結構化剪枝的實踐案例 57
4.10 本章小結 60
5 模型量化 61
5.1 模型量化的定義和分類 61
5.2 模型量化過程和量化推理過程 64
5.3 量化格式和操作 65
5.3.1 均勻量化格式 66
5.3.2 非均勻量化格式 68
5.3.3 三種量化操作 71
5.4 量化參數 73
5.4.1 縮放系數 73
5.4.2 零點位置 74
5.4.3 量化位寬 74
5.5 訓練后量化75
5.5.1 訓練后量化的流程 75
5.5.2 重參數化 76
5.5.3 縮放系數的選取方法 80
5.5.4 量化值調整 83
5.6 量化感知訓練 87
5.6.1 基礎與流程 87
5.6.2 調整模型架構的方法 90
5.6.3 量化器設計的技巧 92
5.6.4 常用的訓練技巧 97
5.7 混合位寬量化 97
5.7.1 基于敏感度指標的混合位寬量化 97
5.7.2 基于搜索的混合位寬量化 99
5.8 量化方法的經驗性選擇 100
5.8.1 量化流程的選擇 100
5.8.2 數據表示的設計和決定 100
5.8.3 算子的選擇與處理和計算圖的調整 102
5.8.4 關于任務性能的經驗 104
5.9 拓展：低比特推理硬件實現 104
5.9.1 定點計算的硬件效率 104
5.9.2 浮點計算轉定點計算的原理 105
5.9.3 非均勻量化格式的計算 111
5.9.4 典型的計算單元和加速器架構 112
5.10 拓展：低比特訓練簡介 115
5.10.1 應用背景 115
5.10.2 挑戰分析 116
5.10.3 相關工作 116
5.11 本章小結 117
6 模型二值化 118
6.1 模型二值化的定義和分類 118
6.2 模型二值化的基礎：以XNOR-Net 為例 120
6.3 二值化方式 122
6.3.1 樸素二值化方式 123
6.3.2 間接二值化方式 127
6.4 訓練技巧 131
6.4.1 修改損失函數 132
6.4.2 降低梯度估計誤差 133
6.4.3 多階段的訓練方法 135
6.4.4 訓練經驗 136
6.5 架構設計 137
6.5.1 模型架構的調整 138
6.5.2 模型架構搜索 141
6.5.3 集成方法與動態模型 142
6.6 模型二值化在其他任務與架構中的應用 142
6.7 本章小結 144
7 神經網絡架構搜索146
7.1 神經網絡架構搜索的定義和分類 146
7.2 搜索空間 149
7.2.1 人工設計搜索空間 150
7.2.2 自動設計搜索空間 154
7.2.3 總結 156
7.3 搜索策略 157
7.3.1 基于強化學習的搜索策略 157
7.3.2 基于進化算法的搜索策略 159
7.3.3 隨機搜索策略 160
7.3.4 基于架構性能預測器的搜索策略 160
7.3.5 總結 164
7.4 評估策略 165
7.4.1 獨立訓練策略 166
7.4.2 基于權重共享的單次評估策略 167
7.4.3 基于權重生成的單次評估策略 172
7.4.4 零次評估策略 172
7.5 可微分神經網絡架構搜索 175
7.5.1 連續松弛方法 175
7.5.2 優化方法 176
7.5.3 搜索坍縮問題 177
7.5.4 更高效的可微分搜索算法 179
7.6 考慮硬件效率的神經網絡架構搜索 180
7.6.1 考慮硬件效率的搜索空間設計 181
7.6.2 硬件效率指標的加速評估方法 182
7.6.3 考慮多種硬件效率目標的搜索策略 184
7.6.4 面向多種硬件設備及約束的神經網絡架構搜索方法 186
7.7 本章小結 188
8 知識蒸餾 190
8.1 知識蒸餾的定義和分類 190
8.2 知識類型和知識分量：“學什么” 192
8.2.1 基于響應的知識 192
8.2.2 基于特征的知識 194
8.2.3 基于關系的知識 197
8.3 知識來源：“向誰學” 199
8.3.1 離線蒸餾 199
8.3.2 互學習 199
8.3.3 自蒸餾200
8.4 本章小結 201
第3部分 拓展和前沿
9 相關領域：高效靈活的AI 推理硬件和系統 203
9.1 概述 203
9.2 硬件加速器設計和軟硬件協同優化 204
9.2.1 從CPU 到硬件加速器 204
9.2.2 AI 加速器中的軟硬件協同優化 206
9.2.3 Roofline 分析模型 207
9.2.4 基于指令集的AI 加速器 210
9.3 神經網絡計算資源虛擬化 211
9.3.1 虛擬化的概念 211
9.3.2 AI 加速器的時分復用與空分復用虛擬化 212
9.3.3 相關工作簡介 214
9.4 本章小結 215
10 前沿應用：大語言模型的加速和壓縮 218
10.1 大語言模型的發展 218
10.2 大語言模型的架構和推理過程 219
10.3 大語言模型的高效性分析 220
10.3.1 效率瓶頸 220
10.3.2 優化路徑 221
10.4 典型的大語言模型的壓縮方法：量化 223
10.5 本章小結 226
后記 227
參考文獻 229
1 緒論 2
1.1 神經網絡技術的發展 2
1.2 神經網絡的高效化需求 3
1.3 神經網絡的高效化路徑 4
1.4 本書主要內容 6
2 基礎知識 7
2.1 優化問題 7
2.1.1 優化問題的定義和分類 7
2.1.2 優化方法的分類 9
2.2 卷積神經網絡模型 10
2.2.1 基礎模塊 10
2.2.2 代表性模型介紹 13
2.3 視覺Transformer 模型 15
2.3.1 基礎模塊 16
2.3.2 模型分類與總結 18
第2部分 高效模型壓縮方法論
3 高效模塊設計 20
3.1 概述 20
3.2 代表性模型介紹 21
3.2.1 SqueezeNet 21
3.2.2 MobileNet 系列 22
3.2.3 ShuffleNet 系列 24
3.2.4 GhostNet 26
3.2.5 ConvNeXt 27
3.2.6 VoVNet 系列 28
3.2.7 RepVGG 29
3.3 高效模塊的5 個設計維度 30
3.4 本章小結 31
4 模型剪枝 32
4.1 模型剪枝的定義和分類 32
4.2 模型敏感度分析方法 34
4.2.1 層內和層間敏感度分析 34
4.2.2 層內敏感度分析指標 35
4.3 結構化剪枝方法 37
4.3.1 基于權重正則的結構化剪枝方法 37
4.3.2 基于搜索的結構化剪枝方法 39
4.3.3 給定資源限制的條件下的結構化剪枝方法 44
4.4 近似低秩分解方法 47
4.5 非結構化剪枝方法 48
4.6 半結構化剪枝方法 51
4.7 針對激活值的剪枝方法 53
4.8 剪枝方法的經驗性選擇 55
4.8.1 剪枝流程的選擇 55
4.8.2 剪枝稀疏模式的選擇 56
4.8.3 關于任務性能的經驗 56
4.9 Group Lasso 結構化剪枝的實踐案例 57
4.10 本章小結 60
5 模型量化 61
5.1 模型量化的定義和分類 61
5.2 模型量化過程和量化推理過程 64
5.3 量化格式和操作 65
5.3.1 均勻量化格式 66
5.3.2 非均勻量化格式 68
5.3.3 三種量化操作 71
5.4 量化參數 73
5.4.1 縮放系數 73
5.4.2 零點位置 74
5.4.3 量化位寬 74
5.5 訓練后量化75
5.5.1 訓練后量化的流程 75
5.5.2 重參數化 76
5.5.3 縮放系數的選取方法 80
5.5.4 量化值調整 83
5.6 量化感知訓練 87
5.6.1 基礎與流程 87
5.6.2 調整模型架構的方法 90
5.6.3 量化器設計的技巧 92
5.6.4 常用的訓練技巧 97
5.7 混合位寬量化 97
5.7.1 基于敏感度指標的混合位寬量化 97
5.7.2 基于搜索的混合位寬量化 99
5.8 量化方法的經驗性選擇 100
5.8.1 量化流程的選擇 100
5.8.2 數據表示的設計和決定 100
5.8.3 算子的選擇與處理和計算圖的調整 102
5.8.4 關于任務性能的經驗 104
5.9 拓展：低比特推理硬件實現 104
5.9.1 定點計算的硬件效率 104
5.9.2 浮點計算轉定點計算的原理 105
5.9.3 非均勻量化格式的計算 111
5.9.4 典型的計算單元和加速器架構 112
5.10 拓展：低比特訓練簡介 115
5.10.1 應用背景 115
5.10.2 挑戰分析 116
5.10.3 相關工作 116
5.11 本章小結 117
6 模型二值化 118
6.1 模型二值化的定義和分類 118
6.2 模型二值化的基礎：以XNOR-Net 為例 120
6.3 二值化方式 122
6.3.1 樸素二值化方式 123
6.3.2 間接二值化方式 127
6.4 訓練技巧 131
6.4.1 修改損失函數 132
6.4.2 降低梯度估計誤差 133
6.4.3 多階段的訓練方法 135
6.4.4 訓練經驗 136
6.5 架構設計 137
6.5.1 模型架構的調整 138
6.5.2 模型架構搜索 141
6.5.3 集成方法與動態模型 142
6.6 模型二值化在其他任務與架構中的應用 142
6.7 本章小結 144
7 神經網絡架構搜索146
7.1 神經網絡架構搜索的定義和分類 146
7.2 搜索空間 149
7.2.1 人工設計搜索空間 150
7.2.2 自動設計搜索空間 154
7.2.3 總結 156
7.3 搜索策略 157
7.3.1 基于強化學習的搜索策略 157
7.3.2 基于進化算法的搜索策略 159
7.3.3 隨機搜索策略 160
7.3.4 基于架構性能預測器的搜索策略 160
7.3.5 總結 164
7.4 評估策略 165
7.4.1 獨立訓練策略 166
7.4.2 基于權重共享的單次評估策略 167
7.4.3 基于權重生成的單次評估策略 172
7.4.4 零次評估策略 172
7.5 可微分神經網絡架構搜索 175
7.5.1 連續松弛方法 175
7.5.2 優化方法 176
7.5.3 搜索坍縮問題 177
7.5.4 更高效的可微分搜索算法 179
7.6 考慮硬件效率的神經網絡架構搜索 180
7.6.1 考慮硬件效率的搜索空間設計 181
7.6.2 硬件效率指標的加速評估方法 182
7.6.3 考慮多種硬件效率目標的搜索策略 184
7.6.4 面向多種硬件設備及約束的神經網絡架構搜索方法 186
7.7 本章小結 188
8 知識蒸餾 190
8.1 知識蒸餾的定義和分類 190
8.2 知識類型和知識分量：“學什么” 192
8.2.1 基于響應的知識 192
8.2.2 基于特征的知識 194
8.2.3 基于關系的知識 197
8.3 知識來源：“向誰學” 199
8.3.1 離線蒸餾 199
8.3.2 互學習 199
8.3.3 自蒸餾200
8.4 本章小結 201
第3部分 拓展和前沿
9 相關領域：高效靈活的AI 推理硬件和系統 203
9.1 概述 203
9.2 硬件加速器設計和軟硬件協同優化 204
9.2.1 從CPU 到硬件加速器 204
9.2.2 AI 加速器中的軟硬件協同優化 206
9.2.3 Roofline 分析模型 207
9.2.4 基于指令集的AI 加速器 210
9.3 神經網絡計算資源虛擬化 211
9.3.1 虛擬化的概念 211
9.3.2 AI 加速器的時分復用與空分復用虛擬化 212
9.3.3 相關工作簡介 214
9.4 本章小結 215
10 前沿應用：大語言模型的加速和壓縮 218
10.1 大語言模型的發展 218
10.2 大語言模型的架構和推理過程 219
10.3 大語言模型的高效性分析 220
10.3.1 效率瓶頸 220
10.3.2 優化路徑 221
10.4 典型的大語言模型的壓縮方法：量化 223
10.5 本章小結 226
后記 227
參考文獻 229
展開全部
高效深度學習 模型壓縮與設計 作者簡介
汪玉，清華大學電子工程系長聘教授、系主任，IEEE Fellow，國家自然科學基金杰出青年基金獲得者，清華大學信息科學技術學院副院長，清華大學天津電子信息研究院院長。長期從事智能芯片、高能效電路與系統的研究，曾獲得4次國際學術會議最佳論文獎及12次最佳論文提名。曾獲CCF科學技術獎技術發明一等獎、國際設計自動化會議40歲以下創新者獎、CCF青竹獎等榮譽。2016年，知識成果轉化入股深鑒科技，打造了世界一流的深度學習計算平臺；2018年，深鑒科技被業內龍頭企業賽靈思（現AMD）收購。2023年，推動成立無問芯穹，形成面向大模型的軟硬件聯合優化平臺，在國內外10余種芯片上實現了業界領先的大模型推理性能。 寧雪妃，清華大學電子工程系助理研究員。主要研究方向為高效深度學習。支撐深鑒科技、無問芯穹的早期模型壓縮和部署工具鏈工作；參與10余項高效深度學習相關項目；在機器學習、計算機視覺、設計自動化領域發表學術論文40余篇，其中包含在NeurIPS、ICLR、ICML、CVPR、ICCV、ECCV、AAAI、TPAMI上發表的學術論文共20篇；帶領團隊在NeurIPS18和CVPR20會議上獲得國際比賽獎項。
書友推薦
- >
姑媽的寶刀
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
有舍有得是人生
- >
二體千字文
- >
龍榆生：詞曲概論/大家小書
- >
羅曼·羅蘭讀書隨筆-精裝
- >
推拿
- >
【精裝繪本】畫給孩子的中國神話
本類暢銷
