深度學(xué)習(xí) 版權(quán)信息
- ISBN:9787111776109
- 條形碼:9787111776109 ; 978-7-111-77610-9
- 裝幀:平裝-膠訂
- 冊(cè)數(shù):暫無
- 重量:暫無
- 所屬分類:>
深度學(xué)習(xí) 本書特色
本書遵循教指委相關(guān)指導(dǎo)文件和高等院校學(xué)生學(xué)習(xí)規(guī)律編寫而成。踐行四新理念,融入思政元素,注重理論與實(shí)踐相結(jié)合。
深度學(xué)習(xí) 內(nèi)容簡(jiǎn)介
本書主要介紹深度學(xué)習(xí)方面的基本理論和方法,具體包括基礎(chǔ)內(nèi)容、提高性內(nèi)容和應(yīng)用三個(gè)部分。其中,基礎(chǔ)性內(nèi)容是深度學(xué)習(xí)*核心部分,具體包括:機(jī)器學(xué)習(xí)基本概念及數(shù)學(xué)知識(shí)、全連接網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、以及優(yōu)化算法。第二部分是提高性內(nèi)容,主要是闡述*新發(fā)展的一些技術(shù),可供課時(shí)充足的專業(yè)進(jìn)行學(xué)習(xí)。這部分主要包括:GAN生成對(duì)抗網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、Transformer與注意力機(jī)制,以及深度強(qiáng)化學(xué)習(xí)。本書第三部分是應(yīng)用部分,具體包括:計(jì)算機(jī)視覺、自然語言處理,以及大語言模型。
深度學(xué)習(xí)深度學(xué)習(xí) 前言
前言
近年來,以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)得到了快速發(fā)展,并在諸多領(lǐng)域展現(xiàn)出明顯的優(yōu)勢(shì)。作為輻射性非常強(qiáng)的高科技、應(yīng)用性學(xué)科,人工智能技術(shù)可以很好地服務(wù)于國家與區(qū)域經(jīng)濟(jì)建設(shè),在這種情況下,發(fā)展人工智能技術(shù)也成為一些國家和地區(qū)的戰(zhàn)略性選擇,因此,對(duì)人才培養(yǎng)等提出了很高的要求。為了加快智能類人才培養(yǎng),2018年4月,制定《高等學(xué)校人工智能創(chuàng)新行動(dòng)計(jì)劃》,力圖為我國新一代人工智能發(fā)展提供戰(zhàn)略支撐。近期建設(shè)目標(biāo)主要包括建設(shè)“人工智能 X”復(fù)合特色專業(yè)和相應(yīng)的人工智能學(xué)院、研究院或交叉研究中心。
深度學(xué)習(xí)是智能科學(xué)與技術(shù)、人工智能等專業(yè)的必修課程,對(duì)于計(jì)算機(jī)科學(xué)與技術(shù)、自動(dòng)化等專業(yè)而言,深度學(xué)習(xí)也是一門非常重要的專業(yè)選修課程。因此,近年來,全國不少高校都開設(shè)了深度學(xué)習(xí)方面的課程,急需編寫合適的教材用于課堂教學(xué)。目前,深度學(xué)習(xí)方面的一些書籍主要是翻譯自國外的教材和專著,或者是一些網(wǎng)上的學(xué)習(xí)心得,相比教材,它們更適合作為學(xué)習(xí)參考書和資料。因此,對(duì)于深度學(xué)習(xí)教學(xué)而言,編寫一本與課時(shí)數(shù)相匹配,且非常適合本科生知識(shí)體系的教材尤為迫切,這也是當(dāng)前全國智能類相關(guān)專業(yè)教師的迫切需求。可以預(yù)見,本書的出版將會(huì)很好地服務(wù)于我國智能類本科人才培養(yǎng),因此它具有很好的市場(chǎng)前景。
深度學(xué)習(xí) 目錄
前言
第1章 深度學(xué)習(xí)基礎(chǔ)1
1.1 深度學(xué)習(xí)應(yīng)用舉例1
1.1.1 ChatGPT1
1.1.2 圖像及視頻生成4
1.1.3 古卷軸破譯5
1.2 機(jī)器學(xué)習(xí)基礎(chǔ)6
1.2.1 機(jī)器學(xué)習(xí)簡(jiǎn)介與基本概念6
1.2.2 機(jī)器學(xué)習(xí)問題分類7
1.2.3 數(shù)據(jù)準(zhǔn)備和預(yù)處理10
1.2.4 構(gòu)建機(jī)器學(xué)習(xí)模型11
1.2.5 模型訓(xùn)練與評(píng)估13
1.2.6 模型泛化能力15
1.3 微積分基礎(chǔ)15
1.3.1 微分與導(dǎo)數(shù)16
1.3.2 函數(shù)近似與泰勒展開16
1.3.3 多元函數(shù)及其偏導(dǎo)數(shù)16
1.3.4 復(fù)合函數(shù)及鏈?zhǔn)椒▌t17
1.4 線性代數(shù)基礎(chǔ)17
1.4.1 向量17
1.4.2 矩陣18
1.4.3 梯度20
1.4.4 特征分解與奇異值分解20
1.5 概率統(tǒng)計(jì)基礎(chǔ)21
1.5.1 隨機(jī)變量21
1.5.2 概率分布21
1.5.3 期望與方差22
1.5.4 條件概率與貝葉斯法則23
1.5.5 極大似然估計(jì)23
本章小結(jié)24
思考題與習(xí)題24
參考文獻(xiàn)24
第2章 全連接網(wǎng)絡(luò)25
2.1 網(wǎng)絡(luò)結(jié)構(gòu)25
2.1.1 生物神經(jīng)結(jié)構(gòu)26
2.1.2 隱藏層26
2.2 激活函數(shù)27
2.2.1 ReLU函數(shù)28
2.2.2 SoftPlus函數(shù)28
2.2.3 Sigmoid函數(shù)29
2.2.4 tanh函數(shù)30
2.2.5 GeLU函數(shù)31
2.2.6 其他激活函數(shù)31
2.3 損失函數(shù)31
2.3.1 均方誤差損失32
2.3.2 平均絕對(duì)誤差損失32
2.3.3 平滑L1損失33
2.3.4 交叉熵?fù)p失33
2.3.5 KL散度損失35
2.3.6 其他損失函數(shù)35
2.4 反向傳播36
2.4.1 標(biāo)量形式的反向傳播36
2.4.2 梯度消失與梯度爆炸37
2.4.3 計(jì)算圖38
2.4.4 向量形式的反向傳播42
2.5 異或問題44
本章小結(jié)45
思考題與習(xí)題45
參考文獻(xiàn)46
第3章 卷積神經(jīng)網(wǎng)絡(luò)47
3.1 卷積層47
3.1.1 卷積運(yùn)算47
3.1.2 卷積的特點(diǎn)50
3.1.3 卷積的數(shù)學(xué)性50
3.2 其他卷積類型51
3.2.1 轉(zhuǎn)置卷積51
3.2.2 空洞卷積53
3.2.3 分組卷積54
3.2.4 可分離卷積55
3.3 池化層57
3.3.1 平均池化57
3.3.2 *大池化58
3.3.3 *大池化和平均池化的區(qū)別59
3.3.4 PyTorch實(shí)現(xiàn)59
3.4 卷積層與全連接層比較60
3.5 經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)60
3.5.1 LeNet60
3.5.2 AlexNet61
3.5.3 VGG62
3.5.4 GoogleNet63
3.5.5 ResNet63
3.6 卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)64
本章小結(jié)65
思考題與習(xí)題65
參考文獻(xiàn)65
第4章 循環(huán)神經(jīng)網(wǎng)絡(luò)67
4.1 序列問題67
4.2 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)68
4.2.1 隱狀態(tài)69
4.2.2 權(quán)值共享69
4.2.3 輸入與輸出編碼70
4.2.4 深度循環(huán)網(wǎng)絡(luò)71
4.2.5 雙向循環(huán)網(wǎng)絡(luò)72
4.2.6 梯度消失與爆炸73
4.2.7 PyTorch實(shí)現(xiàn)74
4.3 門控循環(huán)單元74
4.3.1 GRU單元74
4.3.2 PyTorch實(shí)現(xiàn)76
4.4 長短時(shí)記憶網(wǎng)絡(luò)76
4.4.1 長短時(shí)記憶網(wǎng)絡(luò)中的門控單元76
4.4.2 LSTM的歷史和相關(guān)變體78
4.4.3 PyTorch實(shí)現(xiàn)79
4.5 編碼器-解碼器架構(gòu)81
本章小結(jié)81
思考題與習(xí)題82
參考文獻(xiàn)82
第5章 優(yōu)化算法83
5.1 訓(xùn)練深度網(wǎng)絡(luò)的挑戰(zhàn)83
5.1.1 凸函數(shù)與非凸函數(shù)83
5.1.2 局部極小值點(diǎn)與鞍點(diǎn)84
5.1.3 深度學(xué)習(xí)訓(xùn)練中的其他挑戰(zhàn)85
5.2 隨機(jī)梯度下降85
5.2.1 梯度下降85
5.2.2 隨機(jī)梯度下降86
5.2.3 小批量SGD88
5.2.4 初始化88
5.2.5 學(xué)習(xí)率89
5.2.6 梯度截?cái)?1
5.3 動(dòng)量法92
5.3.1 重球法94
5.3.2 指數(shù)移動(dòng)平均94
5.3.3 Nesterov加速法95
5.3.4 PyTorch實(shí)現(xiàn)96
5.4 自適應(yīng)學(xué)習(xí)率算法97
5.4.1 AdaGrad97
5.4.2 RMSProp98
5.4.3 Adam99
5.4.4 AdamW101
5.5 批量規(guī)范化和層規(guī)范化102
本章小結(jié)104
思考題與習(xí)題105
參考文獻(xiàn)105
第6章 生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型107
6.1 生成對(duì)抗網(wǎng)絡(luò)107
6.1.1 什么是生成對(duì)抗網(wǎng)絡(luò)107
6.1.2 生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用范圍108
6.2 生成對(duì)抗網(wǎng)絡(luò)的原理110
6.2.1 生成模型110
6.2.2 判別模型112
6.2.3 訓(xùn)練過程113
6.3 生成對(duì)抗網(wǎng)絡(luò)的可視化與實(shí)踐114
6.3.1 生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練過程可視化114
6.3.2 生成對(duì)抗網(wǎng)絡(luò)的衍生結(jié)構(gòu)115
6.4 擴(kuò)散模型116
6.4.1 什么是擴(kuò)散模型116
6.4.2 擴(kuò)散模型的使用范圍117
6.5 擴(kuò)散模型的原理117
6.5.1 擴(kuò)散模型的基礎(chǔ)117
6.5.2 擴(kuò)散模型的核心思想119
6.5.3 擴(kuò)散模型的數(shù)學(xué)原理119
6.6 生成對(duì)抗網(wǎng)絡(luò)與擴(kuò)散模型的結(jié)合123
6.6.1 結(jié)合的優(yōu)勢(shì)123
6.6.2 結(jié)合的改進(jìn)策略124
6.6.3 擴(kuò)散模型與AIGC應(yīng)用124
本章小結(jié)126
思考題與習(xí)題126
參考文獻(xiàn)126
第7章 圖神經(jīng)網(wǎng)絡(luò)127
7.1 圖嵌入向量127
7.1.1 節(jié)點(diǎn)嵌入127
7.1.2 邊嵌入128
7.1.3 圖嵌入128
7.1.4 圖嵌入方法128
7.2 圖生成模型129
7.2.1 一種圖生成網(wǎng)絡(luò)IDGL129
7.2.2 GAN在圖上的應(yīng)用131
7.2.3 基于VAE的圖生成模型(GraphVAE)132
7.2.4 基于GAN的圖生成模型(GraphGAN)132
7.3 圖神經(jīng)網(wǎng)絡(luò)方法133
7.3.1 圖卷積神經(jīng)網(wǎng)絡(luò)133
7.3.2 圖注意力網(wǎng)絡(luò)136
7.3.3 動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)138
7.3.4 異構(gòu)圖神經(jīng)網(wǎng)絡(luò)139
7.3.5 大規(guī)模圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略141
7.4 圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)——以GCN為例142
7.4.1 模型構(gòu)建142
7.4.2 基于PyTorch的GCN模型實(shí)現(xiàn)142
7.4.3 網(wǎng)絡(luò)訓(xùn)練143
7.5 典型應(yīng)用舉例144
7.5.1 圖神經(jīng)網(wǎng)絡(luò)用于節(jié)點(diǎn)分類144
7.5.2 圖神經(jīng)網(wǎng)絡(luò)用于鏈接預(yù)測(cè)145
7.5.3 圖神經(jīng)網(wǎng)絡(luò)用于圖分類145
7.5.4 圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的應(yīng)用145
7.5.5 圖神經(jīng)網(wǎng)絡(luò)在交通預(yù)測(cè)中的應(yīng)用145
7.5.6 圖神經(jīng)網(wǎng)絡(luò)在計(jì)算化學(xué)和藥物發(fā)現(xiàn)中的應(yīng)用146
7.5.7 圖神經(jīng)網(wǎng)絡(luò)在社交網(wǎng)絡(luò)分析中的應(yīng)用146
本章小結(jié)146
思考題與習(xí)題146
參考文獻(xiàn)147
第8章 Transformer與Mamba架構(gòu)148
8.1 自注意力機(jī)制148
8.1.1 自注意力機(jī)制的定義148
8.1.2 自注意力機(jī)制的數(shù)學(xué)邏輯149
8.1.3 多頭自注意力149
8.2 Transformer150
8.2.1 定義與原理150
8.2.2 模型結(jié)構(gòu)151
8.2.3 架構(gòu)分析156
8.3 Vision Transformer157
8.3.1 定義與原理157
8.3.2 模型結(jié)構(gòu)158
8.3.3 架構(gòu)分析160
8.4 Mamba架構(gòu)161
8.4.1 定義與原理161
8.4.2 模型結(jié)構(gòu)161
8.4.3 架構(gòu)分析162
8.5 Vision Mamba163
8.6 性能對(duì)比167
8.6.1 Transformer性能分析167
8.6.2 Mamba架構(gòu)性能分析167
8.6.3 對(duì)比與展望168
本章小結(jié)168
思考題與習(xí)題168
參考文獻(xiàn)169
第9章 強(qiáng)化學(xué)習(xí)170
9.1 有限馬爾可夫決策過程170
9.1.1 形式化定義170
9.1.2 策略與值函數(shù)171
9.1.3 *優(yōu)策略與*優(yōu)值函數(shù)172
9.2 深度值函數(shù)強(qiáng)化學(xué)習(xí)172
9.2.1 Q學(xué)習(xí)算法172
9.2.2 深度Q網(wǎng)絡(luò)173
9.2.3 DQN的改進(jìn)算法175
9.3 直接策略搜索方法176
9.3.1 策略梯度算法176
9.3.2 近端策略優(yōu)化算法177
9.3.3 深度確定性策略梯度算法178
9.4 多智能體強(qiáng)化學(xué)習(xí)180
9.4.1 多智能體系統(tǒng)的挑戰(zhàn)性180
9.4.2 MADDPG算法181
9.4.3 值分解強(qiáng)化學(xué)習(xí)算法183
9.4.4 MAPPO算法184
9.5 典型應(yīng)用舉例185
9.5.1 可控核聚變185
9.5.2 AlphaGo系列機(jī)器人186
9.5.3 AlphaStar187
本章小結(jié)188
思考題與習(xí)題188
參考文獻(xiàn)188
第10章 計(jì)算機(jī)視覺190
10.1 概述190
10.2 圖像分類191
10.2.1 基本概念191
10.2.2 圖像分類基本方法195
10.2.3 應(yīng)用場(chǎng)景200
10.2.4 發(fā)展趨勢(shì)201
10.3 目標(biāo)檢測(cè)202
10.3.1 基本概念203
10.3.2 常用數(shù)據(jù)集204
10.3.3 R-CNN系列模型205
10.3.4 YOLO系列模型207
10.3.5 評(píng)價(jià)指標(biāo)209
10.3.6 應(yīng)用場(chǎng)景209
10.3.7 發(fā)展趨勢(shì)210
10.4 語義分割211
10.4.1 基本概念211
10.4.2 常用數(shù)據(jù)集211
10.4.3 經(jīng)典語義分割模型212
10.4.4 評(píng)價(jià)指標(biāo)215
10.4.5 應(yīng)用場(chǎng)景216
10.4.6 發(fā)展趨勢(shì)217
本章小結(jié)218
思考題與習(xí)題218
參考文獻(xiàn)218
第11章 自然語言處理220
11.1 概述220
11.2 NLP問題簡(jiǎn)介223
11.2.1 自然語言理解223
11.2.2 自然語言生成225
11.3 詞嵌入226
11.3.1 預(yù)訓(xùn)練226
11.3.2 Word2Vec228
11.3.3 負(fù)采樣229
11.4 情感分析230
11.4.1 情感分析及數(shù)據(jù)預(yù)處理231
11.4.2 使用循環(huán)神經(jīng)網(wǎng)絡(luò)233
11.4.3 使用卷積神經(jīng)網(wǎng)絡(luò)236
11.4.4 使用Transformer238
11.5 NLP應(yīng)用——聊天機(jī)器人240
11.5.1 問答系統(tǒng)簡(jiǎn)介240
11.5.2 基于大語言模型的聊天機(jī)器人實(shí)踐242
本章小結(jié)249
思考題與習(xí)題249
參考文獻(xiàn)250
第12章 大語言模型251
12.1 BERT模型 251
12.1.1 BERT模型架構(gòu)251
12.1.2 BERT預(yù)訓(xùn)練技術(shù)253
12.1.3 用BERT表示文本253
12.2 GPT模型254
12.2.1 GPT模型架構(gòu)254
12.2.2 GPT預(yù)訓(xùn)練254
12.2.3 GPT1到GPT4的聯(lián)系與區(qū)別255
12.3 大語言模型微調(diào)方法255
12.3.1 提示詞調(diào)優(yōu)256
12.3.2 前綴調(diào)優(yōu)256
12.3.3 LoRA257
12.3.4 適配器調(diào)優(yōu)257
12.4 多模態(tài)語言大模型258
12.4.1 模型架構(gòu)259
12.4.2 多模態(tài)大模型訓(xùn)練260
12.4.3 多模態(tài)語言大模型實(shí)例260
12.5 大語言模型驅(qū)動(dòng)的智能體系統(tǒng)261
12.5.1 AI Agent架構(gòu)262
12.5.2 推理關(guān)鍵技術(shù)262
12.5.3 智能系統(tǒng)實(shí)例266
本章小結(jié)267
思考題與習(xí)題267
參考文獻(xiàn)268
深度學(xué)習(xí) 作者簡(jiǎn)介
2013年,獲得國家自然科學(xué)基金杰出青年基金資助;2017年,入選長江學(xué)者特聘教授。2019年,入選國家百千萬人才工程;2020年,獲得國務(wù)院政府特殊津貼;2022年,獲得天津市(研究生)教學(xué)成果一等獎(jiǎng)(排名第1);2023年,獲得國家(本科)教學(xué)成果二等獎(jiǎng)(排名第1)。
- >
人文閱讀與收藏·良友文學(xué)叢書:一天的工作
- >
大紅狗在馬戲團(tuán)-大紅狗克里弗-助人
- >
名家?guī)阕x魯迅:朝花夕拾
- >
史學(xué)評(píng)論
- >
朝聞道
- >
唐代進(jìn)士錄
- >
山海經(jīng)
- >
經(jīng)典常談