掃一掃
關(guān)注中圖網(wǎng)
官方微博
中圖價(jià):¥69.3
加入購物車
實(shí)戰(zhàn)AI大模型 版權(quán)信息
- ISBN：9787111738787
- 條形碼：9787111738787 ; 978-7-111-73878-7
- 裝幀：簡裝本
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
實(shí)戰(zhàn)AI大模型 本書特色
《實(shí)戰(zhàn)AI大模型》詳細(xì)介紹了從基本概念到實(shí)踐技巧的諸多內(nèi)容，全方位解讀AI大模型，循序漸進(jìn)、由淺入深。書中配有二維碼視頻，使讀者身臨其境，迅速、深入地掌握各種經(jīng)驗(yàn)和技巧。本書還附帶了豐富的額外資源：開源工具和庫、數(shù)據(jù)集和模型案例研究和實(shí)際應(yīng)用、在線交流社區(qū)等。讀者可以綜合利用這些資源，獲得更豐富的學(xué)習(xí)體驗(yàn)，加速自己的學(xué)習(xí)和成長。
實(shí)戰(zhàn)AI大模型 內(nèi)容簡介
《實(shí)戰(zhàn)AI大模型》是一本旨在填補(bǔ)人工智能（AI）領(lǐng)域（特別是AI大模型）理論與實(shí)踐之間鴻溝的實(shí)用手冊。書中介紹了AI大模型的基礎(chǔ)知識(shí)和關(guān)鍵技術(shù)，如Transformer、BERT、ALBERT、T5、GPT系列、InstructGPT、ChatGPT、GPT 4、PaLM和視覺模型等，并詳細(xì)解釋了這些模型的技術(shù)原理、實(shí)際應(yīng)用以及高性能計(jì)算（HPC）技術(shù)的使用，如并行計(jì)算和內(nèi)存優(yōu)化。
同時(shí)，《實(shí)戰(zhàn)AI大模型》還提供了實(shí)踐案例，詳細(xì)介紹了如何使用Colossal AI訓(xùn)練各種模型。無論是人工智能初學(xué)者還是經(jīng)驗(yàn)豐富的實(shí)踐者，都能從本書學(xué)到實(shí)用的知識(shí)和技能，從而在迅速發(fā)展的AI領(lǐng)域中找到適合自己的方向。
實(shí)戰(zhàn)AI大模型 目錄
第1章 深度學(xué)習(xí)中的AI大模型
1.1 AI大模型在人工智能領(lǐng)域的興起
1.1.1 AI大模型的發(fā)展與挑戰(zhàn)
1.1.2 AI大模型為何難以訓(xùn)練
1.2 深度學(xué)習(xí)框架入門
1.2.1 搭建神經(jīng)網(wǎng)絡(luò)
1.2.2 訓(xùn)練一個(gè)文本分類器
第2章 分布式系統(tǒng)：AI大模型的誕生之所
2.1 深度學(xué)習(xí)與分布式系統(tǒng)
2.1.1 從分布式計(jì)算到分布式AI系統(tǒng)
2.1.2 大規(guī)模分布式訓(xùn)練平臺(tái)的關(guān)鍵技術(shù)
2.1.3 Colossal AI應(yīng)用實(shí)踐
2.2 AI大模型訓(xùn)練方法
2.2.1 梯度累積和梯度裁剪
2.2.2 大批量優(yōu)化器LARSLAMB
2.2.3 模型精度與混合精度訓(xùn)練
2.3 異構(gòu)訓(xùn)練
2.3.1 異構(gòu)訓(xùn)練的基本原理
2.3.2 異構(gòu)訓(xùn)練的實(shí)現(xiàn)策略
2.4 實(shí)戰(zhàn)分布式訓(xùn)練
2.4.1 Colossal AI環(huán)境搭建
2.4.2 使用Colossal AI訓(xùn)練**個(gè)模型
2.4.3 AI大模型的異構(gòu)訓(xùn)練
第3章 分布式訓(xùn)練：上千臺(tái)機(jī)器如何共同起舞
3.1 并行策略基礎(chǔ)原理
3.1.1 數(shù)據(jù)并行:*基本的并行訓(xùn)練范式
3.1.2 張量并行:層內(nèi)模型并行
3.1.3 流水線并行的原理與實(shí)現(xiàn)
3.2 高級(jí)并行策略基礎(chǔ)原理
3.2.1 序列并行:超長序列模型訓(xùn)練
3.2.2 混合并行:擴(kuò)展模型到千億參數(shù)
3.2.3 自動(dòng)并行:自動(dòng)化的分布式并行訓(xùn)練
3.3 實(shí)戰(zhàn)分布式訓(xùn)練
3.3.1 應(yīng)用模型并行策略的實(shí)際案例
3.3.2 結(jié)合多種并行策略的訓(xùn)練實(shí)踐
第4章 AI大模型時(shí)代的奠基石Transformer模型
4.1 自然語言處理基礎(chǔ)
4.1.1 自然語言任務(wù)介紹
4.1.2 語言輸入的預(yù)處理
4.1.3 序列到序列模型
4.2 Transformer詳解
4.2.1 Transformer模型結(jié)構(gòu)
4.2.2 注意力與自注意力機(jī)制
4.2.3 Transformer中的歸一化
4.3 Transformer的變體與擴(kuò)展
4.3.1 變體模型匯總
4.3.2 Transformer序列位置信息的編碼處理
4.3.3 Transformer訓(xùn)練
第5章 AI大幅度提升Google搜索質(zhì)量:BERT模型
5.1 BERT模型詳解
5.1.1 BERT模型總體架構(gòu)與輸入形式
5.1.2 BERT模型預(yù)訓(xùn)練任務(wù)
5.1.3 BERT模型的應(yīng)用方法
5.2 高效降低內(nèi)存使用的ALBERT模型
5.2.1 基于參數(shù)共享的參數(shù)縮減方法
5.2.2 句子順序預(yù)測（SOP）預(yù)訓(xùn)練任務(wù)
5.3 BERT模型實(shí)戰(zhàn)訓(xùn)練
5.3.1 構(gòu)建BERT模型
5.3.2 并行訓(xùn)練BERT模型
第6章 統(tǒng)一自然語言處理范式的T5模型
6.1 T5模型詳解
6.1.1 T5模型架構(gòu)和輸入輸出——文本到文本
6.1.2 T5模型預(yù)訓(xùn)練
6.1.3 T5模型應(yīng)用前景及未來發(fā)展
6.2 統(tǒng)一BERT和GPT的BART模型
6.2.1 從BERT、GPT到BART
6.2.2 BART模型預(yù)訓(xùn)練
6.2.3 BART模型的應(yīng)用
6.3 統(tǒng)一語言學(xué)習(xí)范式的UL2框架
6.3.1 關(guān)于語言模型預(yù)訓(xùn)練的統(tǒng)一視角
6.3.2 結(jié)合不同預(yù)訓(xùn)練范式的混合去噪器
6.3.3 UL2的模型性能
6.4 T5模型預(yù)訓(xùn)練方法和關(guān)鍵技術(shù)
第7章 作為通用人工智能起點(diǎn)的GPT系列模型
7.1 GPT系列模型的起源
7.1.1 GPT的訓(xùn)練方法和關(guān)鍵技術(shù)
7.1.2 GPT的模型性能評(píng)估分析
7.2 GPT 2模型詳解
7.2.1 GPT 2的核心思想
7.2.2 GPT 2的模型性能
7.3 GPT 3模型詳解
7.3.1 小樣本學(xué)習(xí)、一次學(xué)習(xí)與零次學(xué)習(xí)的異同
7.3.2 GPT 3的訓(xùn)練方法和關(guān)鍵技術(shù)
7.3.3 GPT 3的模型性能與效果評(píng)估
7.4 GPT 3模型構(gòu)建與訓(xùn)練實(shí)戰(zhàn)
7.4.1 構(gòu)建GPT 3模型
7.4.2 使用異構(gòu)訓(xùn)練降低GPT 3訓(xùn)練消耗資源
第8章 興起新一代人工智能浪潮:ChatGPT模型
8.1 能與互聯(lián)網(wǎng)交互的WebGPT
8.1.1 WebGPT的訓(xùn)練方法和關(guān)鍵技術(shù)
8.1.2 WebGPT的模型性能評(píng)估分析
8.2 能與人類交互的InstructGPT模型
8.2.1 指令學(xué)習(xí)
8.2.2 近端策略優(yōu)化
8.2.3 基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）方法匯總
8.3 ChatGPT和GPT4
8.3.1 ChatGPT模型簡介和應(yīng)用
8.3.2 GPT 4模型特點(diǎn)與應(yīng)用
8.4 構(gòu)建會(huì)話系統(tǒng)模型
8.4.1 基于監(jiān)督的指令精調(diào)與模型訓(xùn)練
8.4.2 會(huì)話系統(tǒng)的推理與部署策略
第9章 百花齊放的自然語言模型：Switch Transfomer和PaLM
9.1 萬億參數(shù)稀疏大模型Switch Transformer
9.1.1 稀疏門控混合專家模型MoE
9.1.2 基于MoE的萬億參數(shù)模型Switch Transformer
9.2 PaLM模型：優(yōu)化語言模型性能
9.2.1 PaLM模型的結(jié)構(gòu)、原理和關(guān)鍵特點(diǎn)
9.2.2 PaLM訓(xùn)練策略與效果評(píng)估
9.3 PaLM實(shí)戰(zhàn)訓(xùn)練
第10章 實(shí)現(xiàn)Transformer向計(jì)算機(jī)視覺進(jìn)軍的ViT模型
10.1 Transformer在計(jì)算機(jī)視覺中的應(yīng)用
10.1.1 ViT模型在計(jì)算機(jī)視覺中的發(fā)展背景
10.1.2 ViT模型的架構(gòu)、原理和關(guān)鍵要素
10.1.3 大規(guī)模ViT模型的應(yīng)用場景和挑戰(zhàn)
10.2 視覺大模型的進(jìn)一步發(fā)展：Transformer與卷積的融合
10.2.1 基于Transformer的視覺模型的改進(jìn)應(yīng)用
10.2.2 基于卷積的視覺模型的發(fā)展優(yōu)化
10.3 ViT模型構(gòu)建與訓(xùn)練實(shí)戰(zhàn)
10.3.1 構(gòu)建ViT模型的關(guān)鍵步驟與關(guān)鍵方法
10.3.2 多維張量并行的ViT的實(shí)戰(zhàn)演練
參考文獻(xiàn)
1.1 AI大模型在人工智能領(lǐng)域的興起
1.1.1 AI大模型的發(fā)展與挑戰(zhàn)
1.1.2 AI大模型為何難以訓(xùn)練
1.2 深度學(xué)習(xí)框架入門
1.2.1 搭建神經(jīng)網(wǎng)絡(luò)
1.2.2 訓(xùn)練一個(gè)文本分類器
第2章 分布式系統(tǒng)：AI大模型的誕生之所
2.1 深度學(xué)習(xí)與分布式系統(tǒng)
2.1.1 從分布式計(jì)算到分布式AI系統(tǒng)
2.1.2 大規(guī)模分布式訓(xùn)練平臺(tái)的關(guān)鍵技術(shù)
2.1.3 Colossal AI應(yīng)用實(shí)踐
2.2 AI大模型訓(xùn)練方法
2.2.1 梯度累積和梯度裁剪
2.2.2 大批量優(yōu)化器LARSLAMB
2.2.3 模型精度與混合精度訓(xùn)練
2.3 異構(gòu)訓(xùn)練
2.3.1 異構(gòu)訓(xùn)練的基本原理
2.3.2 異構(gòu)訓(xùn)練的實(shí)現(xiàn)策略
2.4 實(shí)戰(zhàn)分布式訓(xùn)練
2.4.1 Colossal AI環(huán)境搭建
2.4.2 使用Colossal AI訓(xùn)練**個(gè)模型
2.4.3 AI大模型的異構(gòu)訓(xùn)練
第3章 分布式訓(xùn)練：上千臺(tái)機(jī)器如何共同起舞
3.1 并行策略基礎(chǔ)原理
3.1.1 數(shù)據(jù)并行:*基本的并行訓(xùn)練范式
3.1.2 張量并行:層內(nèi)模型并行
3.1.3 流水線并行的原理與實(shí)現(xiàn)
3.2 高級(jí)并行策略基礎(chǔ)原理
3.2.1 序列并行:超長序列模型訓(xùn)練
3.2.2 混合并行:擴(kuò)展模型到千億參數(shù)
3.2.3 自動(dòng)并行:自動(dòng)化的分布式并行訓(xùn)練
3.3 實(shí)戰(zhàn)分布式訓(xùn)練
3.3.1 應(yīng)用模型并行策略的實(shí)際案例
3.3.2 結(jié)合多種并行策略的訓(xùn)練實(shí)踐
第4章 AI大模型時(shí)代的奠基石Transformer模型
4.1 自然語言處理基礎(chǔ)
4.1.1 自然語言任務(wù)介紹
4.1.2 語言輸入的預(yù)處理
4.1.3 序列到序列模型
4.2 Transformer詳解
4.2.1 Transformer模型結(jié)構(gòu)
4.2.2 注意力與自注意力機(jī)制
4.2.3 Transformer中的歸一化
4.3 Transformer的變體與擴(kuò)展
4.3.1 變體模型匯總
4.3.2 Transformer序列位置信息的編碼處理
4.3.3 Transformer訓(xùn)練
第5章 AI大幅度提升Google搜索質(zhì)量:BERT模型
5.1 BERT模型詳解
5.1.1 BERT模型總體架構(gòu)與輸入形式
5.1.2 BERT模型預(yù)訓(xùn)練任務(wù)
5.1.3 BERT模型的應(yīng)用方法
5.2 高效降低內(nèi)存使用的ALBERT模型
5.2.1 基于參數(shù)共享的參數(shù)縮減方法
5.2.2 句子順序預(yù)測（SOP）預(yù)訓(xùn)練任務(wù)
5.3 BERT模型實(shí)戰(zhàn)訓(xùn)練
5.3.1 構(gòu)建BERT模型
5.3.2 并行訓(xùn)練BERT模型
第6章 統(tǒng)一自然語言處理范式的T5模型
6.1 T5模型詳解
6.1.1 T5模型架構(gòu)和輸入輸出——文本到文本
6.1.2 T5模型預(yù)訓(xùn)練
6.1.3 T5模型應(yīng)用前景及未來發(fā)展
6.2 統(tǒng)一BERT和GPT的BART模型
6.2.1 從BERT、GPT到BART
6.2.2 BART模型預(yù)訓(xùn)練
6.2.3 BART模型的應(yīng)用
6.3 統(tǒng)一語言學(xué)習(xí)范式的UL2框架
6.3.1 關(guān)于語言模型預(yù)訓(xùn)練的統(tǒng)一視角
6.3.2 結(jié)合不同預(yù)訓(xùn)練范式的混合去噪器
6.3.3 UL2的模型性能
6.4 T5模型預(yù)訓(xùn)練方法和關(guān)鍵技術(shù)
第7章 作為通用人工智能起點(diǎn)的GPT系列模型
7.1 GPT系列模型的起源
7.1.1 GPT的訓(xùn)練方法和關(guān)鍵技術(shù)
7.1.2 GPT的模型性能評(píng)估分析
7.2 GPT 2模型詳解
7.2.1 GPT 2的核心思想
7.2.2 GPT 2的模型性能
7.3 GPT 3模型詳解
7.3.1 小樣本學(xué)習(xí)、一次學(xué)習(xí)與零次學(xué)習(xí)的異同
7.3.2 GPT 3的訓(xùn)練方法和關(guān)鍵技術(shù)
7.3.3 GPT 3的模型性能與效果評(píng)估
7.4 GPT 3模型構(gòu)建與訓(xùn)練實(shí)戰(zhàn)
7.4.1 構(gòu)建GPT 3模型
7.4.2 使用異構(gòu)訓(xùn)練降低GPT 3訓(xùn)練消耗資源
第8章 興起新一代人工智能浪潮:ChatGPT模型
8.1 能與互聯(lián)網(wǎng)交互的WebGPT
8.1.1 WebGPT的訓(xùn)練方法和關(guān)鍵技術(shù)
8.1.2 WebGPT的模型性能評(píng)估分析
8.2 能與人類交互的InstructGPT模型
8.2.1 指令學(xué)習(xí)
8.2.2 近端策略優(yōu)化
8.2.3 基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）方法匯總
8.3 ChatGPT和GPT4
8.3.1 ChatGPT模型簡介和應(yīng)用
8.3.2 GPT 4模型特點(diǎn)與應(yīng)用
8.4 構(gòu)建會(huì)話系統(tǒng)模型
8.4.1 基于監(jiān)督的指令精調(diào)與模型訓(xùn)練
8.4.2 會(huì)話系統(tǒng)的推理與部署策略
第9章 百花齊放的自然語言模型：Switch Transfomer和PaLM
9.1 萬億參數(shù)稀疏大模型Switch Transformer
9.1.1 稀疏門控混合專家模型MoE
9.1.2 基于MoE的萬億參數(shù)模型Switch Transformer
9.2 PaLM模型：優(yōu)化語言模型性能
9.2.1 PaLM模型的結(jié)構(gòu)、原理和關(guān)鍵特點(diǎn)
9.2.2 PaLM訓(xùn)練策略與效果評(píng)估
9.3 PaLM實(shí)戰(zhàn)訓(xùn)練
第10章 實(shí)現(xiàn)Transformer向計(jì)算機(jī)視覺進(jìn)軍的ViT模型
10.1 Transformer在計(jì)算機(jī)視覺中的應(yīng)用
10.1.1 ViT模型在計(jì)算機(jī)視覺中的發(fā)展背景
10.1.2 ViT模型的架構(gòu)、原理和關(guān)鍵要素
10.1.3 大規(guī)模ViT模型的應(yīng)用場景和挑戰(zhàn)
10.2 視覺大模型的進(jìn)一步發(fā)展：Transformer與卷積的融合
10.2.1 基于Transformer的視覺模型的改進(jìn)應(yīng)用
10.2.2 基于卷積的視覺模型的發(fā)展優(yōu)化
10.3 ViT模型構(gòu)建與訓(xùn)練實(shí)戰(zhàn)
10.3.1 構(gòu)建ViT模型的關(guān)鍵步驟與關(guān)鍵方法
10.3.2 多維張量并行的ViT的實(shí)戰(zhàn)演練
參考文獻(xiàn)
展開全部
實(shí)戰(zhàn)AI大模型 作者簡介
尤洋，清華大學(xué)碩士，加州伯克利大學(xué)博士，新加坡國立大學(xué)計(jì)算機(jī)系校長青年教授（Presidential Young Professor）。曾創(chuàng)造ImageNet、BERT、AlphaFold、ViT訓(xùn)練速度的世界紀(jì)錄，相關(guān)技術(shù)被廣泛應(yīng)用于谷歌、微軟、英特爾、英偉達(dá)等科技巨頭。近三年以第一作者身份在NIPS，ICLR，SC，IPDPS，ICS等國際重要會(huì)議或期刊上發(fā)表論文十余篇，曾以第一作者身份獲國際并行與分布式處理大會(huì)（IPDPS）的Best Paper Award（0.8%獲獎(jiǎng)率）和國際并行處理大會(huì)（ICPP）的Best Paper Award（0.3%獲獎(jiǎng)率），也曾以通訊作者身份獲得了國際人工智能大會(huì) (AAAI)的杰出論文獎(jiǎng)（0.14%獲獎(jiǎng)率）和國際計(jì)算語言學(xué)大會(huì) (ACL)的杰出論文獎(jiǎng)（0.86%獲獎(jiǎng)率），總計(jì)發(fā)表論文近百篇。曾獲清華大學(xué)優(yōu)秀畢業(yè)生及當(dāng)時(shí)清華大學(xué)計(jì)算機(jī)系數(shù)額最高的西貝爾獎(jiǎng)學(xué)金，美國計(jì)算機(jī)協(xié)會(huì)（ACM）官網(wǎng)上唯一頒給在讀博士生的ACM-IEEE CS George Michael Memorial HPC Fellowship，頒發(fā)給伯克利優(yōu)秀畢業(yè)生的Lotfi A. Zadeh Prize。他被UC Berkeley提名為ACM Doctoral Dissertation Award候選人。他曾任職于谷歌，微軟，英偉達(dá)，英特爾，IBM，2021年入選福布斯30歲以下精英榜（亞洲）并獲得IEEE-CS超算杰出新人獎(jiǎng)。
書友推薦
- >
苦雨齋序跋文-周作人自編集
- >
【精裝繪本】畫給孩子的中國神話
- >
推拿
- >
我與地壇
- >
上帝之肋:男人的真實(shí)旅程
- >
朝聞道
- >
小考拉的故事-套裝共3冊
- >
李白與唐代文化
本類暢銷
