-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大模型工程化:AI驅(qū)動下的數(shù)據(jù)體系 版權(quán)信息
- ISBN:9787115659712
- 條形碼:9787115659712 ; 978-7-115-65971-2
- 裝幀:平裝-膠訂
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>>
大模型工程化:AI驅(qū)動下的數(shù)據(jù)體系 本書特色
·簡化編程流程:一鍵生成代碼,AI助手讓編程更簡單,提升開發(fā)效率與體驗。
·解鎖數(shù)據(jù)價值:打造AI可理解的數(shù)據(jù)資產(chǎn),讓“DATA AI”成為企業(yè)的核心競爭力。
·重塑數(shù)據(jù)未來:以湖倉一體為底座,以大模型工程化為核心,構(gòu)建高效數(shù)據(jù)體系。
·智能驅(qū)動業(yè)務:從業(yè)務需求到數(shù)據(jù)交付,Al 賦能全場景,讓業(yè)務決策更智能。
大模型工程化:AI驅(qū)動下的數(shù)據(jù)體系 內(nèi)容簡介
大模型在眾多領(lǐng)域得到了廣泛應用,促進了AI技術(shù)的整合和創(chuàng)新。然而,在實際應用過程中,直接將大模型應用于特定行業(yè)常常難以達到預期效果。本書詳細闡述如何在游戲經(jīng)營分析場景中利用大模型實現(xiàn)數(shù)據(jù)體系的建設。 本書分為6個部分,共16章。第1部分主要介紹大模型技術(shù)的發(fā)展與應用,從大模型的發(fā)展現(xiàn)狀展開,重點介紹大模型與數(shù)據(jù)體系的相關(guān)知識。第2部分主要介紹大模型下的關(guān)鍵基礎設施,涵蓋湖倉一體引擎、湖倉的關(guān)鍵技術(shù)、實時數(shù)據(jù)寫入和高效數(shù)據(jù)分析等內(nèi)容。第3部分主要介紹大模型下的數(shù)據(jù)資產(chǎn),圍繞數(shù)據(jù)資產(chǎn)重塑、數(shù)據(jù)資產(chǎn)標準、數(shù)據(jù)資產(chǎn)建設、數(shù)據(jù)資產(chǎn)運營展開。第4部分主要介紹自研領(lǐng)域大模型的技術(shù)原理,涵蓋領(lǐng)域大模型的基礎、需求理解算法、需求匹配算法、需求轉(zhuǎn)譯算法等內(nèi)容。第5部分主要介紹大模型的工程化原理,涉及工程化的基礎、技術(shù)籌備、建設要點、安全策略等內(nèi)容。第6部分介紹大模型在游戲領(lǐng)域的應用,通過游戲領(lǐng)域的經(jīng)營分析案例,系統(tǒng)地闡述如何實現(xiàn)業(yè)務需求。 本書適合致力于大模型技術(shù)應用的數(shù)據(jù)工程師閱讀,也適合尋求AI自動化編程解決方案的軟件開發(fā)者閱讀,還適合希望利用AI提升業(yè)務效率的企業(yè)決策者閱讀。
大模型工程化:AI驅(qū)動下的數(shù)據(jù)體系 目錄
目 錄
第 1部分 大模型技術(shù)的發(fā)展與應用
第 1章 大模型的發(fā)展現(xiàn)狀 2
1.1 大模型的發(fā)展歷程 2
1.2 大模型的市場規(guī)模 6
1.3 大模型技術(shù)的應用現(xiàn)狀 8
1.3.1 通用大模型技術(shù)的應用 8
1.3.2 領(lǐng)域大模型技術(shù)的應用 10
1.4 小結(jié) 14
第 2章 大模型與數(shù)據(jù)體系 15
2.1 業(yè)務對數(shù)據(jù)體系的需求 15
2.2 經(jīng)典數(shù)據(jù)中臺解決方案 19
2.2.1 技術(shù)平臺 19
2.2.2 數(shù)據(jù)建模 21
2.2.3 數(shù)據(jù)治理 26
2.3 大模型帶來的新機會 27
2.3.1 大模型的優(yōu)勢與不足 27
2.3.2 大模型與經(jīng)典數(shù)據(jù)中臺 30
2.3.3 大模型的新思路 32
2.4 全新的大模型解決方案 35
2.4.1 建設目標 35
2.4.2 關(guān)鍵技術(shù) 36
2.4.3 方案架構(gòu) 37
2.5 小結(jié) 38
第 2部分 大模型下的關(guān)鍵基礎設施
第3章 大模型下的新基建 40
3.1 湖倉一體引擎 40
3.1.1 數(shù)據(jù)技術(shù)的發(fā)展 41
3.1.2 湖倉一體架構(gòu) 47
3.2 DeltaLH湖倉的關(guān)鍵技術(shù) 51
3.2.1 存儲計算分離 51
3.2.2 數(shù)據(jù)冷熱分層 53
3.2.3 湖倉一體化 55
3.3 實時數(shù)據(jù)寫入 57
3.3.1 實時數(shù)據(jù)鏈路 58
3.3.2 全鏈路監(jiān)控 62
3.3.3 數(shù)據(jù)預構(gòu)建 64
3.4 高效數(shù)據(jù)分析 67
3.4.1 查詢引擎優(yōu)化 67
3.4.2 物化透明加速 72
3.5 小結(jié) 74
第3部分 大模型下的數(shù)據(jù)資產(chǎn)
第4章 數(shù)據(jù)資產(chǎn)重塑 76
4.1 數(shù)據(jù)資產(chǎn)方案的現(xiàn)狀 76
4.2 面臨的核心挑戰(zhàn) 80
4.2.1 缺失非結(jié)構(gòu)化標準 80
4.2.2 建設和治理成本高 81
4.2.3 運營目標不一致 82
4.3 重塑數(shù)據(jù)資產(chǎn)的思路 83
4.4 小結(jié) 85
第5章 數(shù)據(jù)資產(chǎn)標準 86
5.1 需求資產(chǎn)標準 86
5.1.1 結(jié)構(gòu)化需求 87
5.1.2 行業(yè)知識資產(chǎn) 87
5.1.3 AI可理解需求 89
5.2 特征資產(chǎn)標準 90
5.2.1 個人特征資產(chǎn) 90
5.2.2 公共特征資產(chǎn) 91
5.3 庫表資產(chǎn)標準 92
5.3.1 粒度參數(shù) 93
5.3.2 熱度參數(shù) 94
5.3.3 速度參數(shù) 95
5.4 小結(jié) 96
第6章 數(shù)據(jù)資產(chǎn)建設 97
6.1 AI助力資產(chǎn)初始化 98
6.1.1 特征資產(chǎn)初始化 99
6.1.2 庫表資產(chǎn)初始化 100
6.2 AI輔助需求資產(chǎn)建設 101
6.2.1 結(jié)構(gòu)化需求資產(chǎn)建設 101
6.2.2 行業(yè)知識資產(chǎn)建設 102
6.2.3 AI可理解的需求資產(chǎn)建設 106
6.3 AI輔助特征資產(chǎn)建設 109
6.3.1 個人特征資產(chǎn)建設 109
6.3.2 公共特征資產(chǎn)建設 112
6.4 AI輔助庫表資產(chǎn)建設 113
6.4.1 成本模型訓練 114
6.4.2 物化視圖候選集生成 115
6.4.3 物化視圖推薦 115
6.5 小結(jié) 116
第7章 數(shù)據(jù)資產(chǎn)運營 117
7.1 數(shù)據(jù)資產(chǎn)運營的目標 117
7.2 需求資產(chǎn)運營 118
7.2.1 需求質(zhì)量評估模型 119
7.2.2 需求質(zhì)量達標率 119
7.3 特征資產(chǎn)運營 120
7.3.1 公共特征轉(zhuǎn)化率 121
7.3.2 特征資產(chǎn)復用率 122
7.4 庫表資產(chǎn)運營 123
7.4.1 庫表資產(chǎn)成本優(yōu)化 123
7.4.2 庫表資產(chǎn)覆蓋率 125
7.5 小結(jié) 126
第4部分 自研領(lǐng)域大模型的技術(shù)原理
第8章 領(lǐng)域大模型的基礎 128
8.1 領(lǐng)域大模型的背景 128
8.1.1 通用大模型的局限性 128
8.1.2 領(lǐng)域大模型的優(yōu)勢 130
8.2 領(lǐng)域大模型方案 131
8.2.1 3種構(gòu)建方案 131
8.2.2 檢索增強生成 132
8.2.3 參數(shù)高效微調(diào) 137
8.2.4 模型選型 143
8.3 領(lǐng)域大模型架構(gòu) 144
8.4 小結(jié) 145
第9章 需求理解算法 146
9.1 從模糊需求到清晰需求 146
9.1.1 必要性 146
9.1.2 面臨的挑戰(zhàn) 148
9.2 常見的需求理解算法 148
9.2.1 傳統(tǒng)Query理解算法 148
9.2.2 創(chuàng)新需求理解算法 149
9.3 需求理解算法的設計原理 150
9.3.1 構(gòu)建業(yè)務知識庫 151
9.3.2 構(gòu)建需求理解鏈路 153
9.4 小結(jié) 155
第 10章 需求匹配算法 156
10.1 從需求到資產(chǎn) 156
10.1.1 必要性 156
10.1.2 面臨的挑戰(zhàn) 158
10.1.3 解決方案 159
10.2 召回算法 161
10.2.1 資產(chǎn)圖譜 161
10.2.2 文本召回 166
10.2.3 向量召回 171
10.2.4 意圖召回 173
10.2.5 召回粗排 178
10.3 精排算法 179
10.3.1 數(shù)據(jù)生成 179
10.3.2 模型微調(diào) 182
10.3.3 多LoRA部署 184
10.4 小結(jié) 188
第 11章 需求轉(zhuǎn)譯算法 189
11.1 從需求到查詢 189
11.1.1 必要性 189
11.1.2 面臨的問題 191
11.2 解決方案 191
11.2.1 傳統(tǒng)的Text2SQL技術(shù) 191
11.2.2 創(chuàng)新的需求轉(zhuǎn)譯算法 192
11.3 實戰(zhàn)原理 193
11.3.1 評測數(shù)據(jù)集 193
11.3.2 算法流程 195
11.4 小結(jié) 203
第5部分 大模型的工程化原理
第 12章 工程化的基礎 206
12.1 工程化的背景 206
12.1.1 工程化的定義 206
12.1.2 工程化的理念 207
12.2 工程化的核心 208
12.3 工程化的建設思路 210
12.3.1 業(yè)務流程 210
12.3.2 系統(tǒng)架構(gòu) 211
12.4 小結(jié) 213
第 13章 工程化的技術(shù)籌備 214
13.1 技術(shù)調(diào)研評估 214
13.2 大模型應用框架 216
13.2.1 核心層 217
13.2.2 社區(qū)組件層 218
13.2.3 應用層 220
13.2.4 技術(shù)生態(tài)層 221
13.3 提示詞工程 221
13.3.1 少樣本提示 222
13.3.2 鏈式思考提示 223
13.3.3 自調(diào)整提示 224
13.4 開發(fā)環(huán)境的準備過程 225
13.4.1 軟件安裝 225
13.4.2 依賴庫安裝 226
13.5 小結(jié) 227
第 14章 工程化的建設要點 228
14.1 明確構(gòu)建目標 229
14.1.1 功能性需求 229
14.1.2 非功能性需求 230
14.1.3 流程定義 230
14.2 核心功能的實現(xiàn) 233
14.2.1 模塊化架構(gòu) 233
14.2.2 安全管控 236
14.2.3 工具模型 239
14.2.4 人機協(xié)同 246
14.2.5 應用場景 257
14.3 運營質(zhì)量的評估指標 259
14.3.1 回歸評估指標 259
14.3.2 資產(chǎn)運營指標 261
14.4 小結(jié) 262
第 15章 工程化的安全策略 263
15.1 安全體系建設要點 263
15.1.1 制度與流程 264
15.1.2 數(shù)據(jù)安全 264
15.1.3 運行安全 266
15.2 安全體系實施方案 268
15.2.1 數(shù)據(jù)分類分級方案 268
15.2.2 資產(chǎn)匿名化與脫敏方案 269
15.2.3 訪問控制方案 270
15.2.4 監(jiān)控告警方案 271
15.3 小結(jié) 272
第6部分 大模型在游戲領(lǐng)域的應用
第 16章 游戲領(lǐng)域的應用案例 274
16.1 游戲經(jīng)營分析的背景 274
16.2 智能助手系統(tǒng)架構(gòu) 275
16.3 代碼生成應用 277
16.4 探索分析應用 288
16.5 小結(jié) 291
大模型工程化:AI驅(qū)動下的數(shù)據(jù)體系 相關(guān)資料
本書由騰訊一線研發(fā)人員傾力打造,深入剖析大模型在數(shù)據(jù)體系建設中的實戰(zhàn)應用,通過詳盡指導如何為大模型提供全面數(shù)據(jù)信息,確保生成的SQL代碼既精準又可靠,內(nèi)容非常“落地”,是數(shù)據(jù)領(lǐng)域從業(yè)人員的參考。陳云霽 中國科學院計算技術(shù)研究所研究員、副所長數(shù)據(jù)驅(qū)動業(yè)務決策和企業(yè)轉(zhuǎn)型,是企業(yè)數(shù)字化的核心。本書系統(tǒng)闡述如何利用AI技術(shù)與湖倉一體架構(gòu),破解數(shù)據(jù)存儲、管理、應用及服務的成本與效率難題,大幅降低數(shù)據(jù)利用的門檻,為企業(yè)新基建提供切實可行的解決方案。喻思成 云器科技創(chuàng)始人,前甲骨文公司全球副總裁,前阿里巴巴集團副總裁面對數(shù)據(jù)中臺挑戰(zhàn),本書獨辟蹊徑,通過重塑數(shù)據(jù)資產(chǎn)標準,并將其深度融合于大模型算法、湖倉技術(shù)與工程化平臺,構(gòu)建出一套全面的應對策略。本書旨在引領(lǐng)企業(yè)高效構(gòu)建數(shù)據(jù)資產(chǎn)、精進算法模型,加速業(yè)務價值轉(zhuǎn)化。李旭陽 富途控股研發(fā)副總裁
大模型工程化:AI驅(qū)動下的數(shù)據(jù)體系 作者簡介
張凱,騰訊專家工程師,主要從事游戲的大數(shù)據(jù)分析工作。具有10多年的互聯(lián)網(wǎng)從業(yè)經(jīng)驗,先后負責游戲安全對抗、反欺詐對抗、游戲大數(shù)據(jù)應用等項目。曾主編3本暢銷圖書,榮獲異步社區(qū)“2023年度影響力作者獎”。
司書強,騰訊資深專家工程師,負責游戲業(yè)務的數(shù)據(jù)工程、數(shù)據(jù)分析等工作。在大數(shù)據(jù)技術(shù)工程、數(shù)據(jù)分析、商務智能、企業(yè)級數(shù)據(jù)治理等領(lǐng)域有10年以上的實踐積累,主導并落地多個大型企業(yè)數(shù)據(jù)體系建設。
劉巖,騰訊資深專家工程師,前三一重工智能制造研究院院長。目前負責騰訊游戲AI驅(qū)動下的數(shù)據(jù)體系建設工作,曾負責全球“燈塔工廠”建設。在數(shù)據(jù)驅(qū)動業(yè)務、業(yè)務流程重構(gòu)、數(shù)據(jù)智能應用等領(lǐng)域有20年以上的工作經(jīng)驗,主導和落地多個大型企業(yè)數(shù)字化轉(zhuǎn)型項目。
張昱,騰訊資深工程師,主要從事游戲大模型、大數(shù)據(jù)應用等工作。具有10年大數(shù)據(jù)、數(shù)倉技術(shù)和數(shù)據(jù)分析領(lǐng)域從業(yè)經(jīng)驗,曾先后負責云產(chǎn)品研發(fā)、大數(shù)據(jù)治理、湖倉一體和大模型應用等項目。
張凱,騰訊專家工程師,主要從事游戲的大數(shù)據(jù)分析工作。具有10多年的互聯(lián)網(wǎng)從業(yè)經(jīng)驗,先后負責游戲安全對抗、反欺詐對抗、游戲大數(shù)據(jù)應用等項目。曾主編3本暢銷圖書,榮獲異步社區(qū)“2023年度影響力作者獎”。
司書強,騰訊資深專家工程師,負責游戲業(yè)務的數(shù)據(jù)工程、數(shù)據(jù)分析等工作。在大數(shù)據(jù)技術(shù)工程、數(shù)據(jù)分析、商務智能、企業(yè)級數(shù)據(jù)治理等領(lǐng)域有10年以上的實踐積累,主導并落地多個大型企業(yè)數(shù)據(jù)體系建設。
劉巖,騰訊資深專家工程師,前三一重工智能制造研究院院長。目前負責騰訊游戲AI驅(qū)動下的數(shù)據(jù)體系建設工作,曾負責全球“燈塔工廠”建設。在數(shù)據(jù)驅(qū)動業(yè)務、業(yè)務流程重構(gòu)、數(shù)據(jù)智能應用等領(lǐng)域有20年以上的工作經(jīng)驗,主導和落地多個大型企業(yè)數(shù)字化轉(zhuǎn)型項目。
張昱,騰訊資深工程師,主要從事游戲大模型、大數(shù)據(jù)應用等工作。具有10年大數(shù)據(jù)、數(shù)倉技術(shù)和數(shù)據(jù)分析領(lǐng)域從業(yè)經(jīng)驗,曾先后負責云產(chǎn)品研發(fā)、大數(shù)據(jù)治理、湖倉一體和大模型應用等項目。
戴詩峰,騰訊資深工程師,主要從事游戲的數(shù)據(jù)治理規(guī)劃與架構(gòu)工作。具有近20年的數(shù)據(jù)領(lǐng)域工作經(jīng)驗,參與多個領(lǐng)域大數(shù)據(jù)平臺和數(shù)據(jù)治理的咨詢與交付工作,擅長數(shù)據(jù)資產(chǎn)體系、數(shù)據(jù)資產(chǎn)持續(xù)運營、數(shù)據(jù)治理標準等方面的規(guī)劃與設計。
謝思發(fā),騰訊資深工程師,主要從事游戲行業(yè)的算法研究工作。具有8年以上的大數(shù)據(jù)搜索推薦實戰(zhàn)經(jīng)驗,曾先后負責游戲用戶畫像建設、推薦系統(tǒng)建設及游戲知識圖譜(游譜)系統(tǒng)的建設與應用。曾發(fā)表多篇學術(shù)論文和專利,在OGB挑戰(zhàn)賽等國際賽事中獲得佳績。
李飛宏,騰訊專家工程師,主要從事游戲的大數(shù)據(jù)平臺研發(fā)及治理工作。具有10多年的大數(shù)據(jù)行業(yè)從業(yè)經(jīng)驗,曾先后負責游戲大數(shù)據(jù)分析平臺、游戲數(shù)據(jù)治理平臺、游戲大數(shù)據(jù)應用等項目,主編并參與多個騰訊數(shù)據(jù)治理標準的編寫工作。
- >
龍榆生:詞曲概論/大家小書
- >
山海經(jīng)
- >
羅曼·羅蘭讀書隨筆-精裝
- >
經(jīng)典常談
- >
我與地壇
- >
上帝之肋:男人的真實旅程
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
伯納黛特,你要去哪(2021新版)