掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
闖進數學世界――探秘歷史名題
-
>
中醫基礎理論
-
>
當代中國政府與政治(新編21世紀公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)
-
>
中醫內科學·全國中醫藥行業高等教育“十四五”規劃教材
Hadoop技術與應用 版權信息
- ISBN：9787560659831
- 條形碼：9787560659831 ; 978-7-5606-5983-1
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
Hadoop技術與應用 本書特色
本書以新冠疫情數據采集、分析為載體，通過項目實戰完成Hadoop集群的部署，將基層疫情數據上傳至HDFS平臺，為保證數據的高可用，部署了HDFS的HA集群；通過Hadoop生態圈中的常用組件對數據進行分析，*后，借助Ambari實現Hadoop集群的自動化部署。書中的內容中除了對接“1+X” 職業技能標準，崗位實際，在學習過程中還融入思政元素，激發讀者的民族自豪感，樹立鴻鵠之志，并為之而奮斗。
Hadoop技術與應用 內容簡介
本書采用“理論+實戰”的形式編寫，將企業需求分解為單獨的項目，全面系統地講解了Hadoop大數據的相關知識及應用。全書共12個項目，首先介紹了大數據技術的發展、Hadoop生態圈的組成、Hadoop集群部署、采集數據上傳到HDFS；接著具體介紹了為提高集群的可持續服務，在分布式協調組件ZooKeeper的協助下，部署HDFS的HA集群和YARN的HA集群的方法；然后講解了MapReduce、HBase和Hive的實際應用，并具體講解了通過Flume監聽Hadoop集群日志，以及使用Sqoop實現數據在MySQL和HDFS之間的相互傳輸；*后介紹如何借助Ambari工具一站式部署、管理Hadoop集群，并展望了大數據未來的發展方向。 本書適合作為高職高專院校大數據技術課程的教學用書，也適合作為培訓機構和大數據技術愛好者的參考用書。
Hadoop技術與應用 目錄
項目1 大數據平臺部署前的環境準備 1
任務1 大數據技術及應用 3
任務描述 3
知識準備 3
一、大數據簡介 3
二、大數據的特征 3
三、大數據相關概念 5
四、大數據的典型應用 5
任務實施 通過思維導圖展示大數據
技術的應用 6
任務2 獲取Hadoop資源 7
任務描述 7
知識準備 7
一、Hadoop的起源 7
二、Hadoop的特點 8
三、Hadoop生態圈 8
四、Hadoop版本演變 9
五、常見Hadoop的發行版本 11
任務實施 通過Hadoop官網下載Hadoop
軟件 11
能力拓展 Hadoop部署前的環境配置 12
項目小結 24
課后習題 24
項目2 部署Hadoop集群 26
任務1 部署單機模式Hadoop 28
任務描述 28
知識準備 28
一、Hadoop的安裝方式 28
二、安裝JDK 28
任務實施 安裝單機模式Hadoop 30
任務2 部署偽分布模式Hadoop 33
任務描述 33
知識準備 33
一、Hadoop集群 33
二、Hadoop目錄介紹 33
任務實施 部署偽分布模式Hadoop 34
能力拓展 部署Hadoop集群 40
項目小結 49
課后習題 49
項目3 采集數據到HDFS 51
任務1 通過Shell采集數據到HDFS 52
任務描述 52
知識準備 53
一、HDFS簡介 53
二、HDFS的優勢 53
三、HDFS的局限性 53
四、HDFS的架構 54
五、HDFS的工作機制 57
六、HDFS的容錯 59
七、訪問HDFS 60
任務實施 通過Shell命令采集數據到
HDFS 62
任務2 通過Java API采集數據到HDFS 68
任務描述 68
知識準備 69
一、文件讀取 69
二、文件寫入 69
三、安裝Java開發環境 70
任務實施 通過Java API 采集數據到
HDFS 75
能力拓展 通過數據流采集數據到HDFS 80
項目小結 82
課后習題 82
項目4 部署HDFS的HA集群 85
任務1 安裝ZooKeeper服務 87
任務描述 87
知識準備 87
一、ZooKeeper簡介 87
二、ZooKeeper的特性 88
三、ZooKeeper的工作原理 88
四、ZooKeeper的工作模式 89
五、ZooKeeper的角色 89
任務實施 安裝ZooKeeper服務 90
任務2 訪問ZooKeeper服務 94
任務描述 94
知識準備 94
一、讀寫機制 94
二、數據模型 94
三、監聽通知機制 95
四、典型應用場景 95
任務實施 訪問ZooKeeper服務 96
任務3 部署HDFS的高可用集群 99
任務描述 99
知識準備 100
一、HDFS HA機制 100
二、HDFS Federation機制 102
任務實施 部署HDFS的HA集群 103
項目小結 114
課后習題 114
項目5 部署YARN的HA集群 116
任務1 部署YARN集群 118
任務描述 118
知識準備 118
一、YARN產生背景 118
二、YARN的優點 120
三、YARN的組成及架構 120
四、YARN工作流程 122
五、YARN容錯性 123
任務實施 部署YARN集群 123
任務2 部署YARN的高可用集群 125
任務描述 125
知識準備 125
一、YARN HA機制 125
二、RM的狀態存儲 126
任務實施 部署YARN的HA集群 127
項目小結 133
課后習題 133
項目6 MapReduce應用 135
任務 MapReduce Java API編程 136
任務描述 136
知識準備 137
一、MapReduce核心思想 137
二、MapReduce工作流程 138
三、MapReduce API編程 142
任務實施 利用WordCount統計單詞數 147
能力拓展 用MapReduce實現平均成績的
計算 151
項目小結 156
課后習題 157
項目7 部署開源數據庫HBase 162
任務1 部署HBase服務 164
任務描述 164
知識準備 164
一、HBase概述 164
二、HBase數據模型 165
三、HBase功能組件 167
四、HBase運行機制 170
任務實施 安裝部署HBase 172
任務2 訪問HBase服務 175
任務描述 175
知識準備 175
一、HBase常用Shell命令 175
二、HBase Java API的應用 177
三、HBase過濾器 178
任務實施 HBase Java API編程實踐 180
能力拓展 創建自定義過濾器 186
項目小結 189
課后習題 190
項目8 部署數據倉庫Hive 192
任務1 部署Hive服務 194
任務描述 194
知識準備 194
一、Hive概述 194
二、Hive的系統架構 195
三、Hive HA的基本原理 197
四、Hive的工作原理 197
五、Hive的安裝模式 199
任務實施 部署Hive的相關工具 200
任務2 訪問Hive服務 203
任務描述 203
知識準備 203
一、Hive的管理 203
二、Hive的數據模型 204
三、Hive的數據類型 205
四、Hive的基本操作 206
任務實施 通過Hive實現WordCount 211
能力拓展 Hive實現分組排序 211
項目小結 216
課后習題 217
項目9 利用Flume監聽數據 219
任務1 監聽端口數據并輸出到Flume
控制臺 221
任務描述 221
知識準備 221
一、Flume簡介 221
二、Flume Event的概念 221
三、Flume的優勢和特征 222
四、Flume的環境搭建 223
五、Flume三大組件 223
任務實施 監聽端口數據并輸出到
Flume控制臺 227
任務2 監聽Hive日志文件并輸出到Flume
控制臺 230
任務描述 230
知識準備 230
一、Exec Source 230
二、HDFS Sink 231
三、Hive Sink 232
任務實施 監聽Hive日志文件并輸出到
Flume控制臺 233
能力拓展 Flume監聽Hive日志文件并
輸出到HDFS 237
項目小結 242
課后習題 242
項目10 Sqoop實現數據傳輸 244
任務1 數據從MySQL導入HDFS 246
任務描述 246
知識準備 246
一、Sqoop簡介 246
二、Sqoop的環境搭建 247
三、Sqoop的常用命令 249
四、Sqoop import命令的常用參數 249
任務實施 數據從MySQL導入HDFS 250
任務2 數據從HDFS導出到MySQL 257
?任務描述 257
知識準備 257
Sqoop export命令的常用參數 258
任務實施 數據從HDFS導出到MySQL 258
能力拓展 用Sqoop將HDFS數據導出到
MySQL數據表指定的列 264
項目小結 268
課后習題 268
項目11 Ambari部署Hadoop集群 270
任務 Ambari的安裝 271
任務描述 271
知識準備 272
一、Ambari簡介 272
二、Ambari的作用 272
三、Ambari的架構及工作流程 272
四、軟件下載 275
任務實施 利用Ambari部署、管理Hadoop
集群 277
能力拓展 在Ambari中啟用HDFS的HA 293
項目小結 297
課后習題 298
項目12 大數據的未來 299
任務 大數據的未來 300
任務描述 300
知識準備 301
一、醫療領域 301
二、智慧城市領域 302
三、教育領域 303
四、人工智能領域 304
五、大數據與5G通信 305
項目小結 306
課后習題 306
參考文獻 308
展開全部
書友推薦
- >
推拿
- >
龍榆生：詞曲概論/大家小書
- >
有舍有得是人生
- >
詩經-先民的歌唱
- >
我從未如此眷戀人間
- >
上帝之肋:男人的真實旅程
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
本類暢銷
