-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫(kù)模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(shū)(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
Hadoop權(quán)威指南 版權(quán)信息
- ISBN:9787302370857
- 條形碼:9787302370857 ; 978-7-302-37085-7
- 裝幀:一般膠版紙
- 冊(cè)數(shù):暫無(wú)
- 重量:暫無(wú)
- 所屬分類:>
Hadoop權(quán)威指南 本書(shū)特色
準(zhǔn)備好釋放數(shù)據(jù)的強(qiáng)大潛能了嗎?借助于這本《hadoop權(quán)威指南》,你將學(xué)習(xí)如何使用apache hadoop構(gòu)建和維護(hù)穩(wěn)定性高、伸縮性強(qiáng)的分布式系統(tǒng)。本書(shū)是為程序員寫(xiě)的,可幫助他們分析任何大小的數(shù)據(jù)集。本書(shū)同時(shí)也是為管理員寫(xiě)的,幫助他們了解如何設(shè)置和運(yùn)行hadoop集群。 本書(shū)通過(guò)豐富的案例學(xué)習(xí)來(lái)解釋hadoop的幕后機(jī)理,闡述了hadoop如何解決現(xiàn)實(shí)生活中的具體問(wèn)題。第3版覆蓋hadoop的*新動(dòng)態(tài),包括新增的mapreduce api,以及mapreduce 2及其靈活性更強(qiáng)的執(zhí)行模型(yarn)。
Hadoop權(quán)威指南 內(nèi)容簡(jiǎn)介
新版新特色,內(nèi)容更權(quán)威,更適合收藏和找hadoop之父簽名兒! 2014年12月13日中國(guó)大數(shù)據(jù)大會(huì),http://bdtc2014.hadooper.cn/ 歡迎光臨新云南皇冠假日酒店,與hadoop之父doug cutting不見(jiàn)不散!
Hadoop權(quán)威指南 目錄
1.1 數(shù)據(jù)!數(shù)據(jù)!
1.2 數(shù)據(jù)的存儲(chǔ)與分析
1.3 相較于其他系統(tǒng)的優(yōu)勢(shì)
1.3.1 關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)
1.3.2 網(wǎng)格計(jì)算
1.3.3 志愿計(jì)算
1.4 hadoop發(fā)展簡(jiǎn)史
1.5 apache hadoop和hadoop生態(tài)系統(tǒng)
1.6 hadoop的發(fā)行版本
1.6.1 本書(shū)包含的內(nèi)容
1.6.2 兼容性
第2章 關(guān)于mapreduce
2.1 氣象數(shù)據(jù)集
2.2 使用unix工具來(lái)分析數(shù)據(jù)
2.3 使用hadoop來(lái)分析數(shù)據(jù)
2.3.1 map和reduce
2.3.2 java mapreduce
2.4 橫向擴(kuò)展
2.4.1 數(shù)據(jù)流
2.4.2 combiner函數(shù)
2.4.3 運(yùn)行分布式的mapreduce作業(yè)
2.5 hadoop streaming
2.5.1 ruby版本
2.5.2 python版本
2.6 hadoop pipes
第3章 hadoop分布式文件系統(tǒng)
3.1 hdfs的設(shè)計(jì)
3.2 hdfs的概念
3.2.1 數(shù)據(jù)塊
3.2.2 namenode和datanode
3.2.3 聯(lián)邦hdfs
3.2.4 hdfs的高可用性
3.3 命令行接口
3.4 hadoop文件系統(tǒng)
3.5 java接口
3.5.1 從hadoop url讀取數(shù)據(jù)
3.5.2 通過(guò)filesystem api讀取數(shù)據(jù)
3.5.3 寫(xiě)入數(shù)據(jù)
3.5.4 目錄
3.5.5 查詢文件系統(tǒng)
3.5.6 刪除數(shù)據(jù)
3.6 數(shù)據(jù)流
3.6.1 剖析文件讀取
3.6.2 剖析文件寫(xiě)入
3.6.3 一致模型
3.7 通過(guò)flume和sqoop導(dǎo)入數(shù)據(jù)
3.8 通過(guò)distcp并行復(fù)制
3.9 hadoop存檔
3.9.1 使用hadoop存檔工具
3.9.2 不足
第4章 hadoop的i/o操作
4.1 數(shù)據(jù)完整性
4.1.1 hdfs的數(shù)據(jù)完整性
4.1.2 localfilesystem
4.1.3 checksumfilesystem
4.2 壓縮
4.2.1 codec
4.2.2 壓縮和輸入分片
4.2.3 在mapreduce中使用壓縮
4.3 序列化
4.3.1 writable接口
4.3.2 writable類
4.3.3 實(shí)現(xiàn)定制的writable集合
4.3 序列化框架
4.4 avro
4.4.1 avro數(shù)據(jù)類型和模式
4.4.2 內(nèi)存中的序列化和反序列化
4.4.3 avro數(shù)據(jù)文件
4.4.4 互操作性
4.4.5 模式的解析
4.4.6 排列順序
4.4.7 關(guān)于avro mapreduce
4.4.8 使用avro mapreduce進(jìn)行排序
4.4.9 其他語(yǔ)言的avro mapreduce
4.5 基于文件的數(shù)據(jù)結(jié)構(gòu)
4.5.1 關(guān)于sequencefile
4.5.2 關(guān)于mapfile
第5章 mapreduce應(yīng)用開(kāi)發(fā)
5.1 用于配置的api
5.1.1 資源合并
5.1.2 可變的擴(kuò)展
5.2 配置開(kāi)發(fā)環(huán)境
5.2.1 管理配置
5.2.2 輔助類genericoptionsparser,tool和toolrunner
5.3 用mrunit來(lái)寫(xiě)單元測(cè)試
5.3.1 關(guān)于mapper
5.3.2 關(guān)于reducer
5.4 本地運(yùn)行測(cè)試數(shù)據(jù)
5.4.1 在本地作業(yè)運(yùn)行器上運(yùn)行作業(yè)
5.4.2 測(cè)試驅(qū)動(dòng)程序
5.5 在集群上運(yùn)行
5.5.1 打包作業(yè)
5.5.2 啟動(dòng)作業(yè)
5.5.3 mapreduce的web界面
5.5.4 獲取結(jié)果
5.5.5 作業(yè)調(diào)試
5.5.6 hadoop日志
5.5.7 遠(yuǎn)程調(diào)試
5.6 作業(yè)調(diào)優(yōu)
5.7 mapreduce的工作流
5.7.1 將問(wèn)題分解成mapreduce作業(yè)
5.7.2 關(guān)于jobcontrol
5.7.3 關(guān)于apache oozie
第6章 mapreduce的工作機(jī)制
6.1 剖析mapreduce作業(yè)運(yùn)行機(jī)制
6.1.1 經(jīng)典的mapreduce (mapreduce 1)
6.1.2 yarn (mapreduce 2)
6.2 失敗
6.2.1 經(jīng)典mapreduce中的失敗
6.2.2 yarn中的失敗
6.3 作業(yè)的調(diào)度
6.3.1 公平調(diào)度器
6.3.2 容量調(diào)度器
6.4 shuffle和排序
6.4.1 map端
6.4.2 reduce端
6.4.3 配置調(diào)優(yōu)
6.5 任務(wù)的執(zhí)行
6.5.1 任務(wù)執(zhí)行環(huán)境
6.5.2 推測(cè)執(zhí)行
6.5.3 關(guān)于outputcommitters
6.5.4 任務(wù)jvm重用
6.5.5 跳過(guò)壞記錄
第7章 mapreduce的類型與格式
7.1 mapreduce的類型
7.1.1 默認(rèn)的mapreduce作業(yè)
7.1.2 默認(rèn)的streaming作業(yè)
7.2 輸入格式
7.2.1 輸入分片與記錄
7.2.2 文本輸入
7.2.3 二進(jìn)制輸入
7.2.4 多個(gè)輸入
7.2.5 數(shù)據(jù)庫(kù)輸入(和輸出)
7.3 輸出格式
7.3.1 文本輸出
7.3.2 二進(jìn)制輸出
7.3.3 多個(gè)輸出
7.3.4 延遲輸出
7.3.5 數(shù)據(jù)庫(kù)輸出
第8章 mapreduce的特性
8.1 計(jì)數(shù)器
8.1.1 內(nèi)置計(jì)數(shù)器
8.1.2 用戶定義的java計(jì)數(shù)器
8.1.3 用戶定義的streaming計(jì)數(shù)器
8.2 排序
8.2.1 準(zhǔn)備
8.2.2 部分排序
8.2.3 全排序
8.2.4 輔助排序
8.3 連接
8.3.1 map端連接
8.3.2 reduce端連接
8.4 邊數(shù)據(jù)分布
8.4.1 利用jobconf來(lái)配置作業(yè)
8.4.2 分布式緩存
8.5 mapreduce庫(kù)類
第9章 構(gòu)建hadoop集群
9.1 集群規(guī)范
9.2 集群的構(gòu)建和安裝
9.2.1 安裝java
9.2.2 創(chuàng)建hadoop用戶
9.2.3 安裝hadoop
9.2.4 測(cè)試安裝
9.3 ssh配置
9.4 hadoop配置
9.4.1 配置管理
9.4.2 環(huán)境設(shè)置
9.4.3 hadoop守護(hù)進(jìn)程的關(guān)鍵屬性
9.4.4 hadoop守護(hù)進(jìn)程的地址和端口
9.4.5 hadoop的其他屬性
9.4.6 創(chuàng)建用戶帳號(hào)
9.5 yarn配置
9.5.1 yarn守護(hù)進(jìn)程的重要屬性
9.5.2 yarn守護(hù)進(jìn)程的地址和端口
9.6 安全性
9.6.1 kerberos和hadoop
9.6.2 委托令牌
9.6.3 其他安全性改進(jìn)
9.7 利用基準(zhǔn)評(píng)測(cè)程序測(cè)試hadoop集群
9.7.1 hadoop基準(zhǔn)評(píng)測(cè)程序
9.7.2 用戶作業(yè)
9.8 云端的hadoop
第10章 管理hadoop
10.1 hdfs
10.1.1 永久性數(shù)據(jù)結(jié)構(gòu)
10.1.2 安全模式
10.1.3 日志審計(jì)
10.1.4 工具
10.2 監(jiān)控
10.2.1 日志
10.2.2 度量
10.2.3 java管理擴(kuò)展(jmx)
10.3 維護(hù)
10.3.1 日常管理過(guò)程
10.3.2 委任和解除節(jié)點(diǎn)
10.3.3 升級(jí)
第11章 關(guān)于pig
11.1 安裝與運(yùn)行pig
11.1.1 執(zhí)行類型
11.1.2 運(yùn)行pig程序
11.1.3 grunt
11.1.4 pig latin編輯器
11.2 示例
11.3 與數(shù)據(jù)庫(kù)進(jìn)行比較
11.4 pig latin
11.4.1 結(jié)構(gòu)
11.4.2 語(yǔ)句
11.4.3 表達(dá)式
11.4.4 類型
11.4.5 模式
11.4.6 函數(shù)
11.4.7 宏
11.5 用戶自定義函數(shù)
11.5.1 過(guò)濾udf
11.5.2 計(jì)算udf
11.5.3 加載udf
11.6 數(shù)據(jù)處理操作
11.6.1 數(shù)據(jù)的加載和存儲(chǔ)
11.6.2 數(shù)據(jù)的過(guò)濾
11.6.3 數(shù)據(jù)的分組與連接
11.6.4 數(shù)據(jù)的排序
11.6.5 數(shù)據(jù)的組合和切分
11.7 pig實(shí)戰(zhàn)
11.7.1 并行處理
11.7.2 參數(shù)代換
第12章 關(guān)于hive
12.1 安裝hive
12.2 示例
12.3 運(yùn)行hive
12.3.1 配置hive
12.3.2 hive服務(wù)
12.3.3 metastore
12.4 hive與傳統(tǒng)數(shù)據(jù)庫(kù)相比
12.4.1 讀時(shí)模式vs.寫(xiě)時(shí)模式
12.4.2 更新、事務(wù)和索引
12.5 hiveql
12.5.1 數(shù)據(jù)類型
12.5.2 操作與函數(shù)
12.6 表
12.6.1 托管表和外部表
12.6.2 分區(qū)和桶
12.6.3 存儲(chǔ)格式
12.6.4 導(dǎo)入數(shù)據(jù)
12.6.5 表的修改
12.6.6 表的丟棄
12.7 查詢數(shù)據(jù)
12.7.1 排序和聚集
12.7.2 mapreduce腳本
12.7.3 連接
12.7.4 子查詢
12.7.5 視圖
12.8 用戶定義函數(shù)
12.8.1 寫(xiě)udf
12.8.2 寫(xiě)udaf
第13章 關(guān)于hbase
13.1 hbase基礎(chǔ)
13.2 概念
13.3.1 數(shù)據(jù)模型的“旋風(fēng)之旅”
13.3.2 實(shí)現(xiàn)
13.3 安裝
13.4 客戶端
13.4.1 java
13.4.2 avro、rest和thrift
13.5 示例
13.5.1 模式
13.5.2 加載數(shù)據(jù)
13.5.3 web查詢
13.6 hbase和rdbms的比較
13.6.1 成功的服務(wù)
13.6.2 hbase
13.6.3 實(shí)例:hbase在streamy.com的使用
13.7 praxis
13.7.1 版本
13.7.2 hdfs
13.7.3 用戶界面
13.7.4 度量
13.7.5 模式的設(shè)計(jì)
13.7.6 計(jì)數(shù)器
13.7.7 批量加載
第14章 關(guān)于zookeeper
14.1 安裝和運(yùn)行zookeeper
14.2 示例
14.2.1 zookeeper中的組成員關(guān)系
14.2.2 創(chuàng)建組
14.2.3 加入組
14.2.4 列出組成員
14.2.5 刪除組
14.3 zookeeper服務(wù)
14.3.1 數(shù)據(jù)模型
14.3.2 操作
14.3.3 實(shí)現(xiàn)
14.3.4 一致性
14.3.5 會(huì)話
14.3.6 狀態(tài)
14.4 使用zookeeper來(lái)構(gòu)建應(yīng)用
14.4.1 配置服務(wù)
14.4.2 可復(fù)原的zookeeper應(yīng)用
14.4.3 鎖服務(wù)
14.4.4 更多分布式數(shù)據(jù)結(jié)構(gòu)和協(xié)議
14.5 生產(chǎn)環(huán)境中的zookeeper
14.5.1 可恢復(fù)性和性能
14.5.2 配置
第15章 關(guān)于sqoop
15.1 獲取sqoop
15.2 sqoop連接器
15.3 一個(gè)導(dǎo)入的例子
15.4 生成代碼
15.5 深入了解數(shù)據(jù)庫(kù)導(dǎo)入
15.5.1 導(dǎo)入控制
15.5.2 導(dǎo)入和一致性
15.5.3 直接模式導(dǎo)入
15.6 使用導(dǎo)入的數(shù)據(jù)
15.7 導(dǎo)入大對(duì)象
15.8 執(zhí)行導(dǎo)出
15.9 深入了解導(dǎo)出功能
15.9.1 導(dǎo)出與事務(wù)
15.9.2 導(dǎo)出和sequencefile
第16章 實(shí)例學(xué)習(xí)
16.1 hadoop 在last.fm的應(yīng)用
16.1.1 last.fm:社會(huì)音樂(lè)史上的革命
16.1.2 hadoop在last.fm中的應(yīng)用
16.1.3 用hadoop制作圖表
16.1.4 track statistics程序
16.1.5 總結(jié)
16.2 hadoop和hive在facebook的應(yīng)用
16.2.1 hadoop在facebook的使用
16.2.2 虛構(gòu)的使用樣例
16.2.3 hive
16.2.4 存在的問(wèn)題與未來(lái)工作計(jì)劃
16.3 nutch搜索引擎
16.3.1 背景介紹
16.3.2 數(shù)據(jù)結(jié)構(gòu)
16.3.3 nutch系統(tǒng)利用hadoop進(jìn)行數(shù)據(jù)處理的精選實(shí)例
16.3.4 總結(jié)
16.4 rackspace的日志處理
16.4.1 要求/問(wèn)題
16.4.2 簡(jiǎn)史
16.4.3 選擇hadoop
16.4.4 收集和存儲(chǔ)
16.4.5 對(duì)日志的mapreduce處理
16.5 關(guān)于cascading
16.5.1 字段、元組和管道
16.5.2 操作
16.5.3 tap、scheme和flow
16.5.4 cascading實(shí)戰(zhàn)
16.5.5 靈活性
16.5.6 hadoop和cascading在sharethis的應(yīng)用
16.5.7 總結(jié)
16.6 apache hadoop上萬(wàn)億數(shù)量級(jí)排序
16.7 用pig和wukong探索10億數(shù)量級(jí)邊的網(wǎng)絡(luò)圖
16.7.1 社區(qū)判斷
16.7.2 每個(gè)人都在和我說(shuō)話:twitter回復(fù)關(guān)系圖
16.7.3 對(duì)稱鏈接
16.7.4 社區(qū)提取
附錄a 安裝apache hadoop
附錄b 關(guān)于cdh
附錄c 準(zhǔn)備ncdc氣象數(shù)據(jù)
Hadoop權(quán)威指南 相關(guān)資料
在這本《hadoop權(quán)威指南(第3版)》即將出版之際,我十分高興地再次向廣大讀者推薦這本書(shū)。
一本書(shū)的價(jià)值最重要的是取決于它的用途。今天,開(kāi)源的hadoop已經(jīng)成為研究大數(shù)據(jù)十分重要的平臺(tái),在我國(guó)已經(jīng)形成一個(gè)龐大的hadoop用戶社群,他們對(duì)學(xué)習(xí)、掌握和提高h(yuǎn)adoop提出了很高的需求,《hadoop權(quán)威指南(第3版)》恰好滿足這樣的需要,其用途和價(jià)值不言而喻。這一點(diǎn)也可以從下面的事實(shí)中得到佐證:從2011年年底出版至今,本書(shū)的第2版已經(jīng)實(shí)現(xiàn)了12次印刷,擁有近3.5萬(wàn)名讀者并連續(xù)兩年位列專業(yè)圖書(shū)暢銷榜榜首。
一本書(shū)的價(jià)值還來(lái)自于它的內(nèi)容。原著是用英文寫(xiě)作的,它的內(nèi)容組織得當(dāng),思路清晰,緊密結(jié)合實(shí)際。但是要把它翻譯成中文介紹給中國(guó)的讀者,并非易事。它不單單要求譯者能夠熟練地掌握英文,還要求他們對(duì)書(shū)中的技術(shù)性內(nèi)容有深入、準(zhǔn)確的了解和掌握。從這兩點(diǎn)來(lái)審視,本書(shū)的譯者團(tuán)隊(duì)完全足以勝任。作為大學(xué)老師,他們不僅在大數(shù)據(jù)領(lǐng)域從事一線教學(xué)和科研,同時(shí)還負(fù)責(zé)指導(dǎo)研究生從事數(shù)據(jù)庫(kù)方面的研究。從 2006 年開(kāi)始,他們就在計(jì)算機(jī)集群上部署了hadoop并成功完成了很多項(xiàng)研究。在這幾年的工作過(guò)程中,他們對(duì)hadoop及其應(yīng)用開(kāi)發(fā)有著深入的理解和認(rèn)識(shí),這是本書(shū)翻譯質(zhì)量有保證的重要前提。
經(jīng)過(guò)再一次升級(jí)、修訂和更新,值此《hadoop權(quán)威指南(第3版)》出版之際,我衷心地希望這本書(shū)繼續(xù)為廣大讀者帶來(lái)更高的學(xué)習(xí)價(jià)值,更友好的閱讀體驗(yàn)。
周立柱@清華園
2014年秋
Hadoop權(quán)威指南 作者簡(jiǎn)介
說(shuō)明: E:\2011圖書(shū)\Hadoop權(quán)威指南(第2版)\Hadoop權(quán)威指南第2版info\Tom.jpgTom White 數(shù)學(xué)王子&Hadoop專家。身為Apache Hadoop提交者八年之久,Apache軟件基金會(huì)成員之一。全球知名云計(jì)算公司Cloudera的軟件工程師。Tom擁有英國(guó)劍橋大學(xué)數(shù)學(xué)學(xué)士學(xué)位和利茲大學(xué)科學(xué)哲學(xué)碩士學(xué)位。 【推薦序作者介紹】 Doug Cutting 三大有全球影響力的開(kāi)源項(xiàng)目之父,Apache軟件基金會(huì)董事會(huì)成員,早年畢業(yè)于斯坦福大學(xué)。他打造的三大開(kāi)源項(xiàng)目對(duì)企業(yè)市場(chǎng)具有重大而深遠(yuǎn)的影響,其中最著名的當(dāng)屬云計(jì)算和大數(shù)據(jù)領(lǐng)域的明星——Hadoop。
- >
月亮與六便士
- >
中國(guó)人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
羅曼·羅蘭讀書(shū)隨筆-精裝
- >
推拿
- >
我與地壇
- >
苦雨齋序跋文-周作人自編集
- >
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(shū)(紅燭學(xué)術(shù)叢書(shū))
- >
有舍有得是人生