-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
時空大數據計算分析與應用 版權信息
- ISBN:9787030733917
- 條形碼:9787030733917 ; 978-7-03-073391-7
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>
時空大數據計算分析與應用 本書特色
本書可作為高等院校地理信息科學、遙感科學與技術、信息科學技術等相關專業學生的教材,也可供從事地理信息相關領域的從業人員參考,還可作為對地理信息科學前沿感興趣的人們學習和了解時空大數據的讀物。 ★內容體系結構嚴謹,脈絡清晰,層層遞進。 ★理論與實踐相結合,應用性非常強。 ★本書配有作者精心制作的教學PPT,便于教師組織教學。 ★慕課已上線,方便學生學習。 內容前沿,案例豐富,配套資源適合教學
時空大數據計算分析與應用 內容簡介
地理時空大數據的五個特點決定了對其的管理和應用并非易事,海量、多源、異構、動態的時空大數據對傳統的數據管理模式提出了巨大的挑戰,高效存儲、高性能計算、智能分析和快速可視化的需求在傳統的空間信息技術條件下無法被滿足。面向超大規模數據提供高效管理、高性能計算、深度分析挖掘、高效可視化能力的云平臺建設成為發展的重點,本書將從這幾個方面理論方法與應用實踐相結合,講述時空大數據時代的新GIS方法。
時空大數據計算分析與應用 目錄
前言
第1章 概述 1
1.1 GIS發展歷程 1
1.1.1 空間分析緣起霍亂地圖 1
1.1.2 GIS發展階段 1
1.1.3 地理信息系統商業化 3
1.1.4 地理信息科學騰飛 3
1.1.5 地理數據爆炸式增長 4
1.2 地理信息科學研究的發展 4
1.2.1 地理時空大數據特點 5
1.2.2 大數據時代的地理學研究范式 5
1.2.3 數據驅動研究范式下的地理信息科學發展 6
1.3 地理時空大數據云平臺 7
1.3.1 地理時空大數據云平臺的特征 7
1.3.2 地理時空大數據云平臺的組成 7
第2章 時空數據存儲管理 10
2.1 關系型空間數據庫 11
2.1.1 概述 11
2.1.2 常用數據庫 11
2.1.3 優缺點 12
2.2 NoSQL空間數據庫 12
2.2.1 概述 13
2.2.2 分類及典型應用 13
2.2.3 優缺點 15
2.3 分布式數據存儲 15
2.3.1 概述 15
2.3.2 分布式文件系統 16
2.3.3 分布式數據庫 17
2.4 時空數據索引 19
2.4.1 經典空間索引 19
2.4.2 分布式空間索引 23
2.4.3 稀疏-稠密空間格網R*樹索引 26
2.4.4 靜態多級格網索引 27
2.5 實例——基于HBase的地表覆蓋數據存儲與索引設計 28
2.5.1 數據特點 29
2.5.2 存儲設計 30
2.5.3 索引設計 32
第3章 高性能時空大數據計算 35
3.1 時空大數據高性能計算策略 35
3.1.1 云環境下的并行計算范式 36
3.1.2 基于操作結構的并行空間計算流程 37
3.2 空間數據劃分策略 41
3.2.1 面向解構的空間操作分類及其空間子域分布特征 41
3.2.2 無空間依賴空間操作的數據劃分方法 44
3.2.3 弱空間依賴空間操作數據劃分方法 47
3.2.4 強空間依賴空間操作數據劃分方法 52
3.3 空間計算任務劃分策略 55
3.3.1 多維空間子域任務計算量表示 56
3.3.2 空間子域計算代價評估 57
3.4 MapReduce、Spark、Storm分布式并行計算框架 58
3.4.1 MapReduce 58
3.4.2 Spark 59
3.4.3 Storm 60
3.4.4 MapReduce、Spark、Storm計算框架對比 61
3.5 實例——基于分布式內存計算的并行二路空間連接算法 61
3.5.1 二路空間連接 62
3.5.2 多路空間連接 62
3.5.3 基于分布式內存計算的并行二路空間連接算法設計 62
3.5.4 實驗分析 65
第4章 地理時空大數據挖掘 70
4.1 地理時空大數據挖掘概述 70
4.1.1 地理時空大數據挖掘的內容 70
4.1.2 地理時空大數據挖掘的方法 72
4.2 時空大數據聚類分析 72
4.2.1 全局*優解驅動的柵格大數據聚類 73
4.2.2 基于時空密度的矢量大數據聚類 76
4.3 時空關聯規則挖掘 78
4.3.1 通用關聯規則挖掘方法 79
4.3.2 大數據關聯規則挖掘方法 80
4.3.3 空間關聯規則挖掘方法 80
4.3.4 時空關聯規則挖掘方法 81
4.4 地理關系回歸分析 82
4.4.1 空間回歸分析 82
4.4.2 時空回歸分析 83
4.4.3 地理時空神經網絡加權回歸 83
4.5 地理大數據挖掘模型流程定制 86
4.5.1 構建地理時空大數據挖掘模型流的意義 86
4.5.2 常用大數據挖掘模型流調度框架 86
4.5.3 Airflow 88
4.6 實例——大規模時空熱點分析并行計算 90
4.6.1 時空熱點 90
4.6.2 總體執行流程 91
4.6.3 熱度值計算 91
4.6.4 多視角出租車軌跡熱點識別 92
第5章 地理多維時空可視化 96
5.1 地理可視化概述 96
5.1.1 地理可視化的基本概念 96
5.1.2 地理可視化發展歷程 97
5.2 數據加載和渲染策略 98
5.2.1 頂點壓縮技術 99
5.2.2 地圖瓦片構建 100
5.2.3 基于細分層級的實時高效渲染策略 106
5.3 三維可視化 108
5.3.1 三維GIS平臺框架 108
5.3.2 大規模地理數據可交互式時空過程體繪制 111
5.3.3 城市三維場景可視化案例 115
5.4 免預先切片的地圖瓦片服務 120
5.4.1 免預先切片技術簡介 120
5.4.2 基于HBase的地表覆蓋數據免預先切片方法 120
第6章 面向智慧城市的時空信息云平臺實例 127
6.1 平臺設計 127
6.2 存儲層構建 129
6.2.1 混合存儲方案 129
6.2.2 構建索引 131
6.2.3 構建多尺度矢量瓦片 132
6.3 計算層構建 133
6.4 分析層構建 137
第7章 基于時空信息云平臺的應用 139
7.1 城市化土地利用時空演變分析 139
7.1.1 簡介 139
7.1.2 數據與案例區 139
7.1.3 方法 141
7.1.4 實例分析 142
7.2 基于大數據的城市功能區劃分研究 146
7.2.1 簡介 146
7.2.2 數據 146
7.2.3 方法 148
7.2.4 分析與結果 149
7.3 城市交通時空結構與脆弱性研究 151
7.3.1 簡介 151
7.3.2 數據 152
7.3.3 方法 153
7.3.4 分析與結果 159
7.4 城市計算視角下的公共交通模式挖掘 161
7.4.1 簡介 161
7.4.2 數據 161
7.4.3 方法 162
7.4.4 分析與結果 166
主要參考文獻 173
時空大數據計算分析與應用 節選
第1章概述 1.1 GIS發展歷程 GIS—詞由三個字母組成,G(geography)表示地理,I(information)表示信息,S在不同的時期給出了不同的定義。S*早與地理信息結合的時候是指代system(系統),隨著其內涵改變進而變為science(科學)。service(服務)代表的是地理信息被更廣泛地應用于生產生活,smart(智慧)則給予了地理信息發展更高的期望和美譽。 本書將從GIS發展歷史說起,不是按照不同時期S隱喻的不同來劃分,而是想更多地從地理作為一種信息如何為人類所利用這一角度開啟GIS的篇章。這里的S沒有特指是哪一個S。 1.1.1空間分析緣起霍亂地圖 地圖作為表達事物空間分布及聯系的載體,可以看作GIS的起源,因為古代的軍事作戰指揮、描摹土地山川等地理形勢都用上了地圖①。但是更為大家認同的地圖是1854年的霍亂地圖。 霍亂襲擊了英國倫敦市,英國醫生約翰 斯諾繪制了疫情暴發地點、道路、住宅區邊界和水系圖。當他將這些特征添加到地圖上時,發生了一些有趣的事情,大多數病例的住所都圍繞在布羅德街(Broad Street)水泵附近,霍亂地圖如圖1.1所示。 他結合其他證據得出飲用水傳播的結論,于是去掉了Broad Street水泵的把手,霍亂*終得到控制。 約翰 斯諾的霍亂地圖不僅僅是用地圖這一載體表達了疫情分布,而且通過空間分析發現了疾病傳播的源頭。約翰 斯諾通過把地理層放在一張紙質地圖上,拯救了很多人的生命。 1.1.2 GIS發展階段 2020年新年伊始,全球都被一場前所未有的新冠肺炎疫情籠罩,相比于約翰 斯諾時代的紙質地圖,可以看到全球的地理人正在利用各種先進技術手段來獲取、表達和分析疫情的時空發展,并期望給疫情防控提出有效建議。從200年前的紙質地圖到今天的動態數字地圖分析挖掘,從簡單空間分析到解決復雜時空問題,GIS經歷了幾個發展階段。 20世紀60~80年代是地理信息系統開拓時期。隨著計算機技術的進步,學者以及政府部門等以地物坐標作為數據輸入,通過大型計算機進行數據存儲,使用打印機將圖形映射為輸出。 加拿大政府有著廣袤的土地,管理人員認識到準確掌握關鍵要素的數據對土地規劃和決策至關重要。加拿大在1964年提出土地清查的需求,利用土壤、排水和氣候特征來確定作物類型和森林地區的土地容量。羅杰 湯姆林森(Roger Tomlinson)在加拿大政府任職期間,規劃和指導了加拿大地理信息系統(Canada geographic information system,CGIS)的建立。CGIS被認為是地理信息系統的根源。羅杰 湯姆林森在1968年出版的《區域規劃地理信息系統》一書中首次使用了“地理信息系統”一詞,他也因此被譽為“地理信息系統之父”。 1967年美國人口普查局開發了數據格式GBF-DIME(地理基礎文件-雙獨立地圖編碼)實現了普查的自動地理編碼,數字化了人口普查邊界、道路和城市地區,為GIS帶來了革命性的影響。GBF-DIME文件在1990年演變為TIGER文件。 同一時期,英國的軍械測量局也開始了例行的地形圖繪制工作。到目前為止,英國軍械調查局仍在生產許多不同的地理信息系統數據產品,包括英國每一個地區的每一棟房子、每一道柵欄和每一條河流。 中國的GIS發展起步較晚,陳述彭院士為此做出了巨大貢獻。 (1)1977年:陳述彭院士訪問英國歸來提出發展中國地理信息系統的建議。 (2) 1978年杭州遙感會議:陳述彭院士提出發展中國地理信息系統的倡議。 (3) 1978~1980年騰沖航空遙感試驗:**次成立地理信息分析學科組,探討統計制圖、數字地面模型等研究。 (4)1980年中國科學院地學部倡議:陳述彭院士在地學部會議上,提出開展我國地理信息系統研究的建議,并得到了王之卓先生的支持。 由此,中國GIS的星星之火開始燎原。 1.1.3地理信息系統商業化 隨著各國政府意識到數字地圖的優勢,旺盛的需求和計算機軟硬件技術的進步促進了地理信息系統技術的極大發展。20世紀70年代中期,哈佛大學計算機圖形學實驗室開發了**個矢量地理信息系統,稱為奧德賽地理信息系統(ODYSSEYGIS),這項工作引發了GIS軟件商業化的發展階段。 20世紀70年代末,地理信息系統的內存大小和圖形功能都在改善,新的計算機制圖產品,如GIMMS、MAPICS、SURFACE、GRID、IMGRID、GEOMAP和MAP等,陸續出現。20世紀80年代末,越來越多的地理信息系統軟件供應商參與其中。 在地理信息系統發展的這一歷史時點上,從首次會議可以看到當時的GIS是孤獨的。1975年,英國召開了**次地理信息系統會議,只有一小部分學者參加。1981年,**次ESRI用戶會議只吸引了18人參加。 20世紀90年代,隨著中國沿海經濟開發區的發展,以及土地的有償使用和外資的引進,政府部門對GIS產品服務的需求加速推動了GIS行業在我國的全面發展,使其逐步邁入產業化階段,涌現出來的GIS軟件有中國科學院的SuperMap、中國地質大學(武漢)的MapGIS、武漢測繪科技大學(現武漢大學)的GeoStar等。1989年,武漢測繪科技大學開設地理信息工程專業,此后,中國從事GIS研究和教學的學者隊伍不斷發展壯大。 1.1.4地理信息科學騰飛 1990~2010年是地理信息系統真正騰飛的時期。更便宜、更快和更強大的計算機,更多、更快、更準的軟件和數據可以選擇,地理信息系統被引入學校和企業,空間分析在決策中的重要性逐漸被認識。隨著更多的衛星進入軌道,遙感技術帶來了前所未有的數據增長。全球定位系統(globalpositioning system,GPS)的出現打開了GIS應用領域的另一扇門,GIS從政府部門需求為主轉向了大眾生活需求旺盛期。 這一時期,GIS從原先簡單的數據存儲、數據管理、交互分析、地圖制圖的工具式GIS發展到了桌面組件式GIS,極大地推動了GIS的組件式開發與應用領域的拓展。2005年,Google Map上線運行,開啟了互聯網地圖服務的新時代IT技術融入GIS領域。 地理信息系統、遙感(remote sensing,RS)和全球定位系統的集成,打開了地理信息系統發展的新階段:開源“爆炸”。 1.1.5地理數據爆炸式增長 隨著遙感、傳感網、移動通信等技術的快速發展,地理信息進入了“數據爆炸”時代。美國憂思科學家聯盟(TheUnion of Concerned Scientists,UCS)發布:截至2021年1月1日,全球共有在軌活躍的遙感衛星909顆。高分系列、資源系列、環境減災系列等國產衛星數據形成了我國對地觀測(earth observation,EO)的數據網絡,每天接收的遙感數據量超過PB級。史蒂夫 科斯特于2004年建立的地圖開放項目-公開地圖(open streetmap,OSM)是由網絡大眾共同打造的免費開源、可編輯的地圖服務,約有150萬名注冊編輯志愿者,提供了全球免費、開放的重要基礎空間數據。基于移動網絡與互聯網的位置服務與我們的生活息息相關,在公眾使用這些免費的服務時,把自己的行為軌跡也貢獻給了地圖服務商。社交網絡服務平臺,如微博、馬蜂窩、Twitter、Flickr等,用戶通過這些平臺分享動態,包含了時間、位置、文本、圖片以及視頻等信息,直接或間接地體現了個體的活動行為,極大豐富了時空數據的內容和維度。目前,我們對現實世界的觀測從對地觀測轉向了對地觀測和以社交媒體數據為主的對人觀測的綜合,這讓我們更精準、全面地掌握地球自然、生態以及人類活動信息,從中挖掘潛在的空間規律、行為模式,分析空間布局和觀察空間情感變化。 地理信息科學是研究地球表層空間的各種自然地理要素和所有人類社會活動中與空間位置相關的信息及其內在規律的學科,數據的爆炸式增長給地理科學研究帶來了重大變化。 1.2地理信息科學研究的發展 移動互聯網、物聯網、大數據、云計算等科學技術的創新對以空間位置為核心的GIS形成了一系列新的挑戰。周成虎院士在2019年中國地理信息產業大會中說道:今天,我們處于一個重大的科學與技術革新的時代。當前,世界進入了智能化與綠色化、網絡化、全球化相互交織的時期,并正在改變世界經濟和人類社會。這一轉變對地理信息科學的發展來說是帶來了前所未有的機遇,在ABC(artificial intelligence、big data、cloud computing)支持下進入了一切數據化的時代、計算無處不在的時代、更少人機物混合的時代。 數字時代的地理信息科學與技術的發展為地理時空大數據的管理和應用提供了新的思想和方法,地理時空大數據云平臺正是在前沿科技的推動下,為適應當前數據形態和特點而產生的管理和應用方案。 1.2.1地理時空大數據特點 時空數據通常是指具有時間和空間維度的數據。在現實世界中,超過80%的數據都與時空相關。隨著數據采集和獲取技術的發展,時空數據量呈現爆炸式增長,且覆蓋面極廣,物理世界和人文社會的各行各業與其都有著千絲萬縷的聯系。經過體量、速度和種類的量變累積,時空數據已經質變成為地理時空大數據,具有時空依賴、動態變化、多源異構、價值可挖和體量龐大等特點。 1)時空依賴 地理時空大數據*基本的兩維特征是時間和空間,其產生于統一的時空框架,具備對空間的依賴性和對時間的依賴性,能夠反映特定時空背景下的某一現象。 2)動態變化 萬物沒有絕對的靜止,隨著時間的變化,產生的數據也不會是靜態的,F象具有演化的過程,而作為現象的反映,地理時空大數據同樣具有動態變化的特征。 3)多源異構 地理時空大數據的來源非常廣泛,這得益于數據獲取設備的豐富和改進。從紙張采集文本信息、相機采集圖片信息到物聯網的大采集系統,不同的設備決定了地理時空大數據的多源異構特征。目前比較常見的數據格式有矢量、柵格和文本等,從數據組織上來看,既有結構化數據,也有半結構化和非結構化數據。 4)價值可挖 地理時空大數據是社會現實的反映,其中蘊含豐富的價值信息,可以揭示發展變化的客觀規律,為總結過去、啟發未來服務。但原始數據價值密度低,需要結合數據挖掘手段進行提煉。 5)體量龐大 在大數據時代,數量是*外顯的時代標簽。地理時空大數據屬于大數據的一種,體量的龐大是其*為基礎的特征。 1.2.2大數據時代的地理學研究范式 今天的大數據不僅僅是數量的問題,它的種類也更加多樣化,包括社交媒體、群體共創、地基傳感器網絡和監控攝像頭,等等,并且獲取速度非常快。 大數據正在催生一種新的科研方法論。數據已經不僅僅用來校正、驗證和實驗,而是變成整個分析的驅動力,所以,在數據分析師的腦海中,數據變成了從真實世界傳輸過來的具有很寬波譜范圍的高速數據流。我們可能會進入第四種科研范式:研究方法是根據數據設計的,而不是像之前那樣利用數據去滿足研究方法的需求。 《大數據:將會改變我們的生活、工作、思考的革命》這本書中提到了大數據對科學研究的三大挑戰,具體到地理學的研究中是什么情況呢?Miller Goodchild對此表示,數據驅動的地理學研究具有如下特征。 (1)總體而不是抽樣。傳統模型驅動的研究采用抽樣方法應對數據和信息超負荷的問題,隨機抽樣的基本前提是樣本必須有代表性,研究結論對于樣本的依賴性非常大。我們選用總體數據進行研究,同樣存在問題。例如,社交媒體數據能夠很好地反映人口分布特征,但是由于社交媒體使用群體的有偏性,結論并不如預期那樣反映總體的客觀情況。
時空大數據計算分析與應用 作者簡介
張豐,副教授/博導,地理科學系副主任,浙江省資源與環境信息系統重點實驗室副主任,自然資源部時空信息與智能服務重點實驗室副主任,中國地理信息產業協會教育與科普專業委員會副主任委員,浙江省地理學會常務理事,浙江省地理學會遙感與地理信息系統專業委員會主任,獲批“寶鋼優秀教師”。長期致力于遙感與地理信息科學教學與科研工作,研究重點包括高性能時空計算、時空預測及智能遙感災害應用。發表論文100余篇,出版專著5部,主持國家級、省部級項目10余項; 獲得2次國家科技進步獎,15次省部級科技進步獎。
- >
推拿
- >
有舍有得是人生
- >
苦雨齋序跋文-周作人自編集
- >
月亮虎
- >
伯納黛特,你要去哪(2021新版)
- >
莉莉和章魚
- >
名家帶你讀魯迅:朝花夕拾
- >
月亮與六便士