&

課程詳情
上課校區(1)

Hadoop 作為開源的云計算平臺，為大數據處理提供了一整套解決方案，應用非常廣泛。Hadoop 作為一個平臺框架，包括了如何存儲海量數據，如何處理海量數據，以及相應的數據庫、數據倉庫、數據流處理、數據分析和挖掘算法庫等等。本次培訓作為知識儲備，主要講解目前應用數據和大數據平臺的數據同步工作以及了解大數據理論體系結構, 應用 Hadoop 2.0 的大數據框架結構，文本文件與 Hadoop/Hive/Sqoop 數據遷，Hadoop 的思想、原理，以及重要技術等相關知識。

第一天

一、Hadoop 的基本框架：

大數據時代面臨的問題；當前解決大數據的技術方案；Hadoop 架構和云計算；Hadoop 簡史及安裝部署；Hadoop 設計理念和生態系統

二、HDFS 分布式文件系統：海量數據存儲的搖籃

HDFS 的設計目標、HDFS 的基本架構、 NameNode 名稱節點、 SecondaryNameNode 第二名稱節點、 DataNode 數據節點、HDFS 的存儲模型數據塊存儲、元數據存儲（空間鏡像與編輯日志）、多副本存儲多副本放置策略多數據節點管理機制與交互過程文件系統操作與管理讀文件過程寫文件過程（數據流管道）數據完整性機制數據校驗和數據完整性掃描線程元數據備份與合并數據可靠性設計安全模式（數據塊與節點映射關系管理）心跳檢測機制（節點失效管理）租約機制（多線程并發控制）其它 HDFS 的安全機制負載均衡文件壓縮操作接口與編程接口 HDFS Shell HDFS Commands 演練：HDFS 文件操作命令

三、MapReduce 分布式計算系統：海量數據處理的利器

MapReduce 的三層設計理念、分布治之的設計思想（Map 與 Reduce）、數據處理引擎（編程模型）、運行時環境（任務調度與執行）、MapReduce 的基本架構、JobTracker 作業跟蹤器、TaskTracker 任務跟蹤器 MapReduce 與 HDFS 的部署關系

四、Yarn：平臺

Yarn 平臺的搭建、 Yarn 實例的運行、Yarn 應用的監控

廣州校區

地址：廣州市天河區翰景路1號金星大廈

電話：400-029-0976 轉 **** 查看號碼

查看所有1所校區

授課老師更多

艾彪

計算機技術培訓

云計算領域的先行者和實踐者iOS/Android技術顧問前端框架技術專家python爬蟲技術專家跨平臺移動開發技術專家為波導手機、中國銀行、中南空管局等諸多企、事業單位開發移動端項目。精通iOS、Android、PHP、Python、Node.JS,微信及 Html5等開發技術;精通angular，vueJS,React等主流前端框架以及前端框架的設計;多平臺架構設計協同開發倡導者，曾先后主持開發大型網絡游戲iOS和Android客戶端開發、海關移動查巡系統、中國銀行移動文檔查閱系統等。在 App Store發布多款應用軟件，擅長移動平臺的應用和移動架構的搭建，Python開發與數據分析，因長期研究手機和互聯網前端開發技術，所以在互聯網的安全、手機端安全方面也積累了不少實戰經驗，現為中睿優秀講師，首席企業移動開發顧問，前端開發，移動開發、移動安全方向培訓滿分講師。詳細
陳國星

web前端開發培訓

研發迭代領域專家創業團隊管理領域專家阿里云企業級互聯網架構師阿里云受邀講師大數據架構研究者網絡安全領域專家，曾服務于某大型互聯網公司任安全事業部高級經理曾參與廣東省智慧城市建設項目精通大型分布式互聯網應用架構設計與技術開發。對于大規模分布式架構、微服務架構、云計算與容器化技術、開發與運維一體化、應用系統安全與和架構設計、海量數量處理、大數據等方向特別有研究，尤其是偏后端的對于高并發系統上有豐富的架構和實施經驗。擅長Java方向、軟件架構、微服務、軟件工程和研發團隊管理，長期為某上市集團公司提供架構顧問和服務支持，曾在麥當勞、迪士尼、中美史克、科海股份、中國電信、中國郵政、平安科技、南方航空、南方基金等公司做過上門的項目服務，咨詢及培訓服務過300多家成長型企事業單位。現為中睿信息CTO，高級技術顧問，首席系統架構師和資深講師。詳細
李巍

計算機技術培訓

Adobe中國認證產品專家Adobe中國認證設計師首席Web產品架構師。13年IT工作經驗，9年培訓經歷，長期從事互聯網項目策劃、前端架構、UI研究和UE設計及SEO。擅長將零亂的需求轉化為Web端表現及產品策劃、改進、搜索引擎營銷。為多個互聯網項目提供項目管理、UI/產品規劃部分的咨詢和團隊建設、專業的用戶體驗設計及改進和互聯網推廣團隊建設，曾一度被中南空管局、中外運、海關、招商基金等公司受信為受歡迎的產品經理，歷來培訓有近1000場，通過培訓再反聘做產品或研發需求管理顧問的有近100個客戶，曾擔任過金山、淘寶、中南空管局、招商局集團等公司的產品顧問，現任中睿公司產品部總監和優秀講師。詳細

關于我們詳情

全面的IT服務提供商—中睿信息是一家專業的IT服務提供商，致力于解決企業信息化所遇到的棘手問題。公司與微軟（Microsoft）、甲骨文（Oracle）、思科（Cisco）、Pearson VUE等全球著名IT廠商建立長期的合作伙伴關系，業務涵蓋企業IT架構與應用服務、軟件研發顧問咨詢服務、數據庫服務、高級IT技術培訓、軟件項目研發、解決方案實施和就業培訓。公司擁有優秀的技術團隊，掌握國際前沿技術，采用標準化的服務體系，為客戶高效、穩定的IT運營提供強有力支撐，提升企業核心競爭力。服務客戶遍及各種行業，包括金融、通訊、制造業、政府、企事業單位。目前，中睿作為華南區實力強的IT服務商，已成為客戶優秀IT服務商的優選，并與上百家客戶建立了長期、多贏的戰略性合作。