Hadoop生態(tài)系統(tǒng)及其版本演化 內(nèi)容節(jié)選

以“互聯(lián)網(wǎng)日志分析系統(tǒng)”這一大數(shù)據(jù)應(yīng)用案例為主線，依次介紹相關(guān)的大數(shù)據(jù)技術(shù)，涉及數(shù)據(jù)收集、儲存，數(shù)據(jù)分析以及可視化，最終會形成一個完整的大數(shù)據(jù)項目。每個公司都要自己的日記分析系統(tǒng)，大部分系統(tǒng)跟日志分析系統(tǒng)是沾邊的。也許相關(guān)的周邊系統(tǒng)，互聯(lián)網(wǎng)公司對人才的需求，其中一半是日志相關(guān)的需求，日志分析，涉及到分布式的所有系統(tǒng)，包括數(shù)據(jù)收集、存儲，數(shù)據(jù)分析以及可視化，我們課程緊緊圍繞這些模塊進行的，以目前最新版的hadoop穩(wěn)定版2.7.3作為基礎(chǔ)，同時兼介紹3.0的特性，只要是2.0以上版本，這個課程所介紹的都適用的。深入淺出介紹Hadoop生態(tài)系統(tǒng)原理及應(yīng)用，包括Hadoop各組件（Flume/HDSF/YARN/Hive/Presto）基本原理、使用方法、實戰(zhàn)經(jīng)驗以及在線演示。

基礎(chǔ)要求:

1.Linux基礎(chǔ)，java語言基礎(chǔ)（java是大數(shù)據(jù)語言，大數(shù)據(jù)相關(guān)的一定要學(xué)習(xí)java）；

2. 項目構(gòu)建工具，maven一定要知道，學(xué)習(xí)java的話，maven一定是知道的，

3.集成開發(fā)工具eclipse要知道怎么用，intellij idea 也行，一般用eclips4.代碼管理工具git，所有代碼放在git上，最好git怎么用？