一提到大數(shù)據(jù)，人們就會想到Hadoop，然而，最近又有個Spark似乎成了后起之秀，也變得很火，似乎比Hadoop更具優(yōu)勢，更有前景，那么，想要學(xué)習(xí)大數(shù)據(jù)的學(xué)員就要問了，在大數(shù)據(jù)學(xué)習(xí)中Hadoop和Spark哪個更好就業(yè)？

其實正如學(xué)員們所了解的那樣，Spark的確是大數(shù)據(jù)行業(yè)中的后起之秀，與Hadoop相比，Spark有很多的優(yōu)勢。Hadoop之所以在大數(shù)據(jù)行業(yè)能夠得到充分的認同主要是因為：

• ·Hadoop解決了大數(shù)據(jù)的可靠存儲和處理問題；
• ·Hadoop的開源性，這能讓很多大數(shù)據(jù)從業(yè)人員在里面找到靈感，方便實用；
• ·Hadoop經(jīng)過了多年的開發(fā)，擁有完整的生態(tài)系統(tǒng)。
• ·HDFS在由普通PC組成的集群上提供高可靠的文件存儲，通過將塊保存多個副本的辦法解決服務(wù)器或硬板壞掉的問題。
• ·MapReduce通過簡單的Mapper和Reducer的抽象提供一個變成模型，可以在一個由幾十臺至上百臺的PC組成的不可靠集群上并發(fā)地，分布式地處理大量的數(shù)據(jù)集，而把并發(fā)、分布式和故障恢復(fù)等計算細節(jié)隱藏起來。

Hadoop也有許多局限和不足，籠統(tǒng)的講，在數(shù)據(jù)量不斷擴大的情況下，Hadoop的運算速度會越發(fā)顯得吃力。雖然現(xiàn)階段，Hadoop在大數(shù)據(jù)行業(yè)內(nèi)仍然有很高頻率的應(yīng)用，但不難想象在若干年后，數(shù)據(jù)量又上升幾個數(shù)量級時，Hadoop所面臨的窘境。而Spark的運算速度是Hadoop的百分之一甚至更快，因此，在未來，Spark必然會取代Hadoop，主宰大數(shù)據(jù)行業(yè)。

那是不是就可以跳過Hadoop，只學(xué)Spark呢？當然不是，有以下原因：

• ·現(xiàn)階段，Hadoop仍然主導(dǎo)著大數(shù)據(jù)領(lǐng)域，我們可以學(xué)習(xí)先進的技術(shù)，但更是為了現(xiàn)階段的就業(yè)，就目前階段而言，學(xué)大數(shù)據(jù)必學(xué)Hadoop。
• ·MapReduce中有許多經(jīng)典的思想，值得我們學(xué)習(xí)，這對我們理解大數(shù)據(jù)十分有幫助。
• ·確切的講，Spark要替換的是Hadoop中的MapReduce，而不是Hadoop，Hadoop是一個工具包，而Spark和MapReduce一樣，只是一種工具而已。

因此，不論在大數(shù)據(jù)學(xué)習(xí)中Hadoop和Spark哪個更好就業(yè)，我們都應(yīng)該按部就班地學(xué)習(xí)Hadoop，再根據(jù)自己的掌握情況學(xué)習(xí)Spark。

最新評論