快捷導(dǎo)航

Ruby中的類(lèi)Google Map/Reduce框架Skynet介紹

更新時(shí)間：2015年01月04日 10:12:08 投稿：junjie

這篇文章主要介紹了Ruby中的類(lèi)Google Map/Reduce框架Skynet介紹,Skynet是一款創(chuàng)建分布式應(yīng)用程序的框架,需要的朋友可以參考下

Skynet是一個(gè)很響亮的名字，因?yàn)樗前⒅Z施瓦辛格主演的經(jīng)典系列電影《終結(jié)者》里面的統(tǒng)治人類(lèi)的超級(jí)計(jì)算機(jī)網(wǎng)絡(luò)。不過(guò)本文的Skynet沒(méi)這么恐怖，它是一個(gè)ruby版本的Google Map/Reduce框架的名字而已。

Google的Map/Reduce框架實(shí)在太有名氣了，他可以把一個(gè)任務(wù)切分為很多份，交給n臺(tái)計(jì)算機(jī)并行執(zhí)行，返回的結(jié)果再并行的歸并，最后得到運(yùn)算的結(jié)果。據(jù)說(shuō)Google一個(gè)搜索結(jié)果會(huì)Map到7000臺(tái)服務(wù)器并行執(zhí)行，這么多么可怕的分布式運(yùn)算能力阿！有了Map/Reduce，程序員就可以在無(wú)需關(guān)注分布式框架的情況下，用簡(jiǎn)單的代碼寫(xiě)出來(lái)健壯、并行的分布式應(yīng)用程序，并且可以充分發(fā)揮計(jì)算機(jī)群集運(yùn)算的能力。

如今能夠?qū)崿F(xiàn)Map/Reduce算法的框架已經(jīng)有好幾個(gè)了，其中最有名氣的可能就是Yahoo發(fā)起的開(kāi)源項(xiàng)目Hadoop，不過(guò)Hadoop并不是用ruby編寫(xiě)的，但在ruby的世界，Adam Pisoni已經(jīng)開(kāi)發(fā)出來(lái)了ruby版本的Map/Reduce框架，這就是Skynet。

Adam Pisoni開(kāi)發(fā)Skynet的初衷是因?yàn)锳dam Pisoni的公司Geni.com是一家定位于家族SNS的互聯(lián)網(wǎng)網(wǎng)站。網(wǎng)站提供的新聞推送功能要求能夠從大量的用戶產(chǎn)生的信息當(dāng)中提取特定用戶感興趣的內(nèi)容，推送給用戶。這實(shí)際上是一個(gè)分布式運(yùn)算模型，要能夠把任務(wù)分布到多臺(tái)服務(wù)器上面執(zhí)行，最后把任務(wù)歸并回來(lái)。Adam Pisoni沒(méi)有找到合適的框架，最終自己開(kāi)發(fā)了Skynet，運(yùn)用Map/Reduce算法來(lái)提供這個(gè)分布式運(yùn)算平臺(tái)。

用Skynet開(kāi)發(fā)Map/Reduce的分布式應(yīng)用程序非常簡(jiǎn)單，讓我們舉一個(gè)簡(jiǎn)單的例子看看吧：假設(shè)有一個(gè)1GB的文本文件，我們的任務(wù)是要統(tǒng)計(jì)該文件當(dāng)中每個(gè)單詞出現(xiàn)的次數(shù)統(tǒng)計(jì)。傳統(tǒng)的做法當(dāng)然很簡(jiǎn)單，順序讀入文件內(nèi)容，進(jìn)行單詞統(tǒng)計(jì)就行了，但是毫無(wú)疑問(wèn)，執(zhí)行速度會(huì)很慢。如果我們有一個(gè)1000臺(tái)服務(wù)器的運(yùn)算群集，我們可以如何利用Skeynet來(lái)并發(fā)執(zhí)行這個(gè)程序，從而縮短統(tǒng)計(jì)時(shí)間呢？

Map/Reduce算法的過(guò)程是：

1、Partition(劃分?jǐn)?shù)據(jù))
把數(shù)據(jù)劃分為1000份，這個(gè)過(guò)程由Skynet自動(dòng)完成

2、Map
除了劃分?jǐn)?shù)據(jù)，還需要把運(yùn)算該數(shù)據(jù)的代碼也Map到每個(gè)運(yùn)算節(jié)點(diǎn)上面去并發(fā)執(zhí)行。這1000個(gè)節(jié)點(diǎn)各自執(zhí)行自己的任務(wù)，執(zhí)行完畢以后把執(zhí)行結(jié)果返回

3、Partition
這1000分執(zhí)行結(jié)果需要?dú)w并，于是我們?cè)俅蝿澐謹(jǐn)?shù)據(jù)，比方說(shuō)劃分為10份，這個(gè)過(guò)程也是Skynet自動(dòng)完成的

4、Reduce
把Reduce代碼和Reduce數(shù)據(jù)分發(fā)到10個(gè)節(jié)點(diǎn)執(zhí)行，每個(gè)節(jié)點(diǎn)執(zhí)行完畢返回?cái)?shù)據(jù)。如果需要再次Reduce可以再次執(zhí)行。最終Reduce為一個(gè)總共的結(jié)果。

其實(shí)Map/Reduce算法的原理是很簡(jiǎn)單的，好了，看看Skynet下面，我們?cè)趺磳?shí)現(xiàn)呢？其實(shí)我們需要編寫(xiě)的代碼只有兩個(gè)方法：一個(gè)map方法，告訴skynet如何執(zhí)行每份數(shù)據(jù)，一個(gè)reduce方法，告訴skynet如何歸并每份數(shù)據(jù)，所以這個(gè)并行算法最終用Skynet來(lái)寫(xiě)的話，也非常簡(jiǎn)單：

復(fù)制代碼代碼如下:

  class MapreduceTest

    include SkynetDebugger

    def self.map(datas)

      results = {}

      datas.each do |data|

        results[data] ||= 0

        results[data] += 1

      end                 

      [results]      

    end

    def self.reduce(datas)

      results = {}

      datas.each do |hashes|

        hashes.each do |key,value|

          results[key] ||= 0

          results[key] += value

        end

      end

      results

    end

  end

這個(gè)就是一個(gè)最簡(jiǎn)單、但是完整ruby版本的Map/Reduce代碼了。我們需要編寫(xiě)一個(gè)map方法，告訴skynet去統(tǒng)計(jì)每個(gè)單詞的出現(xiàn)次數(shù)，我們還需要編寫(xiě)一個(gè)reduce方法告訴skynet去歸并每個(gè)map的統(tǒng)計(jì)結(jié)果。好了，剩下所有的工作都?xì)wSkeynet接管了，是不是很簡(jiǎn)單！

當(dāng)然要讓這個(gè)Map/Reduce跑起來(lái)我們還需要做一些工作，比方說(shuō)安裝skynet，配置skynet的并行節(jié)點(diǎn)等等，這些瑣碎的工作可以看看skynet自己的文檔：http://skynet.rubyforge.org/doc/index.html，就不詳述了。

值得一提的是Skynet可以和Rails框架良好的整合起來(lái)工作，你可以把Rails當(dāng)中一些非常耗時(shí)、可以Map/Reduce的工作丟給Skynet去異步后臺(tái)執(zhí)行，比方說(shuō)：

復(fù)制代碼代碼如下:

MyModel.distributed_find(:all, :conditions => “created_on < '#{3.days.ago}'”).each(:some_method)

把最近3天以來(lái)所有的model查詢處理以后要執(zhí)行的耗時(shí)操作some_method交給Skynet，讓Skynet動(dòng)用他強(qiáng)大的運(yùn)算網(wǎng)絡(luò)去執(zhí)行。

還可以異步執(zhí)行：

復(fù)制代碼代碼如下:

model_object.send_later(:method, options, :save)

把耗時(shí)的任務(wù)交給Skynet去異步執(zhí)行。

對(duì)于擁有強(qiáng)大運(yùn)算網(wǎng)絡(luò)、并且需要進(jìn)行大量耗時(shí)運(yùn)算的web2.0網(wǎng)站來(lái)說(shuō)，Skynet真是一個(gè)很棒的工具，他可以讓程序員很簡(jiǎn)單的編寫(xiě)處理健壯而高效的分布式應(yīng)用程序！