1.容量第一，優(yōu)化第二——這條規(guī)則在故障發(fā)生時(shí)生效。在宕機(jī)的時(shí)候別研究什么優(yōu)化，先恢復(fù)設(shè)備。

2.保留所有可以捕獲的記錄——以 PostgresQL 為例，包括有 WAL 文件，Slony 復(fù)制，快照技術(shù)，基于硬盤的 DB 版本(快照附帶的)

3.不要因?yàn)閮?yōu)化引入更多問題。通常我們解決問題時(shí)做出來的東西都會轉(zhuǎn)變成之后運(yùn)維工作的負(fù)擔(dān)。請確認(rèn)為運(yùn)維工作開發(fā)的那些工具已經(jīng)完全交付使用。這些東西經(jīng)常無法正常運(yùn)行結(jié)果要返回開發(fā)組重來。更重要的，這種變更請求通常會打破團(tuán)隊(duì)原本安排好的工作計(jì)劃。

4.保持簡單，不要讓事情變得太復(fù)雜，聰明的你一定可以做到的。

5.謹(jǐn)慎使用緩存以保護(hù)那些難以水平擴(kuò)展的資源。當(dāng)然，如果你可以水平擴(kuò)展它，那么給他加緩存層就不用考慮太多。一旦用上了緩存層，它的目的應(yīng)該是提高最終用戶的訪問性能，而不是增加網(wǎng)站的容量。否則，你不過是給自己加上了一個(gè)新的非常不可靠的瓶頸。他們潛在的負(fù)面影響可能危及整個(gè)系統(tǒng)。事實(shí)上緩存層失效帶來的，經(jīng)常是雪崩式的級聯(lián)故障。

6.不要什么都自己寫代碼實(shí)現(xiàn)，也不要什么都從廠家買——要在適當(dāng)?shù)臅r(shí)候采用適當(dāng)?shù)墓ぞ摺?/p>

7.談判——和真正有實(shí)力的廠家談判的唯一辦法就是提前做好功課，準(zhǔn)備好一切可行項(xiàng)。這樣一旦有必要，你可以從你的首選廠家里選擇離開。不用搞虛張聲勢那套了。

8.永遠(yuǎn)要準(zhǔn)備好 N+1 的服務(wù)器。如果 N 等于 1，那么不管什么情況都不要動用這個(gè) +1 的設(shè)備，專職等待 N 失效后的接管。當(dāng)你使用冗余的服務(wù)器來均衡負(fù)載的時(shí)候，就只有49%或者更少的容量可管理了。通常我們會獲得 N+2 的機(jī)會——一定要好好利用起來。

9.數(shù)據(jù)丟失是任何一家公司都不敢冒的風(fēng)險(xiǎn)——這是一條普遍真理。丟失數(shù)據(jù)造成的損耗遠(yuǎn)遠(yuǎn)超過用于保證數(shù)據(jù)不丟失的花費(fèi)。

10.隨時(shí)隨地的并行化——這是一種很重要的思維方式。比如，如果 MogileFS 設(shè)置為位置感知的方式并且需要實(shí)時(shí)復(fù)制，那么每個(gè) MogileFS 服務(wù)器都必須可以復(fù)制自己的數(shù)據(jù)到負(fù)載均衡器指定的另一端。只要有可能，盡量實(shí)現(xiàn)這種多對多的方式。

11.RTFM——就在今天我還要閱讀一對 RAID 卡的說明書來比較他們微妙的差異。魔鬼在于細(xì)節(jié)。像做家庭作業(yè)一樣讀文檔吧！

12.了解每一層上的瓶頸以及如何發(fā)現(xiàn)瓶頸。必須要知道你是在磁盤，內(nèi)存，還是 CPU 上受限制了，搞清楚這個(gè)其實(shí)挺簡單的。

13.要有一個(gè)固定的容量管理流程——而且是主動式的，不是被動式的。要知道系統(tǒng)的弱點(diǎn)在哪里，讓實(shí)際負(fù)荷曲線跑到容量曲線之上是極度危險(xiǎn)的。

14.不促成失敗，也不懼怕改變。

15.不要吸進(jìn)你自己的廢氣。別以為你現(xiàn)在的工作結(jié)果會變成未來你如何工作的動力。

16.運(yùn)維人員要寫的代碼是運(yùn)維工具，而不是應(yīng)用軟件。

17.不要低估運(yùn)維團(tuán)隊(duì)中項(xiàng)目經(jīng)理、技術(shù)作者、金融分析師的價(jià)值。這些人通常比你給的工資值錢多了。

18.監(jiān)控所有的東西——報(bào)警只用在異動的時(shí)候，其他的都記錄下來供趨勢分析。

19.要有一個(gè)固定的流程來查看每個(gè)地方的趨勢數(shù)據(jù)。

20.不要讓監(jiān)控太吵鬧，那樣很快就變得沒作用了。

21.確保你的監(jiān)控系統(tǒng)簡單易用到公司里每個(gè)人都能上手。監(jiān)控?cái)?shù)據(jù)指標(biāo)轉(zhuǎn)換成為業(yè)務(wù)指標(biāo)、市場指標(biāo)和銷售指標(biāo)等等的頻率可能高的讓你吃驚。

22.只在可以做出相應(yīng)改變的地方做總結(jié)，否則就是白白浪費(fèi)時(shí)間。

23.總結(jié)要公開，同時(shí)附上事件相關(guān)的數(shù)據(jù)。這樣大家可以很容易的找到總結(jié)的關(guān)鍵點(diǎn)并且跳轉(zhuǎn)到對應(yīng)數(shù)據(jù)。

24.要讓技術(shù)的每一個(gè)點(diǎn)都有人員在負(fù)責(zé)。

25.同時(shí)為這些負(fù)責(zé)人準(zhǔn)備好備份人員。

26.不斷發(fā)招聘——哪怕沒有名額了。

27.做自己最嚴(yán)厲的批評者。不管自己或者自認(rèn)多聰明，總有可以提高的地方。

28.多往外看，拿自身的水平和盡量多的公司的職位需求做對比。

29.每年參加一個(gè)技術(shù)交流大會。如果一年有好幾個(gè)，那選最好的那一個(gè)去就夠了。

30.買你需要的而不是你想要的。絕不摘下你公司的帽子換上那個(gè)寫著“對我來說什么最簡單最安全”的。

31.只做對業(yè)務(wù)最好的事情，哪怕這件事是讓你滾蛋……

32.問責(zé)制度正規(guī)化——記錄承諾，事后追究沒有完成者。

33.不允許重復(fù)失敗。聽起來有些過于苛責(zé)了。不過要區(qū)分不可挽回的失誤和失誤的差別。

34.無情——因?yàn)閷κ侄际菬o情的。

35.工作是你要在完成的時(shí)候親自署名的東西。署名同時(shí)也意味著完成任務(wù)。

36.保持對外的可用聯(lián)絡(luò)。

37.創(chuàng)業(yè)的伙伴——告訴他們你的專長和能力范圍。你會得到免費(fèi)的產(chǎn)品回報(bào)，有時(shí)候是生活中的。

38.容量是一個(gè)業(yè)務(wù)/產(chǎn)品問題。也就是說每個(gè)頁面、上傳或者登錄等請求的網(wǎng)絡(luò)消耗，都必須是可見的，以協(xié)助完成正確的業(yè)務(wù)/產(chǎn)品決策。

39.一定要打敗預(yù)算！運(yùn)維團(tuán)隊(duì)總是預(yù)算金額最大的揮霍者。公司的收入目標(biāo)經(jīng)常達(dá)不到，運(yùn)維團(tuán)隊(duì)?wèi)?yīng)該有很多辦法來推遲自己的花費(fèi)。

40.過去的經(jīng)驗(yàn)不一定適用于現(xiàn)在乃至將來——多嘗試沒錯，而且要有恰當(dāng)?shù)臏y試工具來做這件事。

41.文檔——所有事情都應(yīng)該好好記錄成文檔。避免團(tuán)隊(duì)的新成員繞著圈的找遍全團(tuán)隊(duì)逐一了解工作內(nèi)容。

42.畫一張超大尺寸的網(wǎng)絡(luò)拓?fù)鋱D，描繪你的數(shù)據(jù)中心。

43.為你的每個(gè)產(chǎn)品都畫一個(gè)邏輯流程圖。

44.維基——讓大家可以很容易的發(fā)布“如何修復(fù)這個(gè)問題”的文檔并且容易查找。這是技術(shù)作者發(fā)揮作用的地方，不過維基可以讓哪怕非正式的文檔或者增增改改的小段落也更好查看。

45.確保團(tuán)隊(duì)的每個(gè)成員，對，是每一個(gè)，都是可以替換的。

46.有些人在家里干活比在公司的時(shí)候還好，但有些人卻不行。

47.訂單打包簽訂——把硬件需求打包成大訂單后再去咨詢最大的折扣合同，記得訂單里要包括所有一切，比如備件包，租賃條件等等。

48.和供應(yīng)商保持長期聯(lián)系，哪怕你換到下一份工作的時(shí)候也能聯(lián)系上他們。

49.給運(yùn)維團(tuán)隊(duì)每個(gè)人都配上一切他們可以遠(yuǎn)程操控的東西——掌上電腦， 3G 網(wǎng)卡，24 寸 LCD 屏幕……你為有才華的人付出得到的回報(bào)，遠(yuǎn)超過在遠(yuǎn)程雇傭的現(xiàn)場工程師。記住，運(yùn)維工程師都是電力狂人，他們知道并且能充分利用屏幕上每個(gè)像素。

50.除非 Mac 可以運(yùn)行 office 2007 和 outlook，否則團(tuán)隊(duì)里總需要幾個(gè) windows。這事很破壞團(tuán)隊(duì)的會議安排，聯(lián)系人管理和郵件列表等等。

51.要有一個(gè)簡化的采購流程——前提是你要了解自己的預(yù)算，并且能夠管理好。我們可以從財(cái)務(wù)報(bào)告中得到實(shí)際。技術(shù)驅(qū)動的報(bào)告和財(cái)務(wù)驅(qū)動的報(bào)告之間通常存在差距。一個(gè)好的運(yùn)維經(jīng)理可以創(chuàng)建一些模型，將這些差別計(jì)入銷售總成本中。而理解這些的 CFO 才可以幫助推動業(yè)務(wù)決策。

52.周會一定要持續(xù)舉行，對上周的事件逐一總結(jié)和問責(zé)。

53.創(chuàng)建一個(gè)獨(dú)立的升級系統(tǒng)，來管理那些對運(yùn)維產(chǎn)生負(fù)面影響的代碼開發(fā)工程。這個(gè)想法的來源是：一個(gè)同時(shí)涉及運(yùn)維和開發(fā)的問題，在運(yùn)維或者開發(fā)的跟蹤系統(tǒng)里大多被湮沒無視，最后沒人理睬，所以給這些問題單獨(dú)創(chuàng)建一個(gè)跟蹤系統(tǒng)反而更加簡單清楚。

54.產(chǎn)品開發(fā)從設(shè)計(jì)開始的每個(gè)階段都要和運(yùn)維技術(shù)相結(jié)合。這樣，擴(kuò)展性，監(jiān)控和可靠性都融入到產(chǎn)品里。這樣同時(shí)也可以確保運(yùn)維負(fù)責(zé)的硬件采購、監(jiān)控系統(tǒng)按時(shí)到位，運(yùn)行手冊即時(shí)更新，最后產(chǎn)品按照預(yù)計(jì)時(shí)間上線運(yùn)行并且都符合運(yùn)維標(biāo)準(zhǔn)。

55.像一個(gè)真正的公司一樣運(yùn)作——薩班斯法案，WebTrust 安全審計(jì)認(rèn)證，SAS 70 審計(jì)標(biāo)準(zhǔn)，Visa 組織和銀行等等。如果你真的成功了，這些都是你不得不打交道的。早點(diǎn)開始這些準(zhǔn)備其實(shí)很簡單，不需要太多的知識。不過就是開發(fā)一個(gè)工單/任務(wù)跟蹤工具，然后好好使用。把變更控制和管理放進(jìn)同樣的系統(tǒng)里，好好使用。其他信息也放進(jìn)來。系統(tǒng)就可以幫助我們找出像“上周變更了什么”這類信息。

56.給冗余留空間。一開始或許很難，但是一個(gè)沒有真正的擴(kuò)展性和可靠性的系統(tǒng)，才會真正耽誤你獲得成功的時(shí)間。

57.買個(gè) Oracle 標(biāo)準(zhǔn)版(或者微軟 SQL Server 標(biāo)準(zhǔn)版)是值得的。如果你可以限制住自己不超過標(biāo)準(zhǔn)版的需求，那就絕對值得買，哪怕你剛剛開始創(chuàng)業(yè)。

58.Postgres 和 MySQL 的免費(fèi)不錯。如果你不是特別在意事務(wù)完整性，MySQL 其實(shí)挺好的。

59.容量設(shè)計(jì)應(yīng)該按照每日峰值再上拋 20% 到 30% 的冗余。除非你是個(gè) vmotion(譯注：VMWare 的熱遷移技術(shù))達(dá)人。

60.盡量多讀一些貿(mào)易雜志。它們通常是免費(fèi)的，只要你填寫一些調(diào)查問卷就好了。新聞的價(jià)值是巨大的。對了，記得讓他們投遞到你家里，工作的時(shí)候讀雜志的機(jī)會趨近于零。

61.注意安全。開發(fā)人員不應(yīng)該有生產(chǎn)線的權(quán)限，而應(yīng)該去做代碼復(fù)核。這是和運(yùn)維之間的職責(zé)分離。然后運(yùn)維中應(yīng)該有人控制設(shè)置其他運(yùn)維人員權(quán)限的權(quán)限。創(chuàng)建一個(gè)員工手冊，警告大家違反安全條例會有很嚴(yán)重的后果。從一開始就要記住從物理的、邏輯的、功能的各個(gè)方面來保護(hù)客戶的數(shù)據(jù)安全和隱私。萬一有客戶要和你對簿公堂，你回憶起來發(fā)現(xiàn)自己只是靠勇氣和勤奮來保護(hù)客戶數(shù)據(jù)，這感覺可不怎么好。

62.控制好訪問入口。首先要保證大家可以正常完成工作；其次要確保你知道他們是從哪里進(jìn)來的?？烊?shí)現(xiàn)雙因素身份驗(yàn)證方法吧。

63.對于人們訪問生產(chǎn)環(huán)境必經(jīng)之路的堡壘機(jī)和網(wǎng)關(guān)，鍵盤記錄是至關(guān)重要的。對于 Windows 可能稍微有點(diǎn)難度，不過有些網(wǎng)關(guān)可以提供自動截屏功能。

64.確保有多種辦法登錄生產(chǎn)環(huán)境。不要期望公司的 VPN 在網(wǎng)絡(luò)中斷的時(shí)候還能起作用。直接把 VPN 架設(shè)在生產(chǎn)環(huán)境里。

65.使用 LDAP 做認(rèn)證，哪怕你只有 10 臺機(jī)器，通過復(fù)制 passwd 和 shadow 文件的方式來管理，你也要 LDAP 認(rèn)證。

66.不要低估在 UNIX 環(huán)境中一臺 Windows Server 2008 設(shè)備是多么有用。如果只是因?yàn)椴欢?Windows，那么去學(xué)，而不是貶低它。

67.不要用那些無效的無線方案浪費(fèi)大家的時(shí)間。公司里所有人都在移動，沙發(fā)上，會議室里，門口，到處都要上網(wǎng)。千萬維護(hù)好你的無線路由。

68.總有些人把額外的精力和時(shí)間都投入到工作上——直接通過他們的請假單好了。而另一些人恰恰相反只把注意力放在怎么通過自己的請假單。在個(gè)人時(shí)間安排上，運(yùn)維人員總是做出巨大的犧牲，他們隨時(shí)準(zhǔn)備凌晨3點(diǎn)爬起床快速響應(yīng)排障需求。

69.通過集中式的 RDBMS 管理你所有的設(shè)備資產(chǎn)。然后復(fù)制資產(chǎn)，人員，網(wǎng)絡(luò)，合同等所有數(shù)據(jù)到異地。沒錯，要的是一個(gè)在線的實(shí)時(shí)可用的復(fù)制，而不是每天晚上備份到磁帶。

70.自動使用多進(jìn)程以確認(rèn)安全，包括操作系統(tǒng)或者產(chǎn)品的上線，文件的推送，日志的分析等。

71.自動化操作必須和運(yùn)維的 RDBMS 數(shù)據(jù)相關(guān)聯(lián)。

72.設(shè)備通常有三種狀態(tài)——離線，服務(wù)中，預(yù)備。預(yù)備狀態(tài)就是說正在通過 cfengine、rsync 或者其他你在使用的工具完成配置。服務(wù)中就是已經(jīng)運(yùn)行著流量了。同時(shí)還需要一個(gè)狀態(tài)，這個(gè)狀態(tài)下的設(shè)備可以在不提供生產(chǎn)服務(wù)的情況下收集或者測試數(shù)據(jù)。

73.尊重日志數(shù)據(jù)。在設(shè)備下線或者重建之前，一定要先導(dǎo)出日志。

74.如果業(yè)務(wù)飛速發(fā)展讓你沒有太多時(shí)間來做優(yōu)化，那就盡力鎖定一切——進(jìn)程還能工作，就不要改變它，直到后來有了絕對必要的理由?？傊i定默認(rèn)值，等待成長到必要時(shí)再審視。

75.你永遠(yuǎn)無法避免運(yùn)維工程師在你基礎(chǔ)設(shè)施最關(guān)鍵的地方犯點(diǎn)啥錯——比如在哪臺機(jī)器上不小心執(zhí)行 rm -rf / 命令。

76.為團(tuán)隊(duì)保持好玩和有趣的氣氛——如果他們不再享受他們的工作，他們就會找別的事情來消遣。要讓團(tuán)隊(duì)有主人翁意識，運(yùn)維不是哪個(gè)經(jīng)理的個(gè)人任務(wù)。

77.提供 99.999% 可用性的真正價(jià)值在于讓我們有能力保持靈活。這意味著當(dāng)你需要的時(shí)候可以充分利用系統(tǒng)冗余。物理變更、設(shè)備遷移、代碼修改和回退等等都游刃有余。這個(gè)對于公司本身價(jià)值巨大，甚至比對客戶還大。

78.如果你能做到 99.999%，那就給客戶一個(gè) 100% 的SLA承諾。

79.不要湮沒軟件熱更新的能力。應(yīng)該被湮沒的是你自己回滾或者轉(zhuǎn)移到舊版本代碼的能力。壓根就不應(yīng)該“處理”這種徒勞的失敗轉(zhuǎn)移。當(dāng)事情變得不如人意的時(shí)候，你更應(yīng)該做的是找個(gè)大玩意兒來擋住你的肥屁股。CYA（譯注：Cover Your Ass，就是前面說的蓋屁股） = 保持敏捷 = 成功的公司。

80.記住你為客戶構(gòu)建產(chǎn)品的思路里每一步的原因和目的——不管你部署給最終用戶的是什么，把這些放在最先考慮，即你所有（基礎(chǔ)設(shè)施、流程和人員）的設(shè)計(jì)都是為了提供最好的服務(wù)和產(chǎn)品。

81.第一次就要成功。很少有機(jī)會讓你回去重新開始的。重做是對公司資源的巨大浪費(fèi)。

82.多聯(lián)系業(yè)內(nèi)的合作伙伴、盟友和類似的企業(yè)，看看他們的運(yùn)維是怎么做的。很可能他們碰到了跟你一樣的挑戰(zhàn)，而解決的更為巧妙。不要害怕分享自己的經(jīng)驗(yàn)和處理過程，因?yàn)閯e人也會回饋的。

83.招人就要招那些足以讓自己擔(dān)心會被擠掉目前工作的，招那些你欣賞和可以學(xué)習(xí)的榜樣，招那些你愿意和他一起工作的。這感覺甚至超過你招聘一個(gè)工作考評為A的員工。

84.IT 和運(yùn)維是完全不同的兩個(gè)概念。一個(gè)不錯的運(yùn)維經(jīng)理應(yīng)該可以管理好企業(yè) IT，但是一個(gè)傳統(tǒng)的 IT 工程師很難有能力處理互聯(lián)網(wǎng)運(yùn)維任務(wù)。

85.當(dāng)你開始一份新工作或者在每年的起始，都應(yīng)該去爭取預(yù)算。這不是說滾著那個(gè)滋滋響的輪子往前走(應(yīng)該是指循規(guī)蹈矩照本宣科)，而是要一個(gè)基于歷史數(shù)據(jù)做出的優(yōu)秀的文案。如果你正在評估一份新工作，請確認(rèn)你完完全全的知道預(yù)算以及預(yù)算的來源。同時(shí)，還應(yīng)該有的是改善這份預(yù)算的權(quán)利。

最新評論