隨著現(xiàn)在應(yīng)用系統(tǒng)越來越龐大，數(shù)據(jù)量越來越大。單個運算系統(tǒng)已無法滿足日益增長的計算量了。從而引入了分布式系統(tǒng)概念。作為IT運維來講，復(fù)雜的分布式系統(tǒng)有很多抽象概念不好弄明白，今天就跟大家聊聊這個話題。
分布式系統(tǒng)是由一組通過網(wǎng)絡(luò)進行通信、為了完成共同的任務(wù)而協(xié)調(diào)工作的計算機節(jié)點組成的系統(tǒng)。分布式系統(tǒng)的出現(xiàn)是為了用廉價的、普通的機器完成單個計算機無法完成的計算、存儲任務(wù)。其目的是利用更多的機器，處理更多的數(shù)據(jù)。首先需要明確的是，只有當(dāng)單個節(jié)點的處理能力無法滿足日益增長的計算、存儲任務(wù)的時候，且硬件的提升(加內(nèi)存、加磁盤、使用更好的CPU)高昂到得不償失的時候，應(yīng)用程序也不能進一步優(yōu)化的時候，我們才需要考慮分布式系統(tǒng)。因為，分布式系統(tǒng)要解決的問題本身就是和單機系統(tǒng)一樣的，而由于分布式系統(tǒng)多節(jié)點、通過網(wǎng)絡(luò)通信的拓撲結(jié)構(gòu)，會引入很多單機系統(tǒng)沒有的問題，為了解決這些問題又會引入更多的機制、協(xié)議，帶來更多的問題。在很多文章中，主要講分布式系統(tǒng)分為分布式計算(computation)與分布式存儲(storage)。計算與存儲是相輔相成的，計算需要數(shù)據(jù)，要么來自實時數(shù)據(jù)(流數(shù)據(jù))，要么來自存儲的數(shù)據(jù);而計算的結(jié)果也是需要存儲的。在操作系統(tǒng)中，對計算與存儲有非常詳盡的討論，分布式系統(tǒng)只不過將這些理論推廣到多個節(jié)點罷了。那么分布式系統(tǒng)怎么將任務(wù)分發(fā)到這些計算機節(jié)點呢，很簡單的思想，分而治之，即分片(partition)。對于計算，那么就是對計算任務(wù)進行切換，每個節(jié)點算一些，最終匯總就行了，這就是MapReduce的思想;對于存儲，更好理解一下，每個節(jié)點存一部分數(shù)據(jù)就行了。當(dāng)數(shù)據(jù)規(guī)模變大的時候，Partition是唯一的選擇，同時也會帶來一些好處:
(1)提升性能和并發(fā)，操作被分發(fā)到不同的分片，相互獨立
(2)提升系統(tǒng)的可用性，即使部分分片不能用，其他分片不會受到影響
理想的情況下，有分片就行了，但事實的情況卻不大理想。原因在于，分布式系統(tǒng)中有大量的節(jié)點，且通過網(wǎng)絡(luò)通信。單個節(jié)點的故障(進程crash、斷電、磁盤損壞)是個小概率事件，但整個系統(tǒng)的故障率會隨節(jié)點的增加而指數(shù)級增加，網(wǎng)絡(luò)通信也可能出現(xiàn)斷網(wǎng)、高延遲的情況。在這種一定會出現(xiàn)的“異常”情況下，分布式系統(tǒng)還是需要繼續(xù)穩(wěn)定的對外提供服務(wù)，即需要較強的容錯性。最簡單的辦法，就是冗余或者復(fù)制集(Replication)，即多個節(jié)點負責(zé)同一個任務(wù)，最為常見的就是分布式存儲中，多個節(jié)點復(fù)雜存儲同一份數(shù)據(jù)，以此增強可用性與可靠性。同時，Replication也會帶來性能的提升，比如數(shù)據(jù)的locality可以減少用戶的等待時間。
下面這張圖形象生動說明了Partition與Replication是如何協(xié)作的。
Partition和Replication是解決分布式系統(tǒng)問題的一記組合拳，很多具體的問題都可以用這個思路去解決。但這并不是銀彈，往往是為了解決一個問題，會引入更多的問題，比如為了可用性與可靠性保證，引用了冗余(復(fù)制集)。有了冗余，各個副本間的一致性問題就變得很頭疼，一致性在系統(tǒng)的角度和用戶的角度又有不同的等級劃分。如果要保證強一致性，那么會影響可用性與性能，在一些應(yīng)用(比如電商、搜索)是難以接受的。如果是最終一致性，那么就需要處理數(shù)據(jù)沖突的情況。CAP、FLP這些理論告訴我們，在分布式系統(tǒng)中，沒有最佳的選擇，都是需要權(quán)衡，做出最合適的選擇。
分布式系統(tǒng)挑戰(zhàn)
分布式系統(tǒng)需要大量機器協(xié)作，面臨諸多的挑戰(zhàn):
第一，異構(gòu)的機器與網(wǎng)絡(luò):
分布式系統(tǒng)中的機器，配置不一樣，其上運行的服務(wù)也可能由不同的語言、架構(gòu)實現(xiàn)，因此處理能力也不一樣;節(jié)點間通過網(wǎng)絡(luò)連接，而不同網(wǎng)絡(luò)運營商提供的網(wǎng)絡(luò)的帶寬、延時、丟包率又不一樣。怎么保證大家齊頭并進，共同完成目標，這四個不小的挑戰(zhàn)。
第二，普遍的節(jié)點故障:
雖然單個節(jié)點的故障概率較低，但節(jié)點數(shù)目達到一定規(guī)模，出故障的概率就變高了。分布式系統(tǒng)需要保證故障發(fā)生的時候，系統(tǒng)仍然是可用的，這就需要監(jiān)控節(jié)點的狀態(tài)，在節(jié)點故障的情況下將該節(jié)點負責(zé)的計算、存儲任務(wù)轉(zhuǎn)移到其他節(jié)點
第三，不可靠的網(wǎng)絡(luò):
節(jié)點間通過網(wǎng)絡(luò)通信，而網(wǎng)絡(luò)是不可靠的。可能的網(wǎng)絡(luò)問題包括:網(wǎng)絡(luò)分割、延時、丟包、亂序。相比單機過程調(diào)用，網(wǎng)絡(luò)通信最讓人頭疼的是超時:節(jié)點A向節(jié)點B發(fā)出請求，在約定的時間內(nèi)沒有收到節(jié)點B的響應(yīng)，那么B是否處理了請求，這個是不確定的，這個不確定會帶來諸多問題，最簡單的，是否要重試請求，節(jié)點B會不會多次處理同一個請求。
總而言之，分布式的挑戰(zhàn)來自不確定性，不確定計算機什么時候crash、斷電，不確定磁盤什么時候損壞，不確定每次網(wǎng)絡(luò)通信要延遲多久，也不確定通信對端是否處理了發(fā)送的消息。而分布式的規(guī)模放大了這個不確定性，不確定性是令人討厭的，所以有諸多的分布式理論、協(xié)議來保證在這種不確定性的情況下，系統(tǒng)還能繼續(xù)正常工作。
