Facebook如何在雲端平台處理100PB的海量資料

Facebook在Hadoop雲端平台存有海量的資料不是秘密－大約100PB（即 1,000,000 GB 的100倍）。問題是，Facebook如何在需要使用某些資料時快速地找到這些資料就少為人知了。

在日前Hadoop高峰會上，Facebook的工程師Andrew Ryan提出了自家稱為AvatarNode的資料儲存法。簡單來說，Hadoop的架構含檔案系統，能處理所有後設的資料處理，但只能單模處理，因此只要一個節點掛點，所有仰賴這套檔案系統的資料處理都會掛點。

因此，Facebook於兩年前著手建構AvatarNode（時間點的關係…所以取了阿凡達的名字），目前已經開始使用。AvatarNode取代NameNode採用雙節點架構，因此總是有一台備用的系統，目前切換需透過手動但Ryan表示Facebook正整合AvatarNode到易取性高的框架中，未來將能允許非人工的自動安全切換。

然而Ryan也承認，雖然AvatarNode能協助Facebook避免約五成的可預測系統問題，但對那些沒來由發生的問題，AvatarNode只能預測到10%。

出自GigaOM