供應商說要兩年，馬斯克122天完成！xAI如何用第一性原理，打造10萬顆GPU的超級電腦？

編按：本文摘自《馬斯克寶典》（The Book of Elon），由《納瓦爾寶典》作者艾瑞克．喬根森（Eric Jorgenson）整理馬斯克的公開訪談、演講及言論而成。以下書摘以第一人稱呈現，文中的「我」指的是馬斯克，而非本書作者。本文經金尉出版授權刊登，並經編輯重新編排段落及小標。

2024 年，xAI 試圖打造一座 AI 訓練超級叢集，也就是一個由大量電腦組成、用來訓練 AI 模型的巨型網路，我們找了各大供應商，告訴他們我們需要 10 萬顆 H100（超高效能運算晶片）來進行完整且連貫的模型訓練，結果供應商預估完成時間要 18～24 個月，但我們必須在 6 個月內完成，否則就沒有競爭力。

於是我們把難題拆解開來。實際上，我們需要的只有 3 件事：一棟廠房、電力，以及冷卻系統。

我們沒有時間從零開始興建一棟新廠房，所以我們直接在曼菲斯找到一間閒置的工廠，這裡原本的可接入電力只有 15 兆瓦，但我們卻需要 150 兆瓦，於是我們租了大量發電機，沿著廠房外牆排了一整排。

搞定電力之後，接下來就是冷卻系統了。我們把全美國當時四分之一的可移動式工業級冷卻設備通通租了下來，並將冷卻機組部署在廠房的另一側。

但這還沒完全解決問題，因為 AI 在訓練過程中，電力波動非常劇烈，短短 100 毫秒內可能驟降 50%，租來的發電機根本跟不上，因此我們又加裝了特斯拉的 Megapack 電池儲能系統，並修改 Megapack 的軟體，讓它能在訓練過程中平穩電力波動。

緊接著又出現一堆網路布線上的挑戰，要為 10 萬顆 GPU（圖形處理器）鋪設網路線，這是一項極困難的工程，為了完成這件事，我們讓網路團隊分成四班制，24 小時不間斷施工，我自己也睡在資料中心，親自去拉線。

這個系統現在稱為「巨像」（Colossus），是目前全球最大的 AI 訓練平台，它在 122 天內建置完成，而在此後的 92 天內，規模又擴增 1 倍，達到 20 萬顆 GPU。

第一性原理思維不論套用在軟體、硬體，還是這世上的任何事物都適用。我們經常被告知某件事是不可能的，但只要把它拆解成最基本的組成要素，往往就能找到解決方法。

對創業公司來說，時間就是最大的成本

在 SpaceX 創立初期，我告訴團隊，我們所做的每一件事都要跟燒錢速度賽跑，那時我們每天要燒掉 10 萬美元，與此同時，我預期 10 年後公司一天能創造 1,000 萬美元營收，換句話說，每多花一天達成目標，就等於錯失一天原本可以賺到的營收。

你必須成為一個「向量」（指同時兼具大小與方向），而不只是「純量」（指只有大小，沒有方向），這意味著你不僅要高速前進，更必須朝著正確的方向。沒有任何一家公司能永遠走在正確的方向上，因此你必須像導引飛彈一樣，具備隨時修正航道的能力。

避免讓事情一件卡著一件。很多事情都有「孕育期」，這段時間本身無法被加速，但如果能讓這些事情同時進入孕育狀態，就能大幅縮短整體時程。人們往往太習慣把事情一件一件依序處理，正確的做法應該是：盡可能同步推進需要時間醞釀的項目。