GPU不夠那就用租的！Inference.ai提出「GPU版Airbnb」解決晶片荒

全世界都在搶晶片，這句話可是一點都不誇張。這讓輝達（NVIDIA）成為市場上最炙手可熱的公司，在半年內股價從400美元上漲至700美元，晶片短缺甚至引起美國聯邦貿易委員會的關注，看看是否有壟斷或不當商業的情形。

原因是AI的開發少不了GPU。

為不讓AI產品研發進度停滯，科技巨頭Meta、Google、亞馬遜和微軟等正在盡可能地購買GPU，並投入資源研發自己的晶片。新創Inference.ai則為資源較少的公司提出不同的解方：推出類似於GPU的Airbnb，透過演算法即時將「有GPU需求的客戶」與「有GPU資源的資料中心」匹配，並提供租用服務。

GPU託管市場正在萌芽

Inference.ai由John Yue和Michael Yu共同創辦，其服務就像一個即時媒合平台：有租借需求的使用者只要提出需求，Inference.ai的演算法就能協助匹配到擁有多餘GPU資源的第三方資料中心。

例如使用者可以用每小時約2美金（約新台幣63元）的價格向Inference.ai租借到NVDIA H100的GPU晶片。

這麼做的好處是，一些小型AI公司在研發初期可以不用花高成本建立、維持基礎設施與資料中心，更不用將產品綁死在特定的GPU規模或配置上，可以讓任務中的個別工作同時負載到不同的GPU。據Inference.ai稱，他們的GPU雲端能協助用戶節省82%的GPU成本。

在這項服務中，第三方資料中心是Inference.ai重要的商業資源，不過官方網站與外媒報導中並未舉出實際例子說明，哪些企業將扮演這樣的角色，也未說明分潤方式。不過可以確定的是，Inference.ai已經與100多個第三方資料中心的合作，提供NVIDIA、AMD系列的晶片。

台灣創投心元資本如何看待GPU託管市場？

在GPU越來越貴也越來越稀少的情況下，這種「租用」GPU基礎設施的服務可能是因應現況的新商機。

不過John Yue分享，GPU託管市場還在初期，獲益仍不穩定，相同配置的定價差異可能高達10倍。要想打入市場，Inference.ai的競爭對手也從不同角度切入，包括同樣是做GPU雲端的Together，或是目標在消除硬體設備限制來降低AI產品開發門檻的Run.ai、Exafunction。

即便Inference.ai的產品還有待市場驗證，但已獲得台灣創投心元資本和Maple VC領投，總計約400萬美元（約新台幣1.26億元）募資。

根據IDC數據顯示，生成式AI投資將從2023年的160億美元增至2027年的1,430億美元。AI已不再是產品的加分項目，而將成為許多產品和系統的基礎。

對於那些掙扎於GPU限制的AI新創公司來說，Inference.ai憑藉其演算法方法和降低成本的承諾，可能會改變遊戲規則。

參考資料：TechCrunch、YahooFinance、Stork