高通、AMD 都愛用！OctoML 讓機器學習運算能自動部署並讓效能最大化

創業小聚想要讓你知道：
1. AI應用是趨勢，但是如何落地應用一直是企業的痛點，而 MLOps 則是解決的方法，也是熱門的科技趨勢
2. 國外新創 OctoML 如何以 TVM 技術取得 Big Tech 的支持？又什麼是 TVM 技術？
3. 台灣企業導入 AI 也會遇到相同問題，但台灣也有自己的 AI 團隊正在幫助企業導入 AI

2020 年開始，各大廠開始率續推出內建深度學習引擎的晶片，AI 技術往邊緣（Edge）部署的方向非常明確。不過對企業來說，到底該如何有效率地運用辛苦訓練好的模型？西雅圖新創 OctoML 提供一站式的 SaaS 平台服務，使機器學習團隊可以更有效率地優化機器學習模型並部署到不同硬體上。

AI 工程師用來訓練模型工具大部分僅支援 CPU、GPU，可是當模型要導入不同硬體時，需要面對各式各樣不同架構的硬體。所以，一支訓練好的 AI 模型，必須經過編譯器（Contralier）的轉換，才能實際部署到硬體上應用。

OctoML 的創辦人 Luis Ceze 本身也是華盛頓大學計算機工程學院的教授， OctoML 的核心技術基礎 TVM ，最早就是出自他與 Paul G. Allen 兩位教授帶領的 SAMPL 小組的研究項目，並且使用 Apache 協議開源。

TVM 是一種編譯器，它提供了從模型到硬體的端到端（End-to-End）編譯軟體架構。簡單來說，這種技術就是把不同的深度學習框架，編譯到適合的硬體平台上面執行。

TVM 的編譯器已經廣泛由 AWS、ARM、Facebook、 Google、Intel、 Microsoft、Nvidia、Xilinx 等科技巨頭使用與支援，連 Amazon 語音助手 Alexa 的詞彙辨識功能都是使用 TVM 架構。

因為許多使用者的支持，讓研究團隊決定為 TVM 創造更多商業價值， OctoML 在 2020 年 12 月的 Apache TVM 的深度學習大會上 ，宣布將提供 Octomizer 的 SaaS 平台服務。使用者只要將模型上傳到平台，就能夠以指定格式自動優化、測試、封包到指定硬體上，這樣一來 AI 模型能夠使用硬體的效能運行，在某些客戶案例中， Octomizer 將效能提升了80倍。

OctoML 於今年（2020）3 月 B 輪募資中募得 2800 萬美元，由 Addition 領投，上一輪的投資者 investors Madrona Venture Group、 Amplify Partners 也有參與此輪投資，加上 A 輪募得的 1500 萬美元，總募資額達到 4700 萬美元。

OctoML 致力於拓展更多不同的支援硬體，近期發布將支援蘋果最新的 M1 CPU，也與產業巨頭 Microsoft、Qualcomm 和 AMD 合力開發開源的專用運行版本，並優化更多不同模型。未來 OctoML 也希望能夠優化整個機器學習訓練的流程，真正打造一站式的自動化部署模型。

AI 加速產業創新的關鍵就是落地應用，台灣也有專門協助企業無痛導入機器學習的新創 Infuse AI，也有 CannerData 協助企業快速建立乾淨的資料流程以訓練模型，打通 AI 模型訓練到部署的各個環節，需要更多不同的解決方案，才能加速台灣產業轉型，迎向 AI 應用百花齊放的紀元。

延伸閱讀：AI平台新創 InfuseAI完成430萬美金A輪投資，推出MLOps解決方案進軍國際市場

參考資料：TechCrunch、Intrado