從單一語言模型進化到同時處理文字、語音、影像，Skymizer推出全新AI晶片IP「HyperThought」

半導體IP提供商Skymizer於5月9日宣布推出最新一代AI加速器IP產品「HyperThought」，主打在邊緣裝置與AIoT中發揮即時、多模態與AI代理（AI Agent）的應用。

Skymizer以晶片編譯器起家，也就是將軟體程式語言與硬體的機械語言相互翻譯、互通的翻譯角色，以提升電腦運算的效能。

相比於2024年Skymizer首次跨入AI加速器領域，推出專為大型語言模型（LLM）設計的「EdgeThought」，「HyperThought」則進一步突破LLM單一模態限制，可即時處理文字以外包含語音、影像等多模態的AI模型。

低成本、低功耗、高彈性與高資安需求，Skymizer要實現AI落地

Skymizer執行長賴俊豪舉例，自助送餐機器人可能只有影像辨識能力，但是運用「HyperThought」則可以進一步增加點餐功能，成為真正的機器人服務生，這就是Skymizer新產品潛在的應用場景，另外像是自動駕駛、AI PC、智慧家電、會議紀錄等可能同時有文字、聲音與影像的場景，都是當前Skymizer和客戶談到的實際應用場景，預計將於第三季與客戶合作量產晶片。

Skymizer創辦人暨技術長唐文力提到，多模態AI要進入邊緣裝置必須克服低成本、低功耗、高彈性與高資安需求，而Skymizer的核心技術為長短期記憶壓縮技術，能有效提升AI推論效率的基礎。

舉例來說，跟ChatGPT對話時AI之所以可以延續過往對話的話題繼續問答，就是因為短期記憶體仍保持運作而沒有「斷片」，但是這會消耗計算資源，而Skymizer則將短期記憶進行壓縮，卻仍能讓AI不會「斷片」。

「HyperThought」的第三代語言指令集架構LISA v3具備同時處理多個AI任務與進階記憶體優化等特色，「我們少了20%的DRAM（動態隨機存取記憶體，用於暫時儲存資訊），模型推論誤差卻小於4%，幾乎感受不到（模型）聰明程度變化。」唐文力說。

Skymizer行銷長魏國章表示，「HyperThought」作為IP產品，採取語言指令集架構就是為了讓開發者可以自行開發出需要的應用，能支援包括Llama、Mistral、Whisper、Stable Diffusion，以及Hugging Face平台上的各類開源模型，協助客戶快速導入AI功能。