曾獲Google、NVIDIA兩大公司資源挹注的台灣新創APMIC(Accelerate Private Machine Intelligence Company)與銓鍇國際,共同推出軟硬體整合的Test-Time Compute AI算力解決方案,提供類似於DeepSeek-R1的全新訓練方法「APMIC Toolbox s1」,結合銓鍇國際「AI CKompute」實體機櫃租賃服務。
APMIC Toolbox s1以NVIDIA NeMo所開發的框架,同時支援AI教母李飛飛所發表的「Simple test-time scaling」(s1)訓練方法。該方法不僅承襲DeepSeek優點,避免中國訓練方法或模型所衍生的資安問題,更較DeepSeek方法節省90%成本,訓練資料可從80萬筆大幅減少至1,000筆。
過去為了實現高準確率模型,通常需要昂貴設備與訓練方法,然而APMIC Toolbox s1搭配銓鍇國際推出台灣首創的AI CKompute,提供搭載24片NVIDIA H100 GPU的高階伺服器,整櫃直送客戶現場,或者放在銓鍇這端再以遠端連線方式使用,減輕自行維護負擔。這套方案能夠快速啟動資料訓練、進行高強度測試,不必排隊等雲端GPU資源,免除機密資料外移的隱憂。
APMIC Toolbox s1搭配24片H100設備後,形成一套可以訓練、推論及多模態的企業數位大腦,不僅能夠分析文字、圖片,也能進行企業知識的深度推理,相較傳統做法,資訊檢索準確度提升70%,便於企業客戶透過自然語言建立AI,進行知識管理、撰寫報告等。
這套方案讓客戶可在地端實現「知識蒸餾」(Knowledge Distillation),透過大模型學習企業領域知識,然後縮小至320億至700億參數(32B~70B)的模型上,讓推論成本可比ChatGPT節省多達98%以上,而且企業知識資料不外流。
與此同時,企業不再需要擔心購買昂貴設備,依業務需求靈活調整AI CKompute,可長期租用,甚至租單一個月或數天使用。租約到期,客戶可選擇整機購買或直接歸還,達到「資本支出轉營運支出」的高彈性策略,取得所需運算資源。
值得關注的是,APMIC自行開發在地化大型語言模型和平台框架「CaiGunn」(開講,取自「聊天」的台語發音),包括專為台灣人打造的「CaiGunn-TaME」,打造企業AI大腦。企業員工能以聊天機器人的對話方式使用,協助提高客戶服務、文字分析、文件審查等處理效率。CaiGunn獲得Google、台北市政府、NEC、台塑生醫、中國信託銀行等超過800家企業採用,從去年起進軍北美市場。
本文授權轉載自《科技新報》,作者:陳冠榮,原文標題:APMIC 攜手銓鍇國際推 AI 算力方案,支援李飛飛 s1 訓練方法