You are now offline.

APMIC攜手銓鍇國際推出AI算力解決方案,保護資料還節省98%推論成本

APMIC攜手銓鍇國際推出AI算力解決方案,保護資料還節省98%推論成本
APMIC提供
分享
收藏
已完成
已取消

曾獲Google、NVIDIA兩大公司資源挹注的台灣新創APMIC(Accelerate Private Machine Intelligence Company)與銓鍇國際,共同推出軟硬體整合的Test-Time Compute AI算力解決方案,提供類似於DeepSeek-R1的全新訓練方法「APMIC Toolbox s1」,結合銓鍇國際「AI CKompute」實體機櫃租賃服務。

APMIC Toolbox s1以NVIDIA NeMo所開發的框架,同時支援AI教母李飛飛所發表的「Simple test-time scaling」(s1)訓練方法。該方法不僅承襲DeepSeek優點,避免中國訓練方法或模型所衍生的資安問題,更較DeepSeek方法節省90%成本,訓練資料可從80萬筆大幅減少至1,000筆。

過去為了實現高準確率模型,通常需要昂貴設備與訓練方法,然而APMIC Toolbox s1搭配銓鍇國際推出台灣首創的AI CKompute,提供搭載24片NVIDIA H100 GPU的高階伺服器,整櫃直送客戶現場,或者放在銓鍇這端再以遠端連線方式使用,減輕自行維護負擔。這套方案能夠快速啟動資料訓練、進行高強度測試,不必排隊等雲端GPU資源,免除機密資料外移的隱憂。

APMIC Toolbox s1搭配24片H100設備後,形成一套可以訓練、推論及多模態的企業數位大腦,不僅能夠分析文字、圖片,也能進行企業知識的深度推理,相較傳統做法,資訊檢索準確度提升70%,便於企業客戶透過自然語言建立AI,進行知識管理、撰寫報告等。

這套方案讓客戶可在地端實現「知識蒸餾」(Knowledge Distillation),透過大模型學習企業領域知識,然後縮小至320億至700億參數(32B~70B)的模型上,讓推論成本可比ChatGPT節省多達98%以上,而且企業知識資料不外流。

與此同時,企業不再需要擔心購買昂貴設備,依業務需求靈活調整AI CKompute,可長期租用,甚至租單一個月或數天使用。租約到期,客戶可選擇整機購買或直接歸還,達到「資本支出轉營運支出」的高彈性策略,取得所需運算資源。

值得關注的是,APMIC自行開發在地化大型語言模型和平台框架「CaiGunn」(開講,取自「聊天」的台語發音),包括專為台灣人打造的「CaiGunn-TaME」,打造企業AI大腦。企業員工能以聊天機器人的對話方式使用,協助提高客戶服務、文字分析、文件審查等處理效率。CaiGunn獲得Google、台北市政府、NEC、台塑生醫、中國信託銀行等超過800家企業採用,從去年起進軍北美市場。

本文授權轉載自《科技新報》,作者:陳冠榮,原文標題:APMIC 攜手銓鍇國際推 AI 算力方案,支援李飛飛 s1 訓練方法

TAGS: # AI
延伸閱讀
本文作者 《科技新報》陳冠榮 《科技新報》陳冠榮

報導有價值、有意義的資訊,同時也會有具備全局觀點、個人觀點的意見或評論刊載,為市場和業內人士關心的趨勢、內幕與新聞。

使用會員功能前,請先登入

  • 收藏文章
了解更多關於創業小聚的資訊,歡迎透過以下服務: