不會離職的自主AI員工！APMIC進軍美國，協助企業培養專屬的LLM

APMIC的在地化大型語言模型「開講CaiGunn」服務，致力於幫助企業打造專屬AI解決方案，是台灣首間通過NVIDIA模型技術測試，並且在生成式AI領域獲NVIDIA指名為獨立軟體供應商（ISV）策略合作夥伴的公司。

APMIC原名Asia Pacific Machine Intelligence Company（亞太智能機器），在台灣生根成長，目前已發展到日本、馬來西亞等地，8月27日宣布即將進軍美國，同時大舉更名為Accelerate Private Machine Intelligence Company，期許成為企業自主AI解決方案領導品牌。

什麼是「企業自主AI」？光是科技巨頭推出的AI模型就琳瑯滿目，既然有ChatGPT、LLama與Gemini這些經濟實惠的LLM，為什麼企業還需要投入大量資源，培養「企業自主AI」呢？

為什麼需要企業自主AI？為公司培養一名永不離職的優秀員工

打個比方，既有的雲端AI像是短期工讀生，基礎能力不錯，能夠把交辦事務完成，有時還會神來一筆提出好主意，但是對公司本身的業務、發展方向都不太瞭解，且難以長期培養；而經過特殊訓練、調整的「企業自主AI」則像是一名優秀又老練的員工，不僅各種大小事通通瞭解，甚至能夠掌握公司發展歷程、目標，而且永遠不會離職。

APMIC的AI生態圈策略夥伴總監蔡宜潔Yvonne解釋道，APMIC提供的服務，就像是「協助企業培訓員工」，換言之，即是協助企業量身訂製AI模型，把AI調整成企業需要的模樣，讓這位「員工」從70分走到100分。

優勢1：掌握專業領域知識，提高生成內容正確率

大型AI多半以英文訓練，經常生成不符合台灣繁體中文語境的內容；除此之外，特定企業專精的特殊領域，例如台灣法律、精密製造或本土文化等，未必是雲端模型有放入的資料。這些都成為企業導入AI的困難點。

「雲端模型是用RAG來發展，但RAG的極限準確率就只能到大概80%多。」Yvonne解釋道，由於訓練技術方面的限制，LLM不好克服AI幻覺（AI hallucinations）的問題，也難以回答出完全正確的答案。實務上，雲端大型AI難以完全符合企業內部運作流程，或精準到可以作為對外客服使用。

透過放入公司相關領域的大量訓練資料，再經過RAG、微調（fine-tuning）等擴大特定知識領域的調校手法，企業自主AI能夠掌握公司的正確資訊，包含業務內容、內部流程等，進而解決雲端AI與特定領域脫節的問題。

優勢2：地端AI，確保資訊安全

為了保護公司內部資訊安全，目前有不少企業禁止員工使用雲端AI服務；而企業自主AI大多屬於「地端AI」，藉由建置自家的伺服器，確保內部資訊安全不外洩，不必在資安、AI之間二擇一。除此之外，由於企業自主AI能夠保存內部資料與技術，因此也能夠部分解決知識傳承問題，盡可能避免交接落差。

優勢3：節省大量生成token的成本

無論是ChatGPT、Gemini，這些雲端AI服務都是以「販售token」的形式運作，算力由AI服務供應商提供，企業無需建置自己的伺服器即可使用；然而當token數量過高，便會大幅增加成本。APMIC創辦人兼執行長Jerry（吳柏翰）分析，當企業每日需要的token量超過2,500萬次，建置自己的伺服器會比使用ChatGPT等雲端服務更便宜。

APMIC用7年找出甜蜜點！打造最適合台灣企業的AI

APMIC創辦於2017年，創辦人兼執行長Jerry是台灣唯二經過「Google 開發者專家（Google Developer Experts）」計畫認證的機器學習專家，多年前便投入自然語言理解（Natural Language Understanding）的領域，見證了不同訓練方式、模型大小的AI趨勢。

如何找到經費預算、運算成果品質的甜蜜點，是APMIC的重要考驗之一。Yvonne笑說：「臺灣人最在意CP值！」考量市場特性、AI模型訓練的可能性，「開講CaiGunn」最終選擇了70B的大型模型作為主戰場，同時也能串接小型模型，是目前極少數得以同時串接不同尺寸模型的框架。

特性1：截長補短的MoE模式

「開講CaiGunn」運用MoE（Mixture of Experts，混合專家模型）技術，內部串接多種不同模型（包含ChatGPT、Meta LLama等等），實際使用時會根據企業需求推薦當下適合的模型，Jerry分享，台灣本土開發的繁體中文大型模型TAME目前是「開講CaiGunn」的主力。

（註：繁體中文大型模型Project TAME由NVIDIA支援算力，台大資工系、資管系協助訓練，多間台灣企業參與，並使用5,000億token進行訓練，打造符合台灣繁體中文語境的LLM。）

特性2：No-code一站式解決訓練過程

Jerry介紹，「開講CaiGunn」像是一個工具箱，裡頭有6項核心工具，包含前期的爬蟲、資料預處理，增強AI精準與正確性來達成Responsible GenAI，以及C-RAG（CaiGunn 檢索增強生成），到RLHF（Reinforcement Learning from Human Feedback，基於人類回饋的強化學習）等。

簡單來說，「開講CaiGunn」打造出No-code、一站式的AI訓練平台，一次解決從爬蟲到持續優化的流程，減輕企業的IT負擔。

特性3：結合正確性與溫度的運算模式

Jerry介紹，AI模型訓練分為Encoder與Decoder兩種，Encoder擅長深度理解資訊，生成內容注重正確性，相對「冷靜理性」，但無法從零打造新的內容；Decoder則是擅長創造與生成，但容易出現幻覺或錯誤資訊，相對「溫暖感性」。

APMIC剛創立的2017年，注重資訊正確性的Encoder-Only是當時的主流，APMIC也是以Encoder-Only為主；直到持續鑽研Decoder-Only的 OpenAI推出GPT2，APMIC便開始轉型。「有一段時間大家覺得，我們APMIC 7年間累積的東西應該廢掉了。」Jerry說，「現在大家追求AI生成真實答案，其實反而回歸到以前的模型（Encoder-Only）。」目前APMIC著重於混合兩者的 Encoder-Decoder模型，擷取兩者的優勢來運算。

最適合使用企業自主AI的產業有哪些特質？

目前與APMIC合作的公司超過800間，領域橫跨健康、製造、金融、零售與政府部門等，包含國家發展基金、多間地政事務所等。Yvonne分析，目前主要是「重視資安」與「有B2C需求」的產業，正在積極發展企業自主AI。

重視資訊安全的產業：醫療與製造

對於製造業而言，保持自身在專業領域技術的領先，可說是企業發展的命脈，頂尖製造技術千萬不可外洩；而大量儲存患者個人資料的醫療業更是如此，必須保證所有資料的安全性。地端AI最大的優勢之一，便是內容保存在企業自家的伺服器中，大幅降低資料外洩的可能性，因此在這兩大產業有絕大優勢。

有B2C需求的產業：金融與電商

「ChatGPT都發展成這樣了，為什麼你們銀行的客服還是這麼爛？」Yvonne模仿民眾語氣，開著玩笑說明，社會大眾對於AI的想像，會實際影響到各產業的發展方向。Jerry也補充：「人們使用行為的改變，會改變企業的消費模式。」

當民眾都對於生成式AI習以為常，有大量B2C需求的公司便會面對需要快速跟進趨勢的壓力。因此，目前金融業、法律業是APMIC的主要合作對象。同時，Yvonne指出有大量B2C需求，甚至需要大量個人化內容的「電商」，將是下一個發展企業自主AI的重點產業。

《Brandwatch》的《2024 數位行銷趨勢》指出，60%的消費者表示自己在獲得個人化購買體驗後成為回頭客。而個人化體驗崛起，代表內容生產量需要大幅提升，此時符合企業性質、瞭解商品的企業自主AI，便能夠協助大量生產個人化行銷內容，解決生產量能不足的問題。

隨著NVIDIA生態圈進軍美國

把握住NVIDIA帶來的國際能見度，APMIC今年決定進軍美國市場，在他們的生態圈中，包含了硬體、軟體與系統整合等廠商，這將是一次打團體戰的機會。Jerry表示：「NVIDIA的生態圈優勢非常明顯，這次合作不僅有助於我們擴展市場，也是一個推動台灣轉型的契機。」

接下來，APMIC將透過顧問、系統整合及硬體廠商等多方合作，結合NVIDIA的技術力量，為台灣、美國與整個國際市場，帶來更具競爭力的企業自主AI解決方案。

本文授權轉載自《未來商務》，作者：王聖華，原文標題：NVIDIA 認證「臺灣唯一」！APMIC 進軍美國，協助企業打造專屬 AI 大腦