政府的 AI 幕僚來了！「大數據」推出 KEYLM，採 NVIDIA 軟硬整合架構搶攻主權 AI

擁有「網路溫度計 DailyView」等產品的數據科技品牌大數據股份有限公司（以下簡稱大數據），於 7 月 24 日宣布推出 AI 智慧幕僚解決方案《KEYLM》，鎖定政府機關決策支援與備詢應用。

《KEYLM》以大數據累積逾十年、超過 65 億筆繁體中文語料訓練而成的領域語言模型 BIG10 為核心，結合 AI Agent 平台，協助政府機關整合內部知識、支援政策決策與備詢，並能在資料不出域的前提下完成地端部署，兼顧回答可溯源、流程可稽核等需求。整套系統更採用 NVIDIA 軟硬體技術架構，來提升模型推論效能與 AI Agent 的管理能力。

大數據營運長暨發言人蔣志薇表示，隨著全球主權 AI 快速發展，政府機關對資料落地與資安治理的需求持續增加。KEYLM 採用 NVIDIA 軟硬體整合架構，同時補足繁體中文長期在國際 AI 訓練資料中的不足，希望協助政府建立真正理解台灣語境的 AI 能力，解決知識分散、人工整理耗時，以及敏感資料無法上雲等挑戰。

全球主權 AI 趨勢下，繁體中文模型成關鍵基礎

根據市場研究機構 Fortune Business Insights 預測，全球主權雲市場規模將從 2026 年的 1,953.5 億美元，成長至 2034 年的 1 兆 3,185.7 億美元，年複合成長率達 27%。其中，政府與公部門對資料落地、資訊安全與治理的需求，被視為帶動市場成長的重要因素，也讓「地端部署、資料不出域」逐漸成為各國政府導入 AI 的共同方向。

對台灣政府機關而言，政策知識往往散落於公文、會議紀錄、報表及答詢資料之中，面對臨時備詢或政策說明時，仍高度仰賴人工搜尋與整理，不僅效率有限，也難以維持一致性。且政府機密敏感資料無法上雲，因此 AI 系統除了需要具備地端部署能力，更必須兼顧回答可溯源、流程可稽核等要求。

而目前國際大型語言模型的訓練資料仍以英文與簡體中文為主。以開源大型語言模型 BLOOM 為例，其訓練語料中英語占比超過三成、簡體中文約占一成六，繁體中文則未被獨立列計，反映出台灣語境長期缺乏足夠的 AI 訓練資源。

為此，大數據運用累積十餘年的數據基礎，打造領域語言模型 BIG10，透過超過 65 億筆繁體中文語料進行微調，希望讓 AI 更能理解台灣在地語境與政府行政用語。

搭配 KEYLM 智慧幕僚後，系統可在資料不出域的前提下，整合機關內部文件、業務資料及外部輿情資訊，提供即問即答、即時產製報告、輿情分析及知識治理等能力，協助政府將原本分散的知識資產，轉化為可快速查詢與應用的決策支援工具。

一台 NVIDIA DGX Spark，整合平台、模型與算力

大數據表示，《KEYLM》採用平台、模型與硬體三層架構整合設計。

平台層為 KEYLM Agent Platform，提供知識庫管理、具溯源能力的 RAG 問答、AI Agent 工作流程、長期記憶，以及權限與用量管理等功能，作為政府與企業內部的 AI 數據中台。

其中，Agent 治理採用 NVIDIA NeMo Agent Toolkit，可建置、管理與優化 AI Agent 工作流程，並提供效能分析、可觀測性及評估能力，使 Agent 的決策流程具備可追蹤、可評估與可稽核特性，同時降低大型語言模型呼叫次數、Token 消耗及整體延遲。

模型層則採用大數據自主打造的 BIG10，透過超過 65 億筆繁體中文語料進行領域微調，能理解台灣語境與政府行政用語，並可依不同任務需求，在地端模型與雲端大型語言模型之間彈性切換。模型訓練過程導入 NVIDIA NeMo Framework，涵蓋資料整備、去識別化、領域微調及模型評測等流程，其中資料去識別化能力也特別符合政府機關對敏感資訊處理的需求。

硬體層則由 KEYLM Box 承載，搭載單一台 NVIDIA DGX Spark，內建 NVIDIA GB10 Grace Blackwell 超級晶片 與 128GB 統一記憶體，可同時運行 AI Agent 平台、BIG10 模型與知識檢索系統，讓整套智慧幕僚能完整於地端運作。

大數據表示，完成 DGX Spark 推論最佳化後，相較於未經優化的同級開源模型，可將記憶體使用量降低約五成，推論速度提升約一倍。

相較於市場上許多企業 AI 導入方案仍需投入大量伺服器與機房資源，KEYLM 將 AI Agent、語言模型及推論能力整合於一台桌邊大小的設備中，一台機器即可支援單一政府機關的智慧幕僚需求。

未來，大數據將持續結合既有數據資產與 AI 研發能力，並採用 NVIDIA 等主流技術架構，加速 AI 解決方案落地，協助更多政府機關與企業建立兼顧在地語境、資料安全與可信任性的 AI 應用。