地端 AI 是什麼？公司要不要買 AI 主機：雲端、地端怎麼選
Jacky ChenAI 系統架構顧問 · 擁有 HR 與獵頭背景的 AI 開發者一句話答案
地端 AI 是把 AI 模型裝在公司自己的電腦或伺服器上執行，客戶資料、合約、錄音都不用傳到外面的雲端。它適合「資料不能外流」或「每天要整批處理大量資料」的工作；如果要即時對話、要最強的模型、或用量不大，用雲端 AI 通常比較快也比較省。
最近很多老闆問我：「聽說可以把 AI 裝在公司裡，資料比較安全，要不要買一台？」
我的答案是：先看你要它做什麼工作，再決定要不要買。 我自己家裡就有一台大記憶體的 Mac 在跑地端模型，用了一段時間，好處和限制都很清楚。這篇把我實際碰到的情況寫出來。
地端 AI 是什麼？
平常用的 ChatGPT、Claude、Gemini，是你把問題傳到廠商的伺服器，由他們的電腦算完再傳回來，這叫雲端 AI。
地端 AI 則是把開源的 AI 模型（例如 Llama、Qwen、DeepSeek 這類可以下載的模型）裝在公司自己的機器上。問題和資料從頭到尾都在公司裡跑，不經過外面的伺服器。
什麼情況值得放在公司裡？
一、資料本來就不能外流。 金融、醫療、法律、補習班的學生作答，這類資料公司內規或法規本來就管得嚴。連 LINE 官方帳號的 AI 聊天機器人，官方說明也寫到醫療、金融、法律等業種可能無法使用（細節整理在〈LINE 官方帳號內建 AI 客服 vs 自建 AI 客服〉）。
二、每天都有大量資料要整批處理。 例如每天幾十通客服或業務錄音要轉成文字、整理重點；幾百份文件要分類、找出有沒有敏感資料。這種工作不需要馬上回答，晚上丟給機器跑，隔天早上看結果就好。用雲端是用多少付多少，量大的話每個月的帳單會一直長；放在公司裡，機器買了就是買了，用量沒有上限。
三、不想被雲端的價格和規則綁住。 雲端 AI 會調價、會限制每分鐘能用幾次、也會換模型版本。放在公司裡的模型，你不更新，它就一直照原本的方式運作。
什麼情況用雲端就好？
要即時對話的。 像 LINE 客服、官網聊天框，客人問完就在等答案。地端模型回話比雲端慢，客人會等不下去。
要最強的模型。 寫複雜的程式、做很長的推理，目前最強的模型還是在雲端。
用量不大。 一個月幾百則對話，雲端的用量費很低，不值得為此買一台十幾萬的機器。這種情況，用月費制的 AI 客服就夠了。
我自己跑地端模型的心得
我用的是一台 256GB 記憶體的 Mac Studio（上一代 M3 Ultra），各種開源模型大概都試過。老實說：
聊天時，明顯比雲端慢。 用慣了 ChatGPT 那種秒回，再回來用地端模型，等待感很重。接上 AI 助手類的工具讓它自己做事時，它說話的速度也會慢下來，看它一步一步推理，有時候還會覺得它有點呆。
產圖、產影片也比網路上的服務慢。 做得出來，但速度差一截。
但如果是「整批處理、隔天看結果」，速度就不是問題。 例如晚上把當天的錄音丟進去轉文字、整理重點，早上看報告，慢個幾分鐘根本沒人在意。
所以我的結論是：地端 AI 不是拿來取代 ChatGPT 聊天的，是拿來做「資料不能出去、每天固定要跑」的工作。
三種地端主機怎麼選？
GB10 類 AI 迷你主機（例如 NVIDIA DGX Spark 及各品牌同款）： 128GB 記憶體由 CPU 和 GPU 共用，官方說可跑到 2,000 億參數的模型；台灣零售價約 15.5～17 萬（4TB 版本）。缺點是記憶體頻寬 273 GB/s，大模型放得進去，但生成文字的速度有天花板。適合想在公司放一台、跑中型模型做整批工作的中小企業。
大記憶體 Mac（Mac Studio）： 記憶體可以選很大，頻寬比 GB10 高，安靜省電；記憶體越大價格跳得越兇。適合已經在用 Mac、想自己先試的人。
GPU 伺服器（自組或品牌機）： 最快、可多人同時使用，但最貴，還要考慮電力、散熱、機房空間。適合員工多、要即時回應、有 IT 人員的公司。
挑機器前先想清楚三件事：一天要處理多少資料、能接受等多久、有沒有人能顧機器。 這三個答案比規格表重要。
適合放在公司裡的工作，舉幾個例子
錄音轉文字＋整理重點： 業務、客服的通話錄音每天整批轉成文字，整理出客人常問什麼、成交的人說了什麼。
內部文件問答： 把規章、合約、產品資料做成知識庫，員工問問題，AI 根據公司自己的文件回答。做法跟 RAG 知識庫一樣，只是整套放在公司裡。
文件檢查： 把附件、掃描檔轉成文字，找出有沒有不該外流的資料。
作業批改： 補習班、學校把學生作答丟進去，依評分規準給初步分數和建議，老師再複核。
導入要做哪些事？
1. 先挑一件工作試。 不要一開始就想全公司都用，挑一件每天重複、資料不能外流的工作。
2. 用真實資料測速度和準確度。 拿過去一週的真實資料跑一次，看要跑多久、答得準不準，再決定要買哪一種機器。
3. 裝模型、接知識庫、設權限。 誰可以用、可以看到哪些資料，要先設好。
4. 上線後每週檢查。 看哪些地方答錯、哪些資料要補，讓它越用越準。我們做過的其他 AI 系統，整理在〈企業 AI Agent 怎麼建置：我們做過的 6 個真實 AI 員工〉。
費用怎麼想？
地端 AI 的錢分成三塊：機器（一次買斷）、導入（裝好、接資料、測試）、維護（之後每年的調整與更新）。跟雲端「用多少付多少」比起來，前面付得多，後面幾乎沒有用量費。
所以算的時候要拿「一年下來雲端要付多少用量費」跟「機器＋導入」比。用量越大、用得越久，地端越划算；用量小，雲端比較省。
不確定你的工作適合放公司裡還是雲端？把你想交給 AI 的那件工作、每天大概多少資料告訴我們，我們幫你判斷。只需要 LINE 或官網客服的話，可以直接看 AI 客服月費方案。
出處
1. NVIDIA DGX Spark 評測（128GB 共用記憶體、273 GB/s 頻寬、可跑 2,000 億參數模型）https://storagereview.com/review/nvidia-dgx-spark-review-the-ai-appliance-bringing-datacenter-capabilities-to-desktops
2. iThome — 採用 GB10 晶片，輝達與多家系統廠商推出新型態 AI 工作站 https://www.ithome.com.tw/review/171853
3. 原價屋 — GIGABYTE AI TOP ATOM 4TB 上市資訊 https://www.coolpc.com.tw/tw/shop/branpc/gigabyte-ai-top-atom-4tb/
4. LINE 官方帳號說明中心 — AI 聊天機器人（β）業種限制 https://help2.line.me/official_account_tw/web/categoryId/200000670/3/pc?lang=zh-Hant
文中提到的工具
這篇談的內容，正好對應我們的營運系統建置 →
常見問題
地端 AI 跟雲端 AI，答案品質差很多嗎？＋
對一般工作來說差距沒有想像中大，差最多的是速度。很長的推理、寫複雜程式，雲端最強的模型還是比較好。
買一台 AI 主機就能直接用嗎？＋
機器只是第一步。還要挑模型、把公司資料整理成知識庫、設權限、用真實資料測試。最花時間的通常是整理資料，不是裝機器。
小公司需要地端 AI 嗎？＋
多數不需要。除非資料真的不能外流，或每天有大量資料要整批處理，否則用雲端 AI 加上月費制服務比較省。
地端 AI 可以接 LINE 客服嗎？＋
技術上可以，但回話比雲端慢，客人在等的即時客服不建議全部放地端。比較常見的是即時客服用雲端，敏感資料的整理放地端。
還有其他問題？看完整常見問題 →
Jacky Chen · AI 系統架構顧問
讀到這裡，如果你手上正好有個流程想自動化、或想把 AI 變成一套真的能營運的系統——直接找我聊。一次免費的技術診斷，我幫你看清最值得先動的是哪一塊，不繞圈子、不推你不需要的東西。