台南AI 1999與全球調查:Agent導入先管權限

｜AI 落地應用教學

台南市府把地端算力與AI 1999智慧客服做成可複用的市政AI服務引擎,仍由話務人員最後確認。monday.com與Nielsen的跨國調查則顯示,企業AI用得快,整合與管控卻跟不上。兩則消息都指向:AI落地要先設計流程、權限與人工把關。

本文重點

  • 台南以1999智慧客服為第一個案例,把語音辨識、知識檢索等能力做成共用引擎
  • 台南系統只給回覆建議,最後由話務人員確認後才回覆市民
  • 跨國調查:96%用AI,僅29%整合進集中系統,52%擔心Agent越權取資料

台南市政府在11月5日宣布「AI市政服務引擎」啟動,以AI 1999智慧客服作為第一個驗證案例,並由AMD捐贈AI運算設備。另一邊,monday.com委託Nielsen做的跨國調查指出,企業使用AI很普遍,但整合與管控明顯落後。兩則消息放在一起看,可以得到同一個提醒:AI落地的難處不在能不能做出來,而在流程、資料與權限有沒有先設計好。

重點整理

一、台南:從單一客服案例,做成可重複使用的共用引擎

根據台灣好新聞與大紀元的報導,台南市府自2025年起建構自主可控的地端AI算力環境(也就是把運算資源放在自己的機房,而不是全部交給雲端)。市府以AI 1999智慧客服作為「AI市政服務引擎」的第一個驗證案例,並逐步擴展到更多局處。

這套系統的功能包括:

  • 協助話務人員把語音轉成文字
  • 查找市政知識
  • 整理案件摘要
  • 提出回覆建議
  • 辨識市民以臺語說出的在地地名

報導也提到,最終仍須由話務人員確認內容後才回覆民眾。市府說明,各局處未來可重複運用語音辨識、知識檢索及大語言模型等共通能力,減少重複建置,並兼顧資料安全、權限管理與服務品質。市府還與工研院、AMD合作,建立可與既有平台互為支援及備援的架構,提升穩定性。

二、全球:AI用得很廣,整合與管控卻跟不上

monday.com委託Nielsen,在2026年4月調查七個國家、500人以上公司的1,701位董事與高階主管,並於10月21日發布(CDO Magazine、Business Wire報導)。主要數字如下:

  • 96%的受訪者在工作中使用AI,但只有29%表示AI已完整整合進集中式的營運系統
  • 57%表示導入AI後,組織使用的軟體工具變多
  • 58%預期一年內管理的AI Agent(能自行規劃並執行任務的AI)會比員工還多
  • 46%擔心失去對Agent行動的掌控
  • 52%擔心Agent在限制不足時存取資料

要注意,這份調查由銷售工作管理平台的廠商委託,讀數字時要把這個立場放在心上。不過它點出的現象,和許多企業的實際經驗相近。

分析

共用能力比單點專案划算。 台南的做法是把語音辨識、知識檢索與大語言模型拆成各局處都能用的「共通模組」,而不是每個單位各做一套。這對台灣公部門很有參考價值:同一個機關內的客服、法規查詢、內部公文問答,底層其實都是RAG(Retrieval-Augmented Generation,檢索增強生成,先從知識庫找資料再讓模型回答)這類能力。先做好一次,後續的邊際成本才會下降。

人工把關不是退步,而是上線條件。 台南讓AI給「建議」,由話務人員確認後回覆。在客服與公共服務場景,答錯的代價是信任與權益,所以先讓AI加速人員作業,而不是直接取代人員,是比較穩的起點。

地端不等於萬靈丹。 地端部署能讓資料與算力留在自己手上,也有備援上的考量,但它同時需要硬體、維運與人才。台南是搭配工研院與AMD的合作才做出備援架構,企業要評估自己能否承擔。

Agent越多,越需要管。 調查中「用得多、整合少」的落差,代表許多組織是各部門各自導入工具,造成資料分散、權限不一。當Agent開始能讀取資料、執行動作,權限就是治理決策,而不只是資訊部門的設定問題。

給企業的建議

  1. 從高頻、規則清楚的場景開始。 客服、內部制度問答、案件分派都適合。先選一個場景驗證,再把共通能力抽出來給其他單位用。
  2. 先整理知識庫,再談模型。 RAG的品質取決於文件是否最新、有沒有明確負責人。建議為重要文件指定維護者,並要求回答附上資料出處。
  3. 設計人工確認點與升級路徑。 明訂哪些情況由AI建議、人員決定,哪些情況直接轉人工,並記錄修改紀錄,作為日後調整依據。
  4. 用最小權限管理Agent。 每個Agent都要有負責人、可存取的資料範圍與動作清單。人員異動時,Agent的權限與交接也要一併處理。
  5. 評估部署方式時算清總成本。 敏感資料多、需要長期大量使用的單位,可評估地端或混合架構;但要把硬體、維運與備援一起算進去。

源智匯在農業部、國立臺灣海洋大學、國立嘉義大學等案例中,都是從知識庫整合與口語查詢切入,再依單位需求擴大範圍。這類專案成敗,往往取決於資料整理與權責安排,而不是模型本身。若貴單位正在規劃AI客服或Agent,歡迎先從盤點資料與流程談起。

名詞解釋

RAG
Retrieval-Augmented Generation,檢索增強生成。先從企業知識庫找出相關資料,再讓大語言模型依據資料回答,可降低亂答並附上出處。
地端AI算力
把AI運算設備放在自己的機房,而非全部使用雲端服務,讓資料與運算更能自主掌控,但需自行負責維運。
AI Agent
能依目標自行規劃步驟、呼叫工具並執行任務的AI,不只是回答問題。
大語言模型
以大量文字訓練、能理解與生成自然語言的AI模型,是聊天機器人與客服AI的核心。
最小權限
只給系統或人員完成工作所需的最少資料與操作權限,以降低越權與外洩風險。

常見問題

台南的AI 1999智慧客服會直接回覆市民嗎?

不會。依報導,系統提供語音轉文字、知識查找、案件摘要與回覆建議,最終仍由話務人員確認內容後回覆。

為什麼調查中大多數人用AI,卻只有29%說完整整合?

調查指出,導入AI後57%的組織使用更多軟體工具,顯示工具分散、尚未整合進集中系統,治理也因此更困難。

企業導入AI Agent,第一步該做什麼?

先選定一個規則清楚的場景,整理知識庫,並為Agent定義負責人、可存取資料與人工確認點,再逐步擴大。

參考來源