☁Zero Trust 上手指南
繁體中文
Telegram Cloudflare 文件 ↗

模組 7c — AI Gateway:保護與實施

目標: 把 Cloudflare AI Gateway 置於你的應用與智慧體所呼叫的 AI 模型之前——讓每一次程式化 AI 請求都經過認證、可觀測、成本受控、對不安全內容做稽核,並用你的 Zero Trust DLP 配置檔案掃描敏感資料。

👤 誰來做 平臺 / AI 工程 + 安全團隊
⏱️ 用時 約 40 分鐘
🎯 完成後你將擁有 一個在你的 AI 提供商之前、帶護欄、DLP、日誌與成本控制的、經認證的 AI Gateway
✋ 開始前 一個呼叫 AI 模型的應用/智慧體(OpenAI、Anthropic、Workers AI、Google…)。DLP 掃描使用 Zero Trust DLP 配置檔案(模組 6)——Enterprise。

🧭 AI Gateway 的定位。 模組 7 治理在瀏覽器中使用 AI 的人。模組 7b 治理連線工具(MCP)的 AI 智慧體。AI Gateway 治理另一個方向:你自己的應用與智慧體通過 API 呼叫 AI 模型。 它是位於你的程式碼與 AI 提供商之間的代理,因此你無需更換模型或提供商即可獲得控制與可見性——且關鍵在於,它工作在 API 層,無需裝置客戶端或 TLS 解密。

   你的應用 / 智慧體 / 編碼工具
            │  (把 base URL 改為 gateway 端點)
            ▼
   ┌─────────────────────────────────────────────┐
   │           CLOUDFLARE AI GATEWAY             │
   │  認證 ▸ 護欄 ▸ DLP ▸ 速率/花費上限            │
   │  ▸ 快取 ▸ 日誌 ▸ 回退                        │
   └───────────────────┬─────────────────────────┘
                       ▼
   AI 提供商:OpenAI · Anthropic · Workers AI · Google · …

A 部分 — 建立並連線一個 gateway

  1. 👉 在 Cloudflare 控制台,前往 AI → AI Gateway。
  2. 👉 點選 Create Gateway,起個名字(如 production),建立。
    • 📺 你會看到該 gateway 的 OpenAI 相容端點與設定指引。
    • 💡 捷徑: 你也可以直接用 gateway ID default——AI Gateway 會在首次請求時自動建立它。
  3. 👉 把你的應用指向該 gateway。 在程式碼中,把 AI 提供商的 base URL 改為你的 gateway 端點:
    https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/{provider}
    
    例如,OpenAI 客戶端的 base URL 變為 …/{account_id}/production/openai。無需其他程式碼改動——gateway 會轉發到提供商。
  4. 👉 從你的應用傳送一個測試請求。

✅ 檢查點: 在 AI → AI Gateway → 你的 gateway 中,該請求帶指標出現(請求數、tokens、成本、延遲)。流量現在正流經 gateway。

💡 無需 WARP 客戶端、無需 TLS 解密、無需網路改動——AI Gateway 是 API 層的控制點。這正是它適合後端服務、批處理作業與自主智慧體的原因。


B 部分 — 保護 gateway(Authenticated Gateway)

預設情況下,任何知道端點 URL 的人都可能通過它傳送請求。把它鎖定,只讓你授權的呼叫方使用。

  1. 👉 在你的 gateway 中,開啟 Settings。
  2. 👉 啟用 Authenticated Gateway。
  3. 👉 建立一個 AI Gateway 認證令牌,存入你的金鑰管理器。
  4. 👉 讓你的應用在每個請求上把它作為請求頭髮送:
    cf-aig-authorization: Bearer <your-aig-token>
    

✅ 檢查點: 不帶令牌的請求被拒絕;帶令牌的請求成功。即使端點 URL 洩露,也無法被濫用。

⚠️ 注意: 該令牌認證的是對 gateway 的使用;你的提供商 API 金鑰是獨立的。考慮用 BYOK / Store Keys(Settings),讓提供商金鑰存放在 Cloudflare 中,永不隨應用程式碼分發。


C 部分 — 護欄(Guardrails,阻止不安全內容)

Guardrails 對流經 gateway 的內容做稽核——在有害或不當的提示詞與響應到達使用者或模型之前將其捕獲。

  1. 👉 在 gateway → Settings → Guardrails → 啟用。
  2. 👉 設定評估範圍:稽核使用者提示詞、模型響應,或兩者。
  3. 👉 選擇要監控的危害類別,併為每一類決定 Block(阻止)或 Flag(放行但記錄)。
  4. 👉 儲存。

✅ 檢查點: 屬於被阻止危害類別的提示詞/響應被攔截(或在日誌中被標記),在 gateway 的日誌中可見。

💡 Guardrails vs DLP: Guardrails 處理安全性(有毒、有害、不安全內容);DLP(下一部分)處理敏感資料(PII、金鑰、原始碼)。兩者都用。


D 部分 — DLP for AI Gateway(掃描敏感資料) (Enterprise)

這就是 Zero Trust 整合:AI Gateway 可以用你的 Zero Trust DLP 配置檔案——即你在 模組 6 構建的相同配置檔案——掃描請求與響應的文本,無需 HTTP 過濾、無需 TLS 解密。

  1. 👉 在 gateway → Features → DLP → Set up。
  2. 👉 選擇要應用的 DLP 配置檔案——如 Credentials and Secrets、PII,或一個 AI Prompt 配置檔案(PII、原始碼、金融、越獄/意圖主題;甚至自定義自然語言提示詞主題)。
  3. 👉 用 Check 選擇掃描什麼:Request(發往模型的提示詞)、Response(模型返回的內容),或 Both。
  4. 👉 設定命中時的動作——flag(記錄)或 block(阻止)。
  5. 👉 儲存。

✅ 檢查點: 含有偽造金鑰/測試 PII 的請求被標記或阻止,且檢測結果連同匹配的配置檔案出現在日誌中。

⚠️ 流式傳輸注意事項(對延遲很重要): 若你啟用 Response 掃描,AI Gateway 會在返回前緩衝完整的提供商響應,這會增加首字延遲(TTFT)——對流式輸出的聊天/編碼智慧體較明顯。若你需要低延遲流式傳輸,設 Check = 僅 Request,或把對延遲敏感的流量路由到一個獨立的 gateway。

💡 非常適合編碼智慧體: Cursor/Claude Code 等工具會把原始碼、配置與金鑰傳送給模型提供商。由於 AI Gateway 位於路徑之中,DLP 能在不修改智慧體的情況下捕獲離開(或返回)的金鑰/受監管資料。


E 部分 — 成本、速率與隱私控制

AI Gateway 還提供運營層面的護欄:

控制 作用 位置
速率限制 限制視窗內的請求數量 Settings → Rate limiting
花費上限 限制美元成本(按模型、提供商或自定義後設資料——如每使用者 $200/天) Features → Spend limits
快取 對相同請求從快取返回——降低延遲 + 提供商成本 Settings → Cache Responses
回退 / 重試 提供商出錯時自動重試或回退到另一模型 Configuration → Fallbacks
日誌載荷控制 傳送 cf-aig-collect-log-payload: false 只記錄後設資料,不儲存提示詞/響應正文 逐請求的請求頭

💡 隱私提示: 對受監管資料,使用 cf-aig-collect-log-payload: false,即可保留使用指標(tokens、成本、模型、狀態)而不持久化敏感的提示詞/響應文本。

⚠️ 不要在 與 AI Search / RAG 例項共用的 gateway 上啟用快取或速率限制——它會干擾嵌入/索引。請為其使用一個專用 gateway。


F 部分 — 觀測與驗證

  1. 👉 在 gateway 中,檢視 Analytics(請求、tokens、成本、快取命中率、錯誤)與 Logs(逐請求:模型、提供商、狀態、成本、時長、user agent,以及——除非已停用——載荷)。
  2. 👉 篩選日誌,確認你的 認證、Guardrails 與 DLP 動作如預期觸發。
  3. 👉 端到端測試:傳送 (a) 正常請求 → 成功;(b) 缺少認證令牌的請求 → 被拒;(c) 含不安全內容的提示詞 → 護欄阻止;(d) 含測試金鑰的提示詞 → DLP 標記/阻止。

✅ 檢查點: 四種情況都行為正確且在日誌中可見。


✅ 模組 7c 完成!

你現在擁有:

  • ✅ 位於你的 AI 提供商之前的 AI Gateway(單一端點、多提供商)
  • ✅ Authenticated Gateway——只有授權的呼叫方能使用
  • ✅ Guardrails 阻止提示詞/響應中的不安全內容
  • ✅ DLP 用你的 Zero Trust 配置檔案掃描提示詞/響應中的敏感資料
  • ✅ 成本、速率、快取與隱私控制
  • ✅ 對每次 AI 呼叫的完整日誌與分析

完整的 AI 安全全景

層級 治理物件 模組
瀏覽器 AI 使用 人們貼上進 ChatGPT 等 7 — AI 管控
AI 智慧體 → 工具 MCP 伺服器與門戶 7b — 保護 AI 與 MCP
你的應用 → AI 模型 程式化/API AI 7c(本篇)
發現並批准 AI 應用 影子 AI 5d — 影子 IT
敏感資料檢測 DLP 配置檔案 6 — DLP

快速排障

問題 解決辦法
請求繞過了 gateway 確認應用的 base URL 指向 gateway 端點(A 部分)
任何人都能使用該 gateway 啟用 Authenticated Gateway 併發送 cf-aig-authorization 請求頭(B 部分)
DLP → Set up 不可用 DLP for AI Gateway 使用 Zero Trust DLP——確認 Enterprise 且配置檔案已存在(模組 6)
啟用 DLP 後流式傳輸變慢 響應掃描會緩衝完整回覆——設 Check = 僅 Request 或使用獨立 gateway(D 部分)
敏感提示詞被存進日誌 傳送 cf-aig-collect-log-payload: false 只記錄後設資料(E 部分)
AI Search 準確度下降 不要在 RAG 例項所用的 gateway 上啟用快取/速率限制(E 部分)

👉 下一步:模組 8 — Cloudflare WAN

把整個辦公室和資料中心接入 Cloudflare 網路。