AI 爬蟲體檢
AI 爬蟲體檢讀你網站的三個公開檔案:首頁、robots.txt、llms.txt,回報 ChatGPT、Claude、Perplexity、Google 的 10 隻爬蟲能不能抓你的首頁,以及首頁有沒有它們讀得到的正文和結構化資料。免費、不用登入,大約 5 秒。
體檢 · 只讀首頁、robots.txt、llms.txt 三個公開檔案
輸入你的網域
讀值
通過項目
— / 9
- robots.txt
- —
- llms.txt
- —
- 首頁回應
- —
輸入網域後按開始。大約 5 秒,不用登入。
逐項結果
| 項目 | 結果 | 讀到的內容 |
|---|---|---|
| robots.txt 讀得到,或確定沒有 | — | — |
| AI 搜尋爬蟲可以抓首頁 | — | — |
| 使用者觸發的抓取可以讀首頁 | — | — |
| 首頁沒有 noindex 或 nosnippet | — | — |
| 首頁原始 HTML 裡有正文(至少 500 字元) | — | — |
| 首頁有 JSON-LD 結構化資料 | — | — |
| 有標題和 meta description | — | — |
| 有 h1 | — | — |
| 有 canonical | — | — |
每一隻爬蟲
| 爬蟲 | 公司 | 用途 | 能不能抓首頁 |
|---|---|---|---|
| OAI-SearchBot | OpenAI | 搜尋索引 | — |
| ChatGPT-User | OpenAI | 使用者觸發 | — |
| GPTBot | OpenAI | 模型訓練 | — |
| Claude-SearchBot | Anthropic | 搜尋索引 | — |
| Claude-User | Anthropic | 使用者觸發 | — |
| ClaudeBot | Anthropic | 模型訓練 | — |
| PerplexityBot | Perplexity | 搜尋索引 | — |
| Perplexity-User | Perplexity | 使用者觸發 | — |
| Googlebot | 搜尋索引 | — | |
| Google-Extended | 模型訓練 | — |
llms.txt 草稿
體檢完成後,這裡會出現可以編輯和下載的草稿。
你輸入的網域會送到我們的伺服器,用來讀取那三個公開檔案;不寫進資料庫,也不送進分析工具。為了防止濫用,我們會記錄雜湊過的 IP 與次數。全站的流量統計工具見隱私權政策。
三種 AI 爬蟲,擋掉的後果不一樣
各家都把爬蟲拆成三種用途,robots.txt 可以分開設定。最常見的錯誤是為了「不要被拿去訓練」,把搜尋用的那一隻也一起擋掉。
| 用途 | 爬蟲 | 擋掉之後 |
|---|---|---|
| 搜尋索引 | OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot | 你的頁面內容不會出現在那個引擎的搜尋答案裡 |
| 使用者觸發 | ChatGPT-User、Claude-User、Perplexity-User | 使用者貼你的網址、或請 AI 去讀你的頁面時讀不到 |
| 模型訓練 | GPTBot、ClaudeBot、Google-Extended | 內容不拿去訓練之後的模型;不影響搜尋 |
三件容易弄錯的事,都寫在各家自己的文件裡(見頁尾來源):
- 擋 GPTBot 不會讓你從 ChatGPT 搜尋消失。 OpenAI 的文件說每一項設定互相獨立;決定 ChatGPT 搜尋的是 OAI-SearchBot。
- Google-Extended 不影響 Google 搜尋的收錄和排名。 它只管內容能不能用在 Gemini 的訓練和接地(grounding)。
- 使用者觸發的抓取不一定看 robots.txt。 OpenAI 說這類請求由使用者發起,robots.txt 的規則可能不適用;Perplexity 說 Perplexity-User 通常會忽略 robots.txt。
這個工具怎麼判定
| 項目 | 判定方式 |
|---|---|
| robots.txt | 照 RFC 9309:爬蟲有自己的群組就只看那一組,沒有才看 *;同一組裡最長的規則勝出,一樣長時 Allow 優先。檔案回 404 視為全部放行,回 5xx 視為無法判定 |
| 能不能抓首頁 | 用上面的規則,對每一隻爬蟲判定路徑 / |
| noindex、nosnippet | 首頁的 meta robots 與 X-Robots-Tag 標頭 |
| 原始 HTML 的正文 | 伺服器直接回傳的 HTML,去掉 script、style 和標籤後的字元數。這個工具不執行 JavaScript |
| 結構化資料 | 首頁 JSON-LD 裡的 @type |
| 標題、描述、h1、canonical | 首頁原始 HTML 裡有沒有 |
| llms.txt | 根目錄的 /llms.txt 有沒有回傳純文字;不計入通過項目 |
訓練用的爬蟲(GPTBot、ClaudeBot、Google-Extended)放不放行是你自己的決定,表格會照實列出,不計入通過項目。
這個工具看不到的事
- 防火牆和 CDN 的封鎖。 robots.txt 放行,但主機或 CDN 在更前面把 AI 爬蟲擋掉,這裡看不出來;要看伺服器紀錄裡那些爬蟲拿到的是 200 還是 403。
- 首頁以外的頁面。 只檢查首頁和根目錄的兩個檔案。
- AI 實際上有沒有提到你。 爬得到是前提,不是結果。要知道結果,只能把買家會問的問題拿去問 AI,再數你出現幾次:免費品牌檢測 用 3 個問題問一次 ChatGPT,GEO 監測 每週問三個引擎。
llms.txt 要不要放
llms.txt 是 llmstxt.org 提出的一份提案:放在網站根目錄的 Markdown 檔,用一個 H1 寫網站名稱、一段引言寫摘要、幾個 H2 清單列出重要頁面的連結。它不是 robots.txt 那樣的正式標準,有沒有它都不會改變上面任何一隻爬蟲能不能抓你的網站,所以這個工具不把它算進通過項目。
放一份的成本很低:上面的草稿是用你首頁的標題、描述和站內連結排出來的。下載之前請自己改過,刪掉不重要的連結,替留下來的每個連結補一句說明。
常見問題
擋了 GPTBot,ChatGPT 搜尋還找得到我嗎?
找得到。GPTBot 是訓練用的爬蟲,ChatGPT 搜尋用的是 OAI-SearchBot,OpenAI 的文件說每一項設定互相獨立。要出現在 ChatGPT 的搜尋答案裡,要放行的是 OAI-SearchBot。
robots.txt 顯示放行,AI 就一定抓得到嗎?
不一定。主機或 CDN 的防火牆可以在 robots.txt 之前就擋掉爬蟲,這個工具看不到那一層。確認方式是查伺服器紀錄,看那些爬蟲拿到的回應是 200 還是 403。
沒有 llms.txt 會不會不被 AI 引用?
不會因為沒有它就被排除。llms.txt 是一份提案,不影響爬蟲能不能抓你的網站。放一份成本很低,但不要期待它單獨帶來引用。
為什麼要看「原始 HTML 裡有沒有正文」?
這個工具不執行 JavaScript,量的是伺服器直接回傳的 HTML。不執行 JavaScript 的爬蟲看到的就是這一份;如果正文要等 JavaScript 跑完才出現,它們拿到的是一個空殼。
你們會記錄我輸入的網域嗎?
不會。網域會送到我們的伺服器去讀首頁、robots.txt 和 llms.txt 這三個公開檔案,檢查完就丟掉,不寫進資料庫、不送進分析工具。為了防止濫用,我們會記錄雜湊過的 IP 與檢測次數。
來源
爬蟲名稱、用途與 robots.txt 的判定規則,我們逐一打開下列官方頁面核對過(2026-11-12)。
- OpenAI: crawlers and user agents (OAI-SearchBot, GPTBot, ChatGPT-User) · 查核日 2026-11-12
- Anthropic: how site owners can block the crawler (ClaudeBot, Claude-User, Claude-SearchBot) · 查核日 2026-11-12
- Perplexity: crawlers (PerplexityBot, Perplexity-User) · 查核日 2026-11-12
- Google Search Central: common crawlers (Googlebot, Google-Extended) · 查核日 2026-11-12
- RFC 9309: Robots Exclusion Protocol · 查核日 2026-11-12
- llmstxt.org: the /llms.txt proposal · 查核日 2026-11-12