RedClawLabs

廣告數字計算機

AI 爬蟲體檢

AI 爬蟲體檢讀你網站的三個公開檔案:首頁、robots.txt、llms.txt,回報 ChatGPT、Claude、Perplexity、Google 的 10 隻爬蟲能不能抓你的首頁,以及首頁有沒有它們讀得到的正文和結構化資料。免費、不用登入,大約 5 秒。

體檢 · 只讀首頁、robots.txt、llms.txt 三個公開檔案

輸入你的網域

例如 example.com,不用加 https://

讀值

通過項目

— / 9

robots.txt
—
llms.txt
—
首頁回應
—

輸入網域後按開始。大約 5 秒,不用登入。

逐項結果

項目結果讀到的內容
robots.txt 讀得到,或確定沒有——
AI 搜尋爬蟲可以抓首頁——
使用者觸發的抓取可以讀首頁——
首頁沒有 noindex 或 nosnippet——
首頁原始 HTML 裡有正文(至少 500 字元)——
首頁有 JSON-LD 結構化資料——
有標題和 meta description——
有 h1——
有 canonical——

每一隻爬蟲

爬蟲公司用途能不能抓首頁
OAI-SearchBotOpenAI搜尋索引—
ChatGPT-UserOpenAI使用者觸發—
GPTBotOpenAI模型訓練—
Claude-SearchBotAnthropic搜尋索引—
Claude-UserAnthropic使用者觸發—
ClaudeBotAnthropic模型訓練—
PerplexityBotPerplexity搜尋索引—
Perplexity-UserPerplexity使用者觸發—
GooglebotGoogle搜尋索引—
Google-ExtendedGoogle模型訓練—

llms.txt 草稿

體檢完成後,這裡會出現可以編輯和下載的草稿。

你輸入的網域會送到我們的伺服器,用來讀取那三個公開檔案;不寫進資料庫,也不送進分析工具。為了防止濫用,我們會記錄雜湊過的 IP 與次數。全站的流量統計工具見隱私權政策。

三種 AI 爬蟲,擋掉的後果不一樣

各家都把爬蟲拆成三種用途,robots.txt 可以分開設定。最常見的錯誤是為了「不要被拿去訓練」,把搜尋用的那一隻也一起擋掉。

用途 爬蟲 擋掉之後
搜尋索引 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 你的頁面內容不會出現在那個引擎的搜尋答案裡
使用者觸發 ChatGPT-User、Claude-User、Perplexity-User 使用者貼你的網址、或請 AI 去讀你的頁面時讀不到
模型訓練 GPTBot、ClaudeBot、Google-Extended 內容不拿去訓練之後的模型;不影響搜尋

三件容易弄錯的事,都寫在各家自己的文件裡(見頁尾來源):

  • 擋 GPTBot 不會讓你從 ChatGPT 搜尋消失。 OpenAI 的文件說每一項設定互相獨立;決定 ChatGPT 搜尋的是 OAI-SearchBot。
  • Google-Extended 不影響 Google 搜尋的收錄和排名。 它只管內容能不能用在 Gemini 的訓練和接地(grounding)。
  • 使用者觸發的抓取不一定看 robots.txt。 OpenAI 說這類請求由使用者發起,robots.txt 的規則可能不適用;Perplexity 說 Perplexity-User 通常會忽略 robots.txt。

這個工具怎麼判定

項目 判定方式
robots.txt 照 RFC 9309:爬蟲有自己的群組就只看那一組,沒有才看 *;同一組裡最長的規則勝出,一樣長時 Allow 優先。檔案回 404 視為全部放行,回 5xx 視為無法判定
能不能抓首頁 用上面的規則,對每一隻爬蟲判定路徑 /
noindex、nosnippet 首頁的 meta robots 與 X-Robots-Tag 標頭
原始 HTML 的正文 伺服器直接回傳的 HTML,去掉 script、style 和標籤後的字元數。這個工具不執行 JavaScript
結構化資料 首頁 JSON-LD 裡的 @type
標題、描述、h1、canonical 首頁原始 HTML 裡有沒有
llms.txt 根目錄的 /llms.txt 有沒有回傳純文字;不計入通過項目

訓練用的爬蟲(GPTBot、ClaudeBot、Google-Extended)放不放行是你自己的決定,表格會照實列出,不計入通過項目。

這個工具看不到的事

  • 防火牆和 CDN 的封鎖。 robots.txt 放行,但主機或 CDN 在更前面把 AI 爬蟲擋掉,這裡看不出來;要看伺服器紀錄裡那些爬蟲拿到的是 200 還是 403。
  • 首頁以外的頁面。 只檢查首頁和根目錄的兩個檔案。
  • AI 實際上有沒有提到你。 爬得到是前提,不是結果。要知道結果,只能把買家會問的問題拿去問 AI,再數你出現幾次:免費品牌檢測 用 3 個問題問一次 ChatGPT,GEO 監測 每週問三個引擎。

llms.txt 要不要放

llms.txt 是 llmstxt.org 提出的一份提案:放在網站根目錄的 Markdown 檔,用一個 H1 寫網站名稱、一段引言寫摘要、幾個 H2 清單列出重要頁面的連結。它不是 robots.txt 那樣的正式標準,有沒有它都不會改變上面任何一隻爬蟲能不能抓你的網站,所以這個工具不把它算進通過項目。

放一份的成本很低:上面的草稿是用你首頁的標題、描述和站內連結排出來的。下載之前請自己改過,刪掉不重要的連結,替留下來的每個連結補一句說明。

常見問題

擋了 GPTBot,ChatGPT 搜尋還找得到我嗎?

找得到。GPTBot 是訓練用的爬蟲,ChatGPT 搜尋用的是 OAI-SearchBot,OpenAI 的文件說每一項設定互相獨立。要出現在 ChatGPT 的搜尋答案裡,要放行的是 OAI-SearchBot。

robots.txt 顯示放行,AI 就一定抓得到嗎?

不一定。主機或 CDN 的防火牆可以在 robots.txt 之前就擋掉爬蟲,這個工具看不到那一層。確認方式是查伺服器紀錄,看那些爬蟲拿到的回應是 200 還是 403。

沒有 llms.txt 會不會不被 AI 引用?

不會因為沒有它就被排除。llms.txt 是一份提案,不影響爬蟲能不能抓你的網站。放一份成本很低,但不要期待它單獨帶來引用。

為什麼要看「原始 HTML 裡有沒有正文」?

這個工具不執行 JavaScript,量的是伺服器直接回傳的 HTML。不執行 JavaScript 的爬蟲看到的就是這一份;如果正文要等 JavaScript 跑完才出現,它們拿到的是一個空殼。

你們會記錄我輸入的網域嗎?

不會。網域會送到我們的伺服器去讀首頁、robots.txt 和 llms.txt 這三個公開檔案,檢查完就丟掉,不寫進資料庫、不送進分析工具。為了防止濫用,我們會記錄雜湊過的 IP 與檢測次數。

來源

爬蟲名稱、用途與 robots.txt 的判定規則,我們逐一打開下列官方頁面核對過(2026-11-12)。


爬得到是前提。AI 有沒有提到你,要問了才知道。

免費檢測只跑 ChatGPT 3 題,需要登入,每個帳號每月 1 次。