robots.txt
WHOOPS JOURNAL
探索搜尋的下一步。
從基礎觀念到實作方法，找到你現在需要的答案。
Googlebot 是什麼？搞懂 Google 檢索器的運作、驗證與控制方式
Googlebot 是 Google 搜尋的檢索器通稱，實際分為 Smartphone 與 Desktop 兩種。本文從官方文件整理它怎麼發現、抓取、渲染網頁，怎麼用反向 DNS 驗證真假 Googlebot，以及 robots.txt、noindex、X-Robots-Tag、檢索速率各控制到哪…
閱讀文章
robots.txt 怎麼寫？初學者也能懂的 SEO 設定與 AI 爬蟲開放指南
robots.txt 就像你家網站門口的那位警衛。它只管一件事：這個訪客能不能進來，把你家的內容搬走。它不管你家東西好不好、會不會排第一名，也不管 AI 會不會提到你。很多人把警衛當成萬用遙控器，結果不小心把自己的流量也擋在門外。這篇會用最白話的方式，教你怎麼跟這位警衛講清楚規矩。
閱讀文章