robots.txt 怎麼寫?初學者也能懂的 SEO 設定與 AI 爬蟲開放指南
robots.txt 就像你家網站門口的那位警衛。它只管一件事:這個訪客能不能進來,把你家的內容搬走。它不管你家東西好不好、會不會排第一名,也不管 AI 會不會提到你。很多人把警衛當成萬用遙控器,結果不小心把自己的流量也擋在門外。這篇會用最白話的方式,教你怎麼跟這位警衛講清楚規矩。
文章標籤
整理網站階層、導覽、資訊架構、爬取路徑與頁面分工。
robots.txt 就像你家網站門口的那位警衛。它只管一件事:這個訪客能不能進來,把你家的內容搬走。它不管你家東西好不好、會不會排第一名,也不管 AI 會不會提到你。很多人把警衛當成萬用遙控器,結果不小心把自己的流量也擋在門外。這篇會用最白話的方式,教你怎麼跟這位警衛講清楚規矩。
網站架構不是網頁設計,而是頁面的層級、分類、網址與內部連結構成的骨架,決定搜尋引擎與 AI 答題引擎走不走得進、讀不讀得懂你的網站。從定義、四個組成零件、扁平/階層/主題叢集三種模式、三個辨識原則,到麵包屑、孤兒頁排查與 AI 時代的「雙重友善」,把觀念一次說清楚。
子網域與子目錄在 Google 排名上沒有先天差異,Google 搜尋聯絡人 John Mueller 多次公開說明兩者被同等對待;但實務上子目錄讓權重、外部連結效益、爬蟲預算與 AI 搜尋引用都更集中,維護成本也最低,只有當你的業務在技術棧、品牌、安全或在地化上需要明確區隔時,子網域才值得用。真…
網站結構最佳化是 SEO 的骨架,外部連結是你對外發出的訊號;骨架先穩,訊號才有效。Google 在 2019 年把 nofollow 改為 hint(提示)而非硬性指令,付費連結卻仍被要求必須標註,否則可能觸發人為操作排名的扣分([來源:Google Search Central 連結規範])。…
網站架構最佳化,指的是把你網站頁面之間的層級與連結關係整理成淺而清楚的樹狀結構,讓使用者與搜尋引擎都能在幾次點擊內找到重要內容。它不會直接給你一個排名分數,但它決定了 Google 能不能找到你的頁面、能不能看懂主題歸屬、能不能把首頁的權重傳到深層文章。Google 在 Search Centra…