robots.txt 設定 取得連結 Facebook Twitter Pinterest 以電子郵件傳送 其他應用程式 - 7月 30, 2013 使用 robots.txt 檔案來攔截或移除網頁 最簡單的 robots.txt 檔案使用兩項規則： User-agent ：遵循以下規則的漫遊器 Disallow ：您想要封鎖的網址 閱讀完整內容