vaughn14的部落格

你好，我是業餘的SEO(搜尋引擎優化)玩家
基本上，你只要再你的網站根目錄下放一個檔案
那麼 你的網站就不會被搜尋引擎收錄

如何讓Yahoo!奇摩搜尋引擎不要將我的網頁收錄在搜尋結果中？

在Yahoo!奇摩搜尋的網頁搜尋結果中的資料都是利用Robot程式抓取收錄，如果您不希望您的網頁被Yahoo!奇摩搜尋收錄，您必須請您的網站製作負責人在您的網站伺服器根目錄下加上一個robots.txt檔案，以避免網頁被抓取。

robots.txt檔名必須小寫，主要語法如下：

User-Agent:
表示不接受某Robot的抓取
範例：
User-Agent: *
表示不接受任何Robot抓取
User-Agent: Slurp
Slurp是Yahoo! crawler的名稱，表示只有不接受Slurp這個Robot抓取，但接受其他Robot抓取


Disallow:
表示在這個目錄之下的網頁不接受Robot抓取
範例：
Disallow: /
表示根目錄下所有的網頁都不接受抓取 Disallow: /news
表示只有news這個目錄下的網頁不接受抓取


範例：
User-agent: *
Disallow: /cyberworld/map/
Disallow: /tmp/
Disallow: /foo.html
表示所有Robot都不能抓取“/cyberworld/map/”、“/tmp/”和“/foo.html”三個目錄下的網頁。
更多robots.txt的相關說明請參考RES (Robots Exclusion Standard)。