您現在的位置:[首頁]電商平臺 > 詳解robots的寫法

詳解robots的寫法

發布日期:2014-01-22 閱讀次數:1392

今天朋友讓小編給分析網站,看了之后不管是站內,還是站外都沒什么問題,但是連首頁都沒有收錄,這個站點將近兩個月了。這個朋友也真沉的住氣,最后發現他的robots寫的不規范,導致屏蔽了全站,出現這個錯誤讓人很憂傷,一個小小的錯誤導致收錄和排名的推遲。今天合肥建站公司小編說說不得不學的robots寫法。

為什么要寫robots

robots是網站與搜索引擎蜘蛛通信的唯一接口,可以控制蜘蛛爬行的頁面,告訴蜘蛛你網站中的哪些內容是可以爬行的。在優化方面的作用,是因為控制了蜘蛛的爬行,從而使得權重更集中。并且有可以規避掉對后臺頁面的爬行。如果網站沒有禁止蜘蛛爬行的路徑,小編seo建議可以設置為空,這是與搜索引擎簽訂的協議,根目錄里還是有個robots文件的好。

robots寫法

1、建立robots文件
建立 robots.txt 是存放在站點根目錄下的一個純文本文件,讓搜索蜘蛛讀取的txt文件,文件名必須是小寫的“robots.txt”。

2、語法
User-agent:搜索引擎的蜘蛛名
Disallow:禁止搜的內容
Allow:允許搜的內容

3、實例
首先介紹 Disallow: 禁止抓取
User-agent: *  (*表示所有的搜索引擎)
Disallow: /abc.html  這是屏蔽一條完整的路徑
Disallow: /abc/     這是屏蔽一個文件夾(包括屏蔽了域名后面是abc的所有路徑)
Disallow: /abc     這是屏蔽包含某一字段的路徑
Disallow: /abc*      這是屏蔽abc后面所有的路徑
Disallow: /*abc*     屏蔽abc所有的路徑
Disallow: /?*     屏蔽域名后面以?號開頭的所有動態路徑
Disallow: /*?*   屏蔽所有帶?號的動態路徑
Disallow: /*php$ $是指定結束符號,屏蔽所有以php結束的路徑

下面介紹Allow允許抓取

Allow是建立在Disallow出現的,是說屏蔽了某個文件,但是想讓搜索引擎抓取屏蔽這個文件里面的某個東西,舉個例子,Disallow: /*abc*屏蔽了所有的帶有abc的路徑,如果我們想讓搜索引擎抓取/abc.123.html那就得這么寫:
User-agent: *
Disallow: /*abc*
Allow: /abc.123.html
Allow是相對Disallow出現的,Allow的出現,后面不能什么都不寫,比如:
User-agent: *  (*表示所有的搜索引擎)
Disallow: /abc.html
Disallow: /abc/
Disallow: /abc*
Allow: /
這么寫的話,意思是前面Disallow的屏蔽都失效。

小編總結:

robots在不同的搜索引擎里判斷的標準也是不一樣,有一次小編seo博客的robots是這么寫的,Disallow:     /abc/,:和/中間好幾個空格,也是一時疏忽,導致屏蔽掉了360搜索引擎,收錄量直線下降。還有那個朋友的站點,robots中的:/中間沒有空格(必須是有空格的),導致屏蔽了所有搜索引擎的抓取,所有他的站點沒有被收錄。這些種種的教訓,告訴了我們robots一定要寫規范。

標簽:robots
司瓦圖胡經理
技術客服,免費咨詢
技術客服司瓦圖胡經理
司瓦圖網絡自2007年正式注冊成立,目前提供各類平臺系統定制,包括電商平臺開發,微信小程序定制開發,微信平臺定制開發,企業官網制作以及400電話開通等服務!

全國服務熱線4000-522-555周一至周六8:30-18:00

地址:合肥市政務區天瓏廣場5號甲級寫字樓1007-1008室

老張個人微信

老張原創分享

Copyright © 2018 版權所有:合肥司瓦圖網絡科技有限責任公司 ALL Rights Reserved  
皖ICP備07007410號
司瓦圖老張頭像
司瓦圖老張
老張自05年進入互聯網行業,一直從事互聯網平臺開發行業,服務項目主要有:平臺定制開發,電商平臺開發,微信商城,微信小程序等。
司瓦圖老張微信
卖纯棉短袖赚钱吗