您現在的位置:[首頁]電商平臺 > 百度蜘蛛為什么會抓取網站不存在的路徑?

百度蜘蛛為什么會抓取網站不存在的路徑?

發布日期:2014-01-20 閱讀次數:1636
做seo我們需要經常性的去看我們網站的服務器日志,也就是iis日志,因為我們需要很好的掌握蜘蛛爬取了我們網站的什么地方,哪個頁面。但是有些朋友有的時候在進行例行檢查的時候,卻發現蜘蛛爬取了一些我們網站并不存在的頁面,今天合肥建站公司小編就講解下為什么百度蜘蛛會爬取我們網站沒有的頁面。
1、蜘蛛是怎么發現我們網站的鏈接的
我們都知道,蜘蛛是沿著鏈接爬來爬去的,他會自動提取網站中所有的鏈接,保存入庫,然后進行爬取,這也就是為什么我們覺得網站的收錄少了或者剛發布的文章沒有被收錄,我們就會說“引蜘蛛”了,其實引蜘蛛就是發外鏈了,當這條鏈接唄蜘蛛發現之后,他就會進行爬取,然后通過一系列復雜的算法之后,決定是否放出該頁面的收錄。
2、為什么會爬到不存在的頁面
一般情況下,有這么幾個問題
a、被對手惡意刷外鏈,也就是說競爭對手惡意的給你發了很多的不存在的頁面鏈接,當蜘蛛發現之后就會來爬取
b、以前做的外鏈,后來由于網站改版而某些鏈接沒有及時的去除,蜘蛛定期回訪的時候爬取了這條鏈接
c、此種僅限老域名,之前的網站結構和我們現在的網站結構不一致,也類似于b中的說法
d、robots文件沒有對蜘蛛進行限制
e、程序的原因,導致搜索引擎蜘蛛掉入黑洞
f、url提交或者ping給百度地址有誤
蜘蛛爬取不存在的頁面,一般情況下都是由于這些問題導致的,其中最主要的原因就是外鏈部分,所以我們要經常性的去檢查下我們網站的外鏈情況。
下面提供解決辦法:
這些方面綜合來講,一般我們只需要這么做,基本就能夠減少這種情況的發生,如果是鏈接導致的,那么就去百度站長平臺使用外鏈拒絕工具拒絕掉,并提交網站的死鏈接,同時使用robots屏蔽蜘蛛抓取這些內容;如果是程序問題,就修復程序。
標簽:百度蜘蛛
司瓦圖胡經理
技術客服,免費咨詢
技術客服司瓦圖胡經理
司瓦圖網絡自2007年正式注冊成立,目前提供各類平臺系統定制,包括電商平臺開發,微信小程序定制開發,微信平臺定制開發,企業官網制作以及400電話開通等服務!

全國服務熱線4000-522-555周一至周六8:30-18:00

地址:合肥市政務區天瓏廣場5號甲級寫字樓1007-1008室

老張個人微信

老張原創分享

Copyright © 2018 版權所有:合肥司瓦圖網絡科技有限責任公司 ALL Rights Reserved  
皖ICP備07007410號
司瓦圖老張頭像
司瓦圖老張
老張自05年進入互聯網行業,一直從事互聯網平臺開發行業,服務項目主要有:平臺定制開發,電商平臺開發,微信商城,微信小程序等。
司瓦圖老張微信
卖纯棉短袖赚钱吗