SEO網站優化推廣運營

網頁被robots屏蔽了,為什么還會被百度收錄?

作者:admin 2016-09-02 10:11:50

問:這個問題困惑我很久了,為什么我網站的網頁被robots屏蔽了之后,我從網站日志分析后還會能看到被百度抓取和收錄呢?不是說屏蔽了以后就不會被抓取和收錄了嗎?這些頁面都是我們老板千叮萬囑不讓展現在百度的,現在都不知道怎么交差了,求解釋。 答:我經常...

  問:這個問題困惑我很久了,為什么我網站的網頁被robots屏蔽了之后,我從網站日志分析后還會能看到被百度抓取和收錄呢?不是說屏蔽了以后就不會被抓取和收錄了嗎?這些頁面都是我們老板千叮萬囑不讓展現在百度的,現在都不知道怎么交差了,求解釋。

  

 

  答:我經常遇到這樣的情況,很多人都來問我:“為啥屏蔽了的頁面還被抓取?”這里我簡單的說下吧,一般有兩種情況:

  第一種是:對已經收錄的網頁使用robots屏蔽,老網頁按照robots規則的刪除時間會很長,這個時候可能會造成百度沒有遵守robots規則。

  第二種情況是:如果你屏蔽的頁面或欄目存在大量的外鏈,那么這個網頁或欄目的URL會被百度收錄,但內容不會被百度索引,一般這樣的多見于首頁域名。當然,如果你連URL都不想被收錄,可以針對蜘蛛返回404即可。

文章: 網頁被robots屏蔽了,為什么還會被百度收錄?

1.本站遵循行業規范,任何轉載的稿件都會明確標注作者和來源;2.本站的原創文章,請轉載時務必注明文章作者和來源,不尊重原創的行為我們將追究責任;文章地址:http://www.098112.live/seoask/201608177.html

SEO教程SEO教程相關文章

  • 網頁的主體內容較少,應該怎么優化? 文章建文件夾按照時間分類

    網頁的主體內容較少,應該怎么優化? 文章建文件夾按照時間分類

    2016-09-02 10:11:00

  • 網頁的導出鏈接多少是最合適的?

    網頁的導出鏈接多少是最合適的?

    2016-09-02 10:12:18

  • 網站每天都被蜘蛛爬N遍,收錄的網頁為何只有一兩篇?

    網站每天都被蜘蛛爬N遍,收錄的網頁為何只有一兩篇?

    2016-09-02 10:13:09

双色球复式140 海南4 1中奖规则和奖金 买什么股票有投资价 宝博李逵 2019欧冠积分排名 皇家棋牌室 江苏11选5基本走势图 南粤36选7开奖走势图 宁夏11选5前三走势图 怎样通过网络赚钱 百分百王中王平特一肖