皇冠体育在线|深圳皇冠体育馆

搜索愛好者

 找回密碼
 注冊會員

QQ登錄

只需一步,快速開始

查看: 2956|回復: 0
打印 上一主題 下一主題

搜狗spider的抓取頻次是怎樣的?

[復制鏈接]
跳轉到指定樓層
1#
發表于 2019-2-12 00:55:20 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
sogou spider 對于同一個 IP 地址的服務器主機,只建立一個連接,抓取間隔速度控制在幾秒一次。一個網頁被收錄后,最快也要過幾天以后才會去更新。如果持續不斷地抓取您的網站,請注意您的網站上的網頁是否每次訪問都產生新的鏈接。

如果您認為 sogou spider 對于您的網站抓取過快,請與我們聯系,并最好能提供訪問日志中sogou spider 訪問的部分,而不要直接將搜狗spider的ua封禁。
分享到:  QQ好友和群QQ好友和群 QQ空間QQ空間 騰訊微博騰訊微博 騰訊朋友騰訊朋友
收藏收藏
您需要登錄后才可以回帖 登錄 | 注冊會員

本版積分規則

Archiver|手機版|大川乒乓網|中文搜索引擎指南網(搜網) ( 魯ICP備16006309號

GMT+8, 2019-9-23 10:28 , Processed in 0.125821 second(s), 28 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回復 返回頂部 返回列表
皇冠体育在线 甘省福彩快三开奖结果 pk杀号 六玄开奖网四招 篮球比分90vc 利记是什么博彩公司 上海快3开奖结果 广东快乐十分网上投 福彩快三开奖结果 扑克绝技 兑奖券兑奖须知