有个站由于内容比较多，百度抓取的上限是20万一天，平均一天抓取是7万多，上个月服务器被百度蜘蛛抓垮了，于是我屏蔽了两个一部分的百度蜘蛛，也在百度站长后台提交了频次，上限直接改成了1万。但是蜘蛛还是抓取很多，服务器有点堪忧。
这两天CPU又100%了，昨天去看了下日志，即使禁止了还是有很多蜘蛛，10分钟大概有400多蜘蛛爬去，其中看了下头条的蜘蛛也不少，大概有200-300左右，算了下头条蜘蛛一天也来不少了，于是想着把头条蜘蛛降低大一天3000左右，这样就没有什么压力了。
说干就干，第一步去头条站长平台注册了账号，然后绑定网站，调节抓取频次，不知道咋回事，我把频次降低到了3000，结果还是很多蜘蛛，根本没有作用，可能是要等待生效吧，加上我刚提交了网站到站长后台，导致蜘蛛还变多了，这样我的服务器直接奔溃了。
一怒之下我直接在robots文档里面禁止了字节跳动的蜘蛛，还真别说，都说robots协议生效比较慢，头条蜘蛛直接马上生效了，服务器一下子就好了，其实还是有点遗憾的，因为我的网站今日头条还是很给面子，不过面子归面子，目前来说我的流量连1%都没有来到，于是禁止了也不可惜。
今日头条的搜索其实大部分都是站内搜索，和百度不一样，就算今日头条搜索份额50%，你的网站也没啥事，为什么呢？因为今日头条的搜索基本上就是自己的一个站内搜索，顺便搞点外面的互联网数据。头条本身就是做新闻和内容的。和百度不一样的是百度一开始就是互联网为主，后面才加入的全家桶。就算添加了全家桶（百科，贴吧，文库等）但是其它网站还是给了一定的份额。
头条就不一样了，首先头条就用的人少，基本上搜索也是推荐的搜索，搜索进去以后大部分都是自己的头条号，所以就算全部禁止了，也没有什么。网站赚钱本来就难，这些蜘蛛带来了流量就是正能量，没有流量就是DDOS，干脆直接屏蔽，对自己服务器好一点。
评论