本来好好的一个节日，突然打开网站发现打不开，赶紧登陆服务器看了下，CPU爆满，负载率爆满，但是同一个服务器的另外一个网站却可以打开，于是赶紧查看日志，发现是百度蜘蛛搞得鬼，说是百度蜘蛛但是感觉也应该啊。
看到没有，一秒钟大概有几个请求，平均一分钟下来大概哎有100请求，一天有14万的请求，但是我看了下百度蜘蛛赚取也就1万多的次数，于是设置了下百度蜘蛛抓取上限，上次就是蜘蛛问题，我直接降低了百度频次结果可以打开网站，但是这次调节了以后还是不行。网站直接一直502，一度怀疑是不是服务器被别人CC了，但是服务器日志也看不出什么端倪。
于是买了宝塔的付费防火墙，但是没有什么效果，于是在阿里云开启了CDN，CDN里面屏蔽了百度蜘蛛的UA，结果还是有百度蜘蛛在日志里面可以看到。理论上阿里云CDN应该是即时生效的，但是测试了很多遍还是CPU爆满。这个时候我已经从下午的4点，搞到了晚上12点，期间随便煮了泡面就开始弄，始终感觉是假的蜘蛛，在恶意CC我的网站，但是确实这些蜘蛛我查看了下都是百度官方的，不知道啥情况。
最后一顿操作猛如虎，PHP也升级,nginx也升级了还是不行，没办法于是把经常请求的两个iP端直接在宝塔里面封禁了，封禁之后负载一下子降低了，基本确定就是这个iP搞的鬼，做一个赚钱的网站太难了，啥事情都能遇到。
早上起来看了下日志没有一个百度蜘蛛，赶紧应该是阿里云CDN直接屏蔽百度UA起作用了，于是赶紧删掉了设置，主要靠百度吃饭没办法，要是google蜘蛛赶这么搞，直接拉黑。
评论