怎么样用舆情监测系统让一个网站打不开?
小编有个朋友自己做了一个网站,流量都不错,而且他也是一个技术狂,很爱钻研各种技术难题,小编是一个做网络爬虫的,可以算得上是一个资深的python专家,外加大数据中高级工程师吧,小编的朋友是一个网络安全工程师,他是高级工程师,有一天我们在玩游戏的时候,我们就打一个赌,他说我们公司的爬虫没用办法爬他们网站的数据,小编就说可以的呀,我给你一个月的时间,让你去部署反爬虫技术,然后在这一个月内小编可以100%爬虫他们网站每天实时的数据,从不延迟,当时我们就打赌了一套游戏装备。
第二天,我就用我们甲鱼网络舆情检查系统对该网站做了多爬虫多维度的爬取数据,谁知道还没有过几分钟,我就发现这个网站打不开了,小编就比较纳闷,这个朋友这么不经开玩笑,才几分钟时间,就不让我爬他网站,这也不是这样玩的呀,关闭网站算什么呀,然后我就去问他,要装备,他就说没用关啊,可能服务器问题,然后去打电话咨询服务器厂商,服务器厂商说他们服务器运营正常,没用宕机什么问题,可能是网站代码问题或者被黑客攻击了之类吧,然后就去分析他们服务器访问日子,原来都是我们爬虫的痕迹,是我们公司爬虫把他们网站爬得打不开了,为什么会这样说呢,因为每个网站每天有固定的流量,一般几个G,如果超过这个流量,网站就会卡住或者打不开,要到第二天有了流量才可以重新打开,就这样周而复始。网络舆情监测软件爬某个网站的时候就会消耗这个网站的流量,这样就会让这个网站少了很多流量,如果一个舆情监测软件去爬一个网站还好,如果多个舆情监测系统去爬呢?那么这个网站每天要被这些爬虫带走多少流量啊,所有很多网站站长想方设法做反爬虫技术。
还记得当年E租宝让网贷天眼网站几天打不开的事情吗?就是因为E租宝请了国外的黑客去攻击网贷天眼的网站,他们主要是服务器IIS攻击,跟小编家用爬虫去爬一个网站一样的原理。