laravel 做的网站怎么有效的处理反爬虫?


公司线上运营人员每天都要到全国各个医疗器械网站查看最新公告或法规发布信息 于是我就用 QueryList 和 selenium 写了爬虫 每天都去爬取各网站信息 

国家药品监督管理局  做了反爬虫  不知道是怎么实现的  但是用selenium 也爬取到数据了 

现在公司想做成像 国家药品监督管理局   这样的反爬虫措施  我很苦恼 该肿么办

现在做法是:

1,验证用户登录中间件中

        1.1添加用户访问记录表  记录数据有( 用户id,ip,链接地址) 

        1.2验证用户是否在“黑名单”中  是跳转至提示界面

2,计划任务每隔5分钟查验 用户访问记录表 ip或用户id访问次数是否超过100 

     是则将 ip和账号id添加至“黑名单”并设置账号状态为“冻结” 账号冻结状态下无法登陆成功

3,系统管理员查看后台“黑名单”列表 操作删除记录并设置用户状态为“正常”


这样的流程太伤。。。 伤客户也伤人力 客服不干了

     

  

   

    


Vote Vote Cancel Collect Collect Cancel

<< 上一篇: 使用Swoole 来加速你的 Laravel 应用,可看下详细操作

>> 下一篇: 新手求助laravel分页