腾讯云学生服务器10元优惠套餐 云耀云服务器年中钜惠! 腾讯云新客户无门槛领取2860元代金券 腾讯云十周年感恩回馈! 爆款云产品,限时折扣
社区公告:
  • 吾爱程序猿,致力于打造专业优质的IT学习分享社区,请遵守法律法规和论坛规定,文明发帖,礼貌跟帖!
  • 分享学习资源,与社区用户共同提高,满足你的求知欲!学好IT更好地用技术改变世界!
    发新帖

    爬虫代理使用过程中常见错误分析

      [复制链接]
    179 28
    吾爱程序猿致力于打造专业优质的IT学习分享社区。站内所发布的一切文章、软件及附件信息全部来源于网络用户分享,仅限用于学习和研究目的,不得将上述内容用于商业或者非法用途。否则,一切后果请用户自负。
    本站仅提供学习分享平台,仅存储用户发布的图文内容和链接,不储存资源文件本身,版权争议与本站无关。如果您下载了未获授权资源,请在24个小时之内从您的电脑中删除,如果您喜欢该程序,请购买注册正版,得到更好的正版服务。
    站内所有言论纯属会员个人意见,与本论坛立场无关。严禁在本站发布政治、色情、暴力等不良信息和违法违规内容。
    吾爱程序猿作为网络平台提供者,对非法转载、盗版行为的发生不具备充分的监控能力。但是当版权拥有者提出侵权指控并出示充分的版权证明材料时,吾爱程序猿负有移除非法转载和盗版内容以及停止继续传播的义务。
    吾爱程序猿为用户免费分享产生,如发现本站内容存在版权问题,请联系客服或管理员,我们将第一时间核实处理。

    马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    爬虫程序要长期稳定的数据采集需要使用爬虫代理,避免目标网站出现IP访问限制。如何能够快速的分析数据采集的效果,准确分析采集过程中的问题,可以通过分析HTTP请求返回的各种状态码进行判断。一般来说在使用代理的过程中会出现如下的错误状态码:
    1、407 Proxy Authentication Required
    代理认证信息错误,该代理需要用户认证(或者认证信息错误),请带上正确的用户认证头。
    2、429 Too Many Requests
    (1)请求过快,请降低请求速率(2)目标网站反爬,限制爬虫请求
    3、403 服务器拒绝请求
    可能由目标网站的防护措施导致,建议升级爬虫策略,或者更换优质代理IP。
    3、504 Proxy Gateway TimeoutLink
    (1)代理正在切换IP,请sleep一段时间再试(2)目标网站不可达
    如果出现少量504属于正常情况。如大量出现,建议在不使用代理的情况下检查目标网站是否可以访问。 可能由目标网站的防护措施导致,建议升级爬虫策略

    举报 使用道具

    回复

    精彩评论28

    longlong   发表于 2020-12-14 19:43:40 | 显示全部楼层
    爬虫代理使用过程中常见错误分析

    举报 使用道具

    回复 支持 反对
    czl0325   发表于 2020-12-14 22:51:43 | 显示全部楼层
    爬虫代理使用过程中常见错误分析 [复制链接]

    举报 使用道具

    回复 支持 反对
    星云散落   发表于 2020-12-15 07:03:56 | 显示全部楼层
    水水水水水水水水

    举报 使用道具

    回复 支持 反对
    lwp3001   发表于 2020-12-15 10:01:32 | 显示全部楼层
    ,该代理需要用户认证(或者认证信息错误),请带上正确的用户认证头。
    2、429 Too Many Requests
    (1)请求过快,请降低请求速率(2)目标网站反爬,限制爬虫请求
    3、403 服务器拒绝请求

    举报 使用道具

    回复 支持 反对
    javatyro   发表于 2020-12-16 21:40:30 | 显示全部楼层
    非常感谢楼主,楼主下辛苦了 谢谢!

    举报 使用道具

    回复 支持 反对
    webraider   发表于 2020-12-16 23:21:07 | 显示全部楼层
    楼主呀,,,您太有才了。。。

    举报 使用道具

    回复 支持 反对
    smartfind   发表于 2020-12-17 08:33:06 | 显示全部楼层
    感谢楼主分享!

    举报 使用道具

    回复 支持 反对
    lllq   发表于 2020-12-17 14:25:31 | 显示全部楼层
    爬虫代理使用过程中常见错误分析

    举报 使用道具

    回复 支持 反对
    mltk   发表于 2020-12-17 14:45:27 | 显示全部楼层
    有空一起交流一下

    举报 使用道具

    回复 支持 反对
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    452

    积分

    355

    学币

    95

    帖子


    快速回复 返回顶部 返回列表