云耀云服务器年中钜惠! 腾讯云新客户无门槛领取2860元代金券 腾讯云学生服务器10元优惠套餐 腾讯云十周年感恩回馈! 爆款云产品,限时折扣
社区公告:
  • 吾爱程序猿,致力于打造专业优质的IT学习分享社区,请遵守法律法规和论坛规定,文明发帖,礼貌跟帖!
  • 分享学习资源,与社区用户共同提高,满足你的求知欲!学好IT更好地用技术改变世界!
    发新帖

    使用优质代理经常出现的问题

      [复制链接]
    41 7
    吾爱程序猿致力于打造专业优质的IT学习分享社区。站内所发布的一切文章、软件及附件信息全部来源于网络用户分享,仅限用于学习和研究目的,不得将上述内容用于商业或者非法用途。否则,一切后果请用户自负。
    本站仅提供学习分享平台,仅存储用户发布的图文内容和链接,不储存资源文件本身,版权争议与本站无关。如果您下载了未获授权资源,请在24个小时之内从您的电脑中删除,如果您喜欢该程序,请购买注册正版,得到更好的正版服务。
    站内所有言论纯属会员个人意见,与本论坛立场无关。严禁在本站发布政治、色情、暴力等不良信息和违法违规内容。
    吾爱程序猿作为网络平台提供者,对非法转载、盗版行为的发生不具备充分的监控能力。但是当版权拥有者提出侵权指控并出示充分的版权证明材料时,吾爱程序猿负有移除非法转载和盗版内容以及停止继续传播的义务。
    吾爱程序猿为用户免费分享产生,如发现本站内容存在版权问题,请联系客服或管理员,我们将第一时间核实处理。

    马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    大数据时代,网络爬虫使用http代理时,经常会碰到一些问题,让网络爬虫的工作不是那么的顺畅。不过仔细排查,还是可以找出问题并解决问题的,网络爬虫在使用亿牛云API优质代理时会遇到几个问题。
    1、白名单授权
    使用代理的用户,开通优质HTTP代理IP后,生成API提取链接后,发现提取不到IP,或者提取IP后全部使用不了。经过沟通了解后,发现了如下问题:
    您的IP: 125.69.47.134 没在白名单( 125.69.44.227 222.209.8.0 )中
    原因:ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP
    修改IP白名单太频繁
    原因:1、ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP,同时注意对方是不是开启了IP自动更新选项,如果对方有多个网络出口,就会导致ip自动更新频繁。
    False,没有获取到任何代理,速率超过限制
    原因:一条代理API链接只能按照指定时间间隔进行访问,注意程序是不是有多个线程访问或一个服务器下有多个软件运行,超出了代理链接提取速度,请用浏览器访问代理API链接,看看中文提示错误描述。如果服务器每秒请求超过一次,会被判断为DDOS攻击行为,直接黑名单处理,停止该行为一段时间后会自动恢复访问许可。
    代理提取之后,代理不能访问或访问失败率很高
    原因:提取和使用代理IP的机器是不是都绑定了IP白名单,注意看看对方服务器IP是不是电信或联通的IP;
    代理能访问,偶尔出现访问失败或提取失败
    原因:注意看看对方服务器IP是不是电信或联通的IP,同时询问对方是不是多个IP白名单的情况下,开启了IP自动更新出现了冲突;对方是否控制了代理IP的使用时间,超出了2-10分钟,导致IP失效。
    以上问题答案基本上都能解决白名单授权问题
    注意:亿牛云API优质代理提取和使用IP的机器必须在白名单内,方可提取和使用
    2、IP有效期
    亿牛云动态代理IP都有一个生存周期,从提取出来,到失效,就是代理IP的有效期。亿牛云API优质代理有效期是2-10分钟,一些网络爬虫用户在使用亿牛云代理会出现超时问题,这个问题一般是两种原因造成,1:提取和使用的机器IP没在白名单内。2:没有IP有效时间管理,IP有效时间到期了,还在一直使用,导致出现超时问题。所以在使用爬虫代理的时候一定要控制使用好IP的有效时间,才能更加稳定有效的使用。
    网络爬虫在使用爬虫代理的时候回遇到各种问题,避免使用出现障碍,一定要了解清楚问题的解决方案。

    举报 使用道具

    回复

    精彩评论7

    老友9090   发表于 2021-1-9 08:11:50 | 显示全部楼层
    使用优质代理经常出现的问题

    举报 使用道具

    回复 支持 反对
    shitouaaa   发表于 2021-1-9 14:55:38 | 显示全部楼层
    写的真的很不错

    举报 使用道具

    回复 支持 反对
    donghao0506   发表于 7 天前 | 显示全部楼层
    打酱油的人拉,回复下赚取积分

    举报 使用道具

    回复 支持 反对
    kaixian_2003   发表于 6 天前 | 显示全部楼层
    感谢分享了

    举报 使用道具

    回复 支持 反对
    siqihan   发表于 6 天前 | 显示全部楼层
    为了学币,我也是拼了,哈哈!

    举报 使用道具

    回复 支持 反对
    cjt880   发表于 4 天前 | 显示全部楼层
    不错了。谢谢啦。几哈就很好

    举报 使用道具

    回复 支持 反对
    culittlewhite   发表于 前天 13:35 | 显示全部楼层
    啥也不说了,楼主的视频教程就是给力!

    举报 使用道具

    回复 支持 反对
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    562

    积分

    453

    学币

    109

    帖子


    快速回复 返回顶部 返回列表