python爬虫:由于目标计算机积极拒绝,无法连接(已经解决)
在Windows系统下爬虫某网站全站数据,出现了上述情况,导致本机电脑ip地址被封,用chrome游览器打开该网站也打开不了,回顾自己的代码,请求时间间隔也设置了time.sleep(random.randint(1, 3))在网上搜一下解决办法,感觉差强人意,应该是自己学的都不够精,看不懂:最后经过询问编个ip地址,放入headers中,然后网站数据就可以正常爬了,亲测有效:headers["X
·
在Windows系统下爬虫某网站全站数据,出现了上述情况,导致本机电脑ip地址被封,用chrome游览器打开该网站也打开不了,回顾自己的代码,请求时间间隔也设置了time.sleep(random.randint(1, 3))
在网上搜一下解决办法,感觉差强人意,应该是自己学的都不够精,看不懂:
最后经过询问编个ip地址,放入headers中,然后网站数据就可以正常爬了,亲测有效:
headers["X-Forwarded-For"] = "%s.%s.%s.%s" % (
random.randrange(1, 200, 20), random.randrange(1, 200, 20), random.randrange(1, 200, 20),
random.randrange(1, 200, 20))
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)