当你经常抓取对方网站,对方看着你的时候,这家伙频繁访问也太快了吧。它一定是一个登山者。你要屏蔽他的IP,看他怎么爬!所以,这次我就教你如何伪装自己的IP地址,不要让对方轻易封掉你。怎么伪装?
无私分享一套完整的Python爬虫干货。如果你也想学Python,可以私信边肖:分享信息,获取。
其实对于Python来说,使用代理IP访问是非常简单的。以我们经常使用的请求库为例,代理IP如下:
所以你可以使用代理IP访问网站。当然你会问我代理IP在哪里。你从哪里来的?网上有很多免费代理IP,一搜就是很多。当然,你也知道,既然是免费的,肯定有很多人在用,而且不稳定。我们的重点是白嫖,免费的。
第一步:安装包如下:移动鼠标右键,选择Windows PowerShell窗口,然后在命令行输入命令。
其次,运行run.py步骤,直接在Windows PS窗口中运行,输入命令python run.py
项目运行后,不要关闭窗口,然后就可以访问你的ip代理池了。
例如随机获得代理ip地址。
这样,access可以随机获取一个代理ip。
有了这样的条件,不难在代码中实现:
就这样,我们成功的获得了我们代理池中的代理ip,所以下次如果有人敢屏蔽你的ip,你就可以拿出你的代理ip继续爬了,嘿嘿~
我举个简单的例子来说明节目的操作。抓取JD的图片。COM的代理ip产品:
为了帮助你更轻松地学习Python,我想和你分享一套Python学习资料,希望对正在学习的你有所帮助!获取方式:关注并私信边肖“数据分享”即可免费获取!