2024 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium：

https://www.bilibili.com/video/BV1Ju4y1Y7k6/

很多网站和应用都有反爬虫策略，我们频繁的访问，一旦触发反爬虫策略，我们的IP就会被封掉。

我们为了应对反爬虫，可以使用代理。

代理IP能划分成高度匿名代理（以下简称：高匿）、普通匿名代理（以下简称：普匿）和透明代理三类，通过名字相信大家也猜出了每个级别的匿名程度是：高匿 > 普匿 > 透明。

1. 透明代理IP：顾名思义，服务器知道你在使用代理IP，并且也知道你的真实IP。

2. 普匿代理IP：普匿代理IP要比透明代理IP好一些，但是对方服务器仍然会知道你使用了代理。

3. 高匿代理IP：高匿代理IP不仅可以保护你的IP地址，并且不会改变你的访问请求，让对方服务器毫无察觉，不知道你使用了代理。因此，高匿代理的效果是最好的。

所以我们使用代理IP，建议用高匿代理IP，效果好。

推荐一个不错的代理IP商-快代理 https://www.kuaidaili.com/

他们提供了一些免费的代理IP，锋哥测试了几个，都不能用。所以花钱买了，果然好用。

测试代码：

import requests

url = "http://www.cip.cc/"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}

proxy = {
    "http": "c612.kdltps.com:15818"
}

r = requests.get(url=url, headers=headers, proxies=proxy)
r.encoding = "utf-8"
print(r.status_code)
print(r.text)
with open('proxy.html', 'w', encoding='utf-8') as fp:
    fp.write(r.text)

生成的proxy.html里会显示代理IP地址。