2024 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium：
https://www.bilibili.com/video/BV1Ju4y1Y7k6/
有些网站的数据是js动态渲染的，我们无法通过网页源码直接找到数据，只能通过找接口方式来获取数据，但是很多时候，数据又是json格式的，给我们爬数据增加成本。
比如 https://www.csdn.net/ 这个网站 就是js动态渲染的首页数据。
这时候，使用selenium，我们可以通过模拟真实浏览器的用户操作行为，来获取js动态渲染后的网页数据，在进行解析网页，获取我们需要的数据。能大大提高我们的抓取效率。
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。
我们使用Selenium，模拟浏览器功能，自动执行网页中的js代码，实现动态加载，然后再进行数据抓取。
测试代码：
import requests
url = "https://www.csdn.net/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}
r = requests.get(url=url, headers=headers)
# 设置返回对象的编码
r.encoding = "utf-8"
print(r.text)
运行发现，返回结果里面找不到我们需要的资讯数据。
