2024 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium:
https://www.bilibili.com/video/BV1Ju4y1Y7k6/
我们以谷歌浏览器为例讲解。首先我们要去下载谷歌浏览器驱动。
谷歌浏览器驱动下载地址:https://vikyd.github.io/download-chromium-history-version
查看谷歌浏览器版本 右上角三个点 - > 帮助 - > 关于
我们下载解压后的驱动,放到项目代码同级目录即可,方便测试。
安装下selenium模块
pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple
测试代码:
import time
from selenium import webdriver
# 创建浏览器操作对象
browser = webdriver.Chrome()
url = "https://www.csdn.net/"
browser.get(url)
time.sleep(5)
content = browser.page_source
print(content)
自动弹出谷歌浏览器,并且提示"Chrome 正受到自动测试软件的控制", 说明驱动配置OK。
代码休眠5秒,是为了让js完成渲染,然后获取网页源码,我们能找到我们需要的资讯数据