selenium 设置 代理IP & UA & 隐藏自动化测试

测试代码

from selenium import webdriver

bro = webdriver.Chrome(executable_path="./chromedriver_win32/chromedriver.exe")
bro.get(url="https://bigdataboy.cn")

设置代理IP

导入配置模块

from selenium import webdriver
from selenium.webdriver import ChromeOptions

options = ChromeOptions()
# 本地代理 不需要用户 密码的 代理
options.add_argument('--proxy-server=' + '59.63.40.207:32231')
bro = webdriver.Chrome(executable_path="./chromedriver_win32/chromedriver.exe", options=options)
bro.get(url="https://bigdataboy.cn")

修改UA

from selenium import webdriver
from fake_useragent import UserAgent
from selenium.webdriver import ChromeOptions

options = ChromeOptions()
# 使用了 一个模块
options.add_argument('user-agent=%s' % UserAgent().random)
bro = webdriver.Chrome(executable_path="./chromedriver_win32/chromedriver.exe", options=options)
bro.get(url="https://bigdataboy.cn")

隐藏自动化测试

有些网站会检查 selenium ，从而爬取不到任何东西

检验参数：window.navigator.webdriver

添加配置，隐藏自动化测试

from selenium import webdriver
from selenium.webdriver import ChromeOptions

options = ChromeOptions()
# 添加一个配置
options.add_experimental_option('excludeSwitches', ['enable-automation'])
bro = webdriver.Chrome(executable_path="./chromedriver_win32/chromedriver.exe", options=options)
bro.get(url="https://youhui.pinduoduo.com/")

以上配置能组合使用，其他配置详见官网