selenium+chrome options
环境:selenium chrome
1. selenium + chrome参数配置
1.1. 启动
from
selenium
import
webdriver
def
test_selenium():
#url = ‘http://127.0.0.1:9000/spider/’
ch_opt = webdriver.ChromeOptions()
ch_opt.add_argument(‘lang=zh_CN.UTF-8’)
browser = webdriver.Chrome(ch_opt)
# get page
res = browser.get(url)
需要关注的是webdriver.ChromeOptions()类,它是chrome.options类的别名。
from .chrome.webdriver import WebDriver as Chrome # noqa
from .chrome.options import Options as ChromeOptions # noqa
1.2. options
源码:
# .\Lib\site-
packages
\selenium\webdriver\chrome\options.py
class Options(object):
def __init__(self):
self._binary_location = ” # 设置 chrome 二进制文件位置
self._arguments = [] # 添加启动参数
self._extension_files = [] # 添加扩展应用
self._extensions = []
self._experimental_options = {} # 添加实验性质的设置参数
self._debugger_address = None # 设置调试器地址
1.3. 常用设置
1.3.1. useragent
# 通过设置user-agent,用来模拟移动设备
user_ag=’MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; ‘+
‘CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1’
options.add_argument(‘user-agent=%s’%user_ag)
# 模拟iPhone 6
options.add_argument(‘user-agent=”Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1″‘)
1.3.2. 3.3. 禁止图片加载
不加载图片的情况下,可以提升爬取速度。
# 禁止图片的加载
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
prefs = {“profile.managed_default_content_settings.images”: 2}
chrome_options.add_experimental_option(“prefs”, prefs)
# 启动浏览器,并设置好wait
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.set_window_size(configure.windowHeight, configure.windowWidth) # 根据桌面分辨率来定,主要是为了抓到验证码的截屏
wait = WebDriverWait(browser, timeout = configure.timeoutMain)
2. CHROME
2.1. chrome地址栏命令
在Chrome的浏览器地址栏中输入以下命令,就会返回相应的结果。这些命令包括查看内存状态,浏览器状态,网络状态,DNS服务器状态,插件缓存等等。但是需要注意的是这些命令会不停的变动,所以不一定都是好用的。
about:version – 显示当前版本
about:memory – 显示本机浏览器内存使用状况
about:plugins – 显示已安装插件
about:histograms – 显示历史记录
about:dns – 显示DNS状态
about:cache – 显示缓存页面
about:gpu -是否有硬件加速
about:flags -开启一些插件 //使用后弹出这么些东西:“请小心,这些实验可能有风险”,不知会不会搞乱俺的配置啊!
chrome://extensions/ – 查看已经安装的扩展
2.2. chrome实用参数
其他的一些关于Chrome的实用参数及简要的中文说明,使用方法同上4.5.4,当然也可以在shell中使用。
–user-data-dir=”[PATH]” 指定用户文件夹User Data路径,可以把书签这样的用户数据保存在系统分区以外的分区。
–disk-cache-dir=”[PATH]“ 指定缓存Cache路径
–disk-cache-size= 指定Cache大小,单位Byte
–first run 重置到初始状态,第一次运行
–incognito 隐身模式启动
–disable-javascript 禁用Javascript
–omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。
–user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串,可以通过about:version页面查看修改效果
–disable-plugins 禁止加载所有插件,可以增加速度。可以通过about:plugins页面查看效果
–disable-javascript 禁用JavaScript,如果觉得速度慢在加上这个
–disable-java 禁用java
–start-maximized 启动就最大化
–no-sandbox 取消沙盒模式
–single-process 单进程运行
–process-per-tab 每个标签使用单独进程
–process-per-site 每个站点使用单独进程
–in-process-plugins 插件不启用单独进程
–disable-popup-blocking 禁用弹出拦截
–disable-plugins 禁用插件
–disable-images 禁用图像
–incognito 启动进入隐身模式
–enable-udd-profiles 启用账户切换菜单
–proxy-pac-url 使用pac代理 [via 1/2]
–lang=zh-CN 设置语言为简体中文
–disk-cache-dir 自定义缓存目录
–disk-cache-size 自定义缓存最大值(单位byte)
–media-cache-size 自定义多媒体缓存最大值(单位byte)
–bookmark-menu 在工具 栏增加一个书签按钮
–enable-sync 启用书签同步
–single-process 单进程运行Google Chrome
–start-maximized 启动Google Chrome就最大化
–disable-java 禁止Java
–no-sandbox 非沙盒模式运行
常用:
–single-process 单进程运行Google Chrome
–start-maximized 启动Google Chrome就最大化
–disable-java 禁止Java
–no-sandbox 非沙盒模式运行
转载于:https://www.cnblogs.com/wodeboke-y/p/11116731.html