博客

1.下载chromedriver，记住chromedriver和chrome浏览器版本有

对应关系

2.获得动态加载后的界面

模拟鼠标操作

，获得需要点击等特定操作后才能获得的动态加载的数据

3.源码：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains



#下载后的chromedriver地址，我这里是windows版本的
CHROME_DRIVER_PATH = 'D:\\Code\imgageRecognition\\site_scrapy\\chromedriver.exe'



#下载动态界面，返回可被beatifulsoup4解析的数据
def get_dynamic_html(site_url):
    print('开始加载',site_url,'动态页面')
    chrome_options = webdriver.ChromeOptions()
    #ban sandbox
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--disable-dev-shm-usage')
    #use headless
    #chrome_options.add_argument('--