一发入魂 - Selenium使用

前言

本文使用 python3.6.5.

Selenium 是一个用于 Web 应用程序测试的工具。

Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括 IE（7, 8, 9, 10, 11），Firefox，Safari，Chrome，Opera 等。

使用 python 爬虫调用 selenium 来模拟正常用户访问浏览器.

Selenium 和 ChromeDriver 的安装与配置

安装

安装 selenium:

win: pip install selenium
liunx: pip3 install selenium

安装 ChromeDriver, 该工具供 selenium 使用 Chrome.

ChromeDriver: http://npm.taobao.org/mirrors/chromedriver/

这里只是对应版本中的一部分, 各位的 Chrome 版本可能超出了这里的版本范围.

但是通过版本对比, 可以发现每个 driver 版本对应的 chrome 版本范围为 3.

通过规律, 各位就能知道自己该下那个版本的 driver 了.

配置

1. 将下载的 ChromeDriver 进行解压.
2. 将解压后的文件放入合适的位置.
   1. win: 将解压后的文件放入配置了环境变量的文件夹, 如 python 的文件夹.
   2. linux: 将解压后的文件移动到/usr/loacl/bin目录中.
3. 完成.

简单使用

如前面说的, 我们能使用 python 导入 selenium 来控制浏览器访问网站.

也就是说能使用 py 打开浏览器自动化访问.

Chrome 有界面运行

    #!/usr/bin/env python3
    from selenium import werdriver
    import time


    driver = webdriver.Chrome()     # 创建Chrome对象.
    # 操作这个对象.
    driver.get('https://www.baidu.com')     # get方式访问百度.
    time.sleep(2)
    driver.quit()   # 使用完, 记得关闭浏览器, 不然chromedriver.exe进程为一直在内存中.

Chrome 无界面运行

    #!/usr/bin/env python3
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    import time

    chrome_opt = Options()      # 创建参数设置对象.
    chrome_opt.add_argument('--headless')   # 无界面化.
    chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
    chrome_opt.add_argument('--window-size=1366,768')   # 设置窗口大小, 窗口大小会有影响.

    # 创建Chrome对象并传入设置信息.
    driver = webdriver.Chrome(chrome_options=chrome_opt)
    # 操作这个对象.
    driver.get('https://www.baidu.com')     # get方式访问百度.
    time.sleep(2)
    print(driver.page_source)       # 打印加载的page code, 证明(prove) program is right.
    driver.quit()   # 使用完, 记得关闭浏览器, 不然chromedriver.exe进程为一直在内存中.

Selenium 启动项(参数设置)与 Driver

Chrome WebDriver Options

#!/usr/bin/env python3
from selenium import webdriver
from selenium.webdriver.chrome.options import Options


chrome_opt = Options()      # 创建参数设置对象.
chrome_opt.add_argument('--windows-size=1366,768')  # 设置浏览器窗口大小.

# 创建chrome对象并传入设置信息.
driver = webdriver.Chrome(chrome_options=chrome_opt)
driver.quit()

常用的启动项

详细的参数解释: https://peter.sh/experiments/chromium-command-line-switches/

禁用图片加载

Chrome 的禁用图片加载参数设置比较复杂，如下所示：

prefs = {
    'profile.default_content_setting_values' : {
        'images' : 2
    }
}
options.add_experimental_option('prefs',prefs)

禁用浏览器弹窗

使用浏览器时常常会有弹窗弹出，以下选项可以禁止弹窗：

prefs = {
    'profile.default_content_setting_values' :  {
        'notifications' : 2
     }
}
options.add_experimental_option('prefs',prefs)

Chrome WebDriver

chromedriver.exe 一般可以放在环境文件中，但是有时候为了方便部署项目，或者为了容易打包，我们可以将 chromedriver.exe 放到我们的项目目录中，然后在初始化 Chrome Webdriver 对象时，传入 chromedriver.exe 的路径。

from selenium import webdriver

driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.quit()

Selenium Driver 操作

Driver 对象常见操作

• get(url): 在当前浏览器会话中访问传入的 url 地址, driver.get('https://www.baidu.com').
• close(): 关闭浏览器当前窗口。
• quit(): 退出 webdriver 并关闭所有窗口。
• refresh(): 刷新当前页面。
• title: 获取当前页的标题。
• page_source: 获取当前页渲染后的源代码。
• current_url: 获取当前页面的 url。
• window_handles: 获取当前会话中所有窗口的句柄。

Driver 查找单个元素

查找后返回的是一个Webelement对象。
查找多个元素: 将其中的 element 加上一个 s，则是对应的多个查找方法

上面的方法都是将第一个找到的元素进行返回，而将所有匹配的元素进行返回使用的是find_elements_by_*方法。

Driver 操作 Cookie

• add_cookie(cookie_dict) : 给当前会话添加一个 cookie。
• cookie_dict: 一个字典对象，必须要有”name”和”value”两个键，可选的键有：“path”, “domain”, “secure”, “expiry” 。
• 用法：

  driver.add_cookie({‘name’ : ‘foo’, ‘value’ : ‘bar’})
  driver.add_cookie({‘name’ : ‘foo’, ‘value’ : ‘bar’, ‘path’ : ‘/’})
  driver.add_cookie({‘name’ : ‘foo’, ‘value’ : ‘bar’, ‘path’ : ‘/’, ‘secure’:True})

• get_cookie(name): 按 name 获取单个 Cookie，没有则返回 None。
• get_cookies(): 获取所有 Cookie，返回的是一组字典。
• delete_all_cookies(): 删除所有 Cookies。
• delete_cookie(name): 按 name 删除指定 cookie。

Driver 获取截屏

• get_screenshot_as_base64(): 获取当前窗口的截图保存为一个 base64 编码的字符串。
• get_screenshot_as_file(filename): 获取当前窗口的截图保存为一个 png 格式的图片，filename 参数为图片的保存地址，最后应该以.png 结尾。如果出现 IO 错误，则返回 False。
  • 用法: driver.get_screenshot_as_file(‘/Screenshots/foo.png’)
• get_screenshot_as_png(): 获取当前窗口的截图保存为一个 png 格式的二进制字符串。

Driver 获取窗口信息

• get_window_position(windowHandle=’current’): 获取当前窗口的 x,y 坐标。
• get_window_rect(): 获取当前窗口的 x,y 坐标和当前窗口的高度和宽度。
• get_window_size(windowHandle=’current’): 获取当前窗口的高度和宽度。

Driver 切换操作

• switch_to_frame(frame_reference): 将焦点切换到指定的子框架中
• switch_to_window(window_name): 切换窗口

Driver 执行 JS 代码

• execute_async_script(script, *args) : 在当前的 window/frame 中异步执行 JS 代码。
  • script：是你要执行的 JS 代码。
  • *args：是你的 JS 代码执行要传入的参数。
  • 用法：

    script = “var callback = arguments[arguments.length - 1]; ”
        script2 = “window.setTimeout(function(){ callback(‘timeout’) }, 3000);”
        driver.execute_async_script(script + script2)
    

• execute_script(script, *args): 在当前的 window/frame 中同步执行 JS 代码。
  • script：是你要执行的 JS 代码。
  • *args：是你的 JS 代码执行要传入的参数。

Selenium Webelement 操作

Webelement 操作

前面有讲到使用find等方法来查找单个或多个元素对象, 其结果返回一个Webelement对象.

现在我们操作这个对象.

Webelement 常用方法

• clear(): 清空对象中的内容.
• click(): 单击对象.
• get_attribute(name): 优先返回完全匹配属性名的值，如果不存在，则返回属性名中包含 name 的值。
• screenshot(filename): 获取当前元素的截图，保存为 png，最好用绝对路径.
• send_keys(value): 给对象元素输入数据, 如在百度中搜索’哔哩哔哩’.
• submit(): 提交表单.

Webelement 常用属性

• text: 获取当前元素的文本内容.
• tag_name: 获取当前元素的标签名.
• size: 获取当前元素的大小.
• screenshot_as_png: 将当前元素截屏并保存为 png 格式的二进制数据.
• screenshot_as_base64: 将当前元素截屏并保存为 base64 编码的字符串.
• rect: 获取一个包含当前元素大小和位置的字典.
• parent: 获取当前元素的父节点.
• location: 当前元素的位置.
• id: 当前元素的 id 值，主要用来 selenium 内部使用，可以用来判断两个元素是否是同一个元素.

Webelement 中的 keys

们经常需要模拟键盘的输入，当输入普通的值时，在send_keys()方法中传入要输入的字符串就好了。

但是我们有时候会用到一些特殊的按键，这时候就需要用到我们的 Keys 类。

    # 要使用按键值, 需要导入下面keys.
    from selenium.webdriver.common.keys import Keys


    elem.send_keys(Keys.CONTROL, 'c')

更多的模拟键

对应的属性

ADD = u’\\ue025’

ALT = u’\\ue00a’

ARROW_DOWN = u’\\ue015’

ARROW_LEFT = u’\\ue012’

ARROW_RIGHT = u’\\ue014’

ARROW_UP = u’\\ue013’

BACKSPACE = u’\\ue003’

BACK_SPACE = u’\\ue003’

CANCEL = u’\\ue001’

CLEAR = u’\\ue005’

COMMAND = u’\\ue03d’

CONTROL = u’\\ue009’

DECIMAL = u’\\ue028’

DELETE = u’\\ue017’

DIVIDE = u’\\ue029’

DOWN = u’\\ue015’

END = u’\\ue010’

ENTER = u’\\ue007’

EQUALS = u’\\ue019’

ESCAPE = u’\\ue00c’

F1 = u’\\ue031’

F2 = u’\\ue032’

F3 = u’\\ue033’

F4 = u’\\ue034’

F5 = u’\\ue035’

F6 = u’\\ue036’

F7 = u’\\ue037’

F8 = u’\\ue038’

F9 = u’\\ue039’

F10 = u’\\ue03a’

F11 = u’\\ue03b’

F12 = u’\\ue03c’

HELP = u’\\ue002’

HOME = u’\\ue011’

INSERT = u’\\ue016’

LEFT = u’\\ue012’

LEFT_ALT = u’\\ue00a’

LEFT_CONTROL = u’\\ue009’

LEFT_SHIFT = u’\\ue008’

META = u’\\ue03d’

MULTIPLY = u’\\ue024’

NULL = u’\\ue000’

NUMPAD0 = u’\\ue01a’

NUMPAD1 = u’\\ue01b’

NUMPAD2 = u’\\ue01c’

NUMPAD3 = u’\\ue01d’

NUMPAD4 = u’\\ue01e’

NUMPAD5 = u’\\ue01f’

NUMPAD6 = u’\\ue020’

NUMPAD7 = u’\\ue021’

NUMPAD8 = u’\\ue022’

NUMPAD9 = u’\\ue023’

PAGE_DOWN = u’\\ue00f’

PAGE_UP = u’\\ue00e’

PAUSE = u’\\ue00b’

RETURN = u’\\ue006’

RIGHT = u’\\ue014’

SEMICOLON = u’\\ue018’

SEPARATOR = u’\\ue026’

SHIFT = u’\\ue008’

SPACE = u’\\ue00d’

SUBTRACT = u’\\ue027’

TAB = u’\\ue004’

UP = u’\\ue013’

Selenium Action-Chains

What is the Action-Chains?

一般来说我们与页面的交互可以使用Webelement的方法来进行点击等操作。但是，有时候我们需要一些更复杂的动作，类似于拖动，双击，长按等等。

这时候就需要用到我们的Action Chains（动作链）了。

from selenium.webdriver import ActionChains
    from selenium import webdriver

    driver = webdriver.Chrome()     # 创建webdriver对象.

    element = driver.find_element_by_name("source")     # 查找单一元素对象.
    target = driver.find_element_by_name("target")      # 同上.

    actions = ActionChains(driver)      # 创建动作链对象.

    # 在element元素上点击抓起，移动到target元素上松开放下。 类似鼠标.
    actions.drag_and_drop(element, target)
    actions.perform()   # 执行动作.

在导入动作链模块以后，需要声明一个动作链对象，在声明时将 webdriver 对象当作参数传入，并将对象赋值给一个 actions 变量。

然后我们通过这个 actions 变量，调用其内部附带的各种动作方法进行操作。

注：在调用各种动作方法后，这些方法并不会马上执行，而是会按你代码的顺序存储在 ActionChains 对象的队列中。当你调用 perform()时，这些动作才会依次开始执行。

常用的 Action-Chains 方法

• click(on_element=None) : 左键单击传入的元素，如果不传入的话，点击鼠标当前位置。
• contextclick(_on_element=None): 右键单击。
• doubleclick(_on_element=None) : 双击。
• click_and_hold(on_element=None): 点击并抓起
• drag_and_drop(source, target) : 在 source 元素上点击抓起，移动到 target 元素上松开放下。
• drag_and_drop_by_offset(source, xoffset, yoffset):在 source 元素上点击抓起，移动到相对于 source 元素偏移 xoffset 和 yoffset 的坐标位置放下。
• sendkeys(*keys_to_send_): 将键发送到当前聚焦的元素。
• send_keys_toelement(_element, *keys_to_send): 将键发送到指定的元素。
• reset_actions(): 清除已经存储的动作。

Selenium Wait

为什么需要等待?

在 selenium 操作浏览器的过程中，每一次请求url，selenium都会等待页面加载完毕以后，才会将操作权限再次交给我们的程序。

但是，由于ajax和各种JS代码的异步加载问题，所以我们在使用selenium的时候常常会遇到操作的元素还没有加载出来，就会引发报错。为了解决这个问题，Selenium提供了几种等待的方法，让我们可以等待元素加载完毕后，再进行操作。

显式等待.

from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC


    driver = webdriver.Chrome()
    driver.get("http://somedomain/url_that_delays_loading")

    try:
        # 创建wait对象.
        element = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.ID, "myDynamicElement"))
        )

    finally:
        driver.quit()

在这个例子中，我们在查找一个元素的时候，不再使用find_element_by_*这样的方式来查找元素，而是使用了WebDriverWait。

try 代码块中的代码的意思是：在抛出元素不存在异常之前，最多等待 10 秒。在这 10 秒中，WebDriverWait会默认每 500ms 运行一次 until 之中的内容，而 until 中的EC.presence_of_element_located则是检查元素是否已经被加载，检查的元素则通过By.ID这样的方式来进行查找。

就是说，在 10 秒内，默认每 0.5 秒检查一次元素是否存在，存在则将元素赋值给 element 这个变量。如果超过 10 秒这个元素仍不存在，则抛出超时异常。

隐式等待.

隐式等待指的是，在webdriver中进行find_element这一类查找操作时，如果找不到元素，则会默认的轮询等待一段时间。

这个值默认是 0，可以通过以下方式进行设置：

from selenium import webdriver

driver = webdriver.Chrome()
driver.implicitly_wait(10) # 单位是秒
driver.get("http://somedomain/url_that_delays_loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")

Expected Conditions 方法

方法解释引用: https://www.cnblogs.com/yuuwee/p/6635652.html

Expected Conditions这个类提供了很多种常见的检查条件可以供我们使用。

• title_is: 判断 title,返回布尔值.
  • WebDriverWait(driver,10).until(EC.title_is(u"百度一下，你就知道"))
• title_contains: 判断 title，返回布尔值.
  • WebDriverWait(driver,10).until(EC.title_contains(u"百度一下"))
• presence_of_element_located: 判断元素对象是否被加载到 dom 树里; 并不代表该元素一定可见, 如果定位到就返回 Webelement.
  • WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,'some')))
• visibility_of_element_located: 判断元素对象是否被加载到 dom 里并且可见, 一般在对象可能会被其他元素对象遮挡的情况下使用.
  • WebDriverWait(driver,10).until(EC.visibility_of_element_located((By.ID,'some')))
• visibility_of: 判断元素是否可见，如果可见就返回这个元素.
  • WebDriverWait(driver,10).until(EC.visibility_of(driver.find_element(by=By.ID,value='some')))
• presence_of_all_elements_located: 判断是否至少有 1 个元素存在 dom 树中，如果定位(找)到就返回列表.
  • WebDriverWait(driver,10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'some')))
• visibility_of_any_elements_located: 判断是否至少有一个元素在页面中可见，如果定位到就返回列表.
  • WebDriverWait(driver,10).until(EC.visibility_of_any_elements_located((By.CSS_SELECTOR,'some')))
• text_to_be_present_in_element: 判断指定的元素中是否包含了预期的字符串，返回布尔值.
  • WebDriverWait(driver,10).until(EC.text_to_be_present_in_element((By.XPATH,"some"),u'设置'))
• text_to_be_present_in_element_value: 判断指定元素的属性值中是否包含了预期的字符串，返回布尔值.
  • WebDriverWait(driver,10).until(EC.text_to_be_present_in_element_value((By.CSS_SELECTOR,'some'),u'百度一下'))
• frame_to_be_available_and_switch_to_it: 判断该 frame 是否可以 switch 进去，如果可以的话，返回 True 并且 switch 进去，否则返回 False.
  • WebDriverWait(driver,10).until(EC.frame_to_be_available_and_switch_to_it(some))
• invisibility_of_element_located: 判断某个元素在是否存在于 dom 或不可见,如果可见返回 False,不可见返回这个元素.
  • WebDriverWait(driver,10).until(EC.invisibility_of_element_located((By.CSS_SELECTOR,'some')))
• element_to_be_clickable: 判断某个元素中是否有可见并且是 enable(可点击)的.
  • WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,"some"))).click()
• staleness_of: 等待某个元素从 dom 树中移除.
  • WebDriverWait(driver,10).until(EC.staleness_of(driver.find_element(By.ID,'some')))
• element_to_be_selected: 判断某个元素是否被选中了,一般用在下拉列表.
  • WebDriverWait(driver,10).until(EC.element_to_be_selected(driver.find_element(By.XPATH,"some")))
• element_located_to_be_selected: 判断元素是否被选中, 传入一个元组对象.
  • 暂没找到例子.
• element_selection_state_to_be: 判断某个元素的选中状态是否符合预期.
  • WebDriverWait(driver,10).until(EC.element_selection_state_to_be(driver.find_element(By.XPATH,"some"),True))
• element_located_selection_state_to_be: 判断某个元素的选中状态是否符合预期.
  • WebDriverWait(driver,10).until(EC.element_located_selection_state_to_be((By.XPATH,"some"),True))
• alert_is_present: 判断页面上是否存在 alert(Js 弹窗),如果有就切换到 alert 并返回 alert 的内容.
  • WebDriverWait(driver,10).until(EC.alert_is_present())

    '''
        示意代码, 不完整.
    '''
    from selenium import webdriver
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.common.by import By


    driver = webdriver.Chrome()

    wait = WebDriverWait(driver, 10)
    # 等待直到元素可以被点击
    element = wait.until(EC.element_to_be_clickable((By.ID, 'someid')))