Pythonでウェブスクレイピング

py -m pip install selenium

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

# WebDriverオブジェクトを取得
with webdriver.Chrome() as browser:
    # ブラウザのサイズや位置などのオプションを指定
    browser.set_window_size(1600,800)
    browser.set_window_position(0,0)
    wait = WebDriverWait(browser, 10)

    # URLへアクセス
    browser.get(r"https://www.google.com/")

    # すぐ閉じないように時間を待つ
    time.sleep(10)

from selenium import webdriver
import pprint

# Chrome用のOptionsクラスを作成
option = webdriver.ChromeOptions()

# standard capabilitiesはアトリビュートで設定できる
option.accept_insecure_certs = True

# extension capabilitiesはset_capacityで設定できる
option.set_capability( "capability", "value" )

# ブラウザの実験的な機能はexperimental_optionで設定できる
option.add_experimental_option( "experimental", "value" )

# ブラウザ実行時の引数も指定できる
option.add_argument( "--headless" )

# 設定されるCapablitiesを出力してみる
capabilities = option.to_capabilities()
pprint.pprint(capabilities)

# Optionsを指定してブラウザを起動
# ただし本サンプルは使えないcapabilitiesを含むため例外が発生する
# with webdriver.Chrome(options=option) as browser:
#     browser.get(r'http://www.yahoo.co.jp/')

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy,ProxyType

# Chrome用のOptionsクラスで設定し、capabilitiesに変換
option = webdriver.ChromeOptions()
option.accept_insecure_certs = True
capabilities = option.to_capabilities()

# capabilitiesにプロキシ設定を追加
proxy = Proxy()
proxy.proxyType = ProxyType.MANUAL
proxy.httpProxy = r"http://192.168.1.10:8080"
proxy.sslProxy  = r"http://192.168.1.10:8080"
proxy.ftpProxy  = r"http://192.168.1.10:8080"
proxy.noProxy   = r"*.yahoo.co.jp;*.google.com;"
proxy.add_to_capabilities(capabilities)

with webdriver.Chrome(desired_capabilities=capabilities) as browser:
    (省略)

from selenium import webdriver

# Chrome用のOptionsクラスで設定し、capabilitiesに変換
option = webdriver.ChromeOptions()
option.add_argument('--proxy-server=http://192.168.1.10:8080/')

with webdriver.Chrome(options=option) as browser:
    (省略)

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

with webdriver.Chrome() as browser:
    wait = WebDriverWait(browser, timeout=10, poll_frequency=1)
    browser.get(r'https://www.google.com/')
    wait.until( SOME_CONDITION )

element = wait.until(Condition.visibility_of_element_located((By.XPATH, r'//*[@id="header"]')))

from selenium import webdriver
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.common.by import By

with webdriver.Chrome() as browser:
    browser.get(r'https://www.google.com/')
    element:WebElement = browser.find_element( By.TAG_NAME, "textarea")

element = wait.until(Condition.visibility_of_element_located((By.XPATH, r'//*[@id="header"]')))

# locatorを渡す
expected_condition.element_to_be_clickable( (By.TAG_NAME, "button") )
# elementを渡す
element = browser.find_element( By.TAG_NAME, "button")
expected_condition.element_to_be_clickable( element )

from selenium.webdriver import ActionChains
( 省略 )
act = ActionChains(browser)
act.click_and_hold().move_by_offset(20,20).release().perform()

result = browser.execute_script("javascript code")

browser.save_screenshot('c:\path\to\file.png')

from selenium import webdriver
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

option = Options()
option.add_argument('--headless')
with webdriver.Chrome(options=option) as browser:
    browser.get(r'https://www.yahoo.co.jp/')

    # ブラウザの大きさをbody要素の大きさに合わせてからスクショ
    element:WebElement = browser.find_element(By.XPATH, r'//body')
    browser.set_window_size(element.size['width'], element.size['height'])
    browser.save_screenshot('test.png')

from selenium import webdriver
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

from PIL import Image

option = Options()
option.add_argument('--hide-scrollbars')
with webdriver.Chrome(options=option) as browser:
    browser.set_window_size(1200,800)
    browser.get(r'https://www.yahoo.co.jp/')
    element:WebElement = browser.find_element(By.XPATH, r'//body')

    # 各種サイズを取得
    # windowsize：ブラウザのサイズ、bodysize：body要素（キャプチャ対象）のサイズ、screensize：スクショのサイズ
    _tmpsize = browser.get_window_size()
    windowsize = (_tmpsize['width'], _tmpsize['height'] )
    bodysize = (element.size['width'], element.size['height'])
    browser.save_screenshot("temp.png")
    with Image.open("temp.png") as img:
        screensize = img.size

    # サイズアクセス用の定数
    X = 0; Y = 1

    # 継ぎ接ぎ用のキャンバス
    canvas = Image.new('RGBA', (screensize[X], bodysize[Y]))

    offset = [0, 0]
    while True:
        # スクロールしてからスクショを取る
        # Seleniumにスクロール機能はないためJavaScriptで実装
        browser.execute_script(f'window.scrollTo({offset})')
        browser.save_screenshot("temp.png")

        # このスクショが最後の一枚かどうかで処理が異なる。
        # ・最後の一枚でないなら単純にキャンバスに張り付け
        # ・最後の一枚の場合は、直前の一枚と重複しているところをカットしてキャンバスに貼り付ける
        if offset[Y] + screensize[Y] < bodysize[Y]:
            with Image.open("temp.png") as img:
                canvas.paste( img, offset.copy() )
        else:
            # 最後の一枚の場合の処理
            # 必要なサイズのtmpcanvasにペーストすることで直前の一枚と重複しているところを取り除く
            tmpcanvas = Image.new('RGBA', (screensize[X], bodysize[Y]-offset[Y]))
            with Image.open("temp.png") as img:
                tmpcanvas.paste( img, ( 0, -(screensize[Y]-tmpcanvas.size[Y]) ) )
            canvas.paste(tmpcanvas, offset.copy())
            break

        offset[Y] = offset[Y] + screensize[Y]

canvas.save("temp.png")

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as Condition
from selenium.webdriver.common.by import By

with webdriver.Chrome() as browser:
    wait = WebDriverWait(browser, 20)
    browser.get(r'https://www.google.com/')

    # 右上のメニューをクリック
    wait.until(Condition.element_to_be_clickable((By.XPATH, r"//a[@aria-label='Google アプリ']"))).click()

    # メニュークリックで開いたアプリの一覧画面(IFrame)にコンテキストをスイッチ
    _ = browser.find_element(By.XPATH, r"//iframe[@name='app']")
    wait.until(Condition.visibility_of(_))
    browser.switch_to.frame(_)

    # IFrameの中でニュースというテキストをもつA要素をクリック
    browser.find_element(By.XPATH, r"//*[contains(text(), 'ニュース')]/ancestor::a").click()

    browser.switch_to.default_content()

    time.sleep(10)

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as Condition
from selenium.webdriver.common.by import By
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.select import Select
from selenium.webdriver import ActionChains