import time
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager # ドライバのインストール（https://www.selenium.dev/ja/documentation/webdriver/getting_started/install_drivers/）
from selenium.webdriver.chrome.service import Service as ChromeService # Serviceクラスはドライバーの起動と停止を管理
from selenium.webdriver.chrome.options import Options # オプション（https://www.selenium.dev/ja/documentation/webdriver/drivers/options/）
from selenium.webdriver.common.by import By # セレクタ－選択用
from selenium.webdriver.support.ui import WebDriverWait # 明示的な待機用
from selenium.webdriver.support.select import Select # selectタグ選択用
from selenium.webdriver.common.keys import Keys # キー操作だがよく理解してない

# オプション追加
options = Options()
options.add_argument('--start-maximized') # 画面最大化
options.page_load_strategy = 'normal' # デフォルト。きちんと読み込まれるまで待つ

# ドライバの自動インストール（自動）
service = ChromeService(executable_path=ChromeDriverManager().install())
# ドライバの自動インストール（手動）
service = ChromeService(executable_path=r"C:\Users\~~~\chromedriver")

# https://www.selenium.dev/documentation/webdriver/getting_started/first_script/

# ＜セッションを開始＞
driver = webdriver.Chrome(service=service, options=options)

# ＜Webページを読み込む＞
driver.get('https://www.yahoo.co.jp/')

# ＜ブラウザ情報を取得する＞
# https://www.selenium.dev/documentation/webdriver/getting_started/first_script/

# ＜待機戦略＞

# 明示的な待機
WebDriverWait(driver, timeout=10).until(document_initialised)
el = driver.find_element(By.TAG_NAME, "p")

# 暗黙的な待機（暗黙にその時間待ち続ける）（明示的な待機と併用しない）
driver.implicitly_wait(0.5)

# ＜要素を見つける＞

# ＜要素にアクションを実行＞

# ＜要素情報をリクエスト＞

time.sleep(2)

# ＜セッションを終了する
driver.quit()

from selenium import webdriver
import time

# Chromeドライバに環境変数が通っていない場合は引数で指定
driver_path = "/Users/***/chromedriver"
driver = webdriver.Chrome(driver_path)

# urlを開く
driver.get("https://www.google.co.jp")
time.sleep(3)

driver.quit()

#ヘッドレスの場合
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

chrome_options = Options()
chrome_options.add_argument("--headless")

driver_path = "/Users/mbp441/Desktop/github/PYTHON/chromedriver"
driver = webdriver.Chrome(executable_path = driver_path, options=chrome_options)
driver.get("http://〜〜〜〜")
time.sleep(3)
driver.quit()
driver.close()

# Chrome Optionsの設定
options = Options()
options.add_argument('--headless')                 # headlessモードを使用する
options.add_argument('--disable-gpu')              # headlessモードで暫定的に必要なフラグ(そうち不要になる)
options.add_argument('--disable-extensions')       # すべての拡張機能を無効にする。ユーザースクリプトも無効にする
options.add_argument('--proxy-server="direct://"') # Proxy経由ではなく直接接続する
options.add_argument('--proxy-bypass-list=*')      # すべてのホスト名
options.add_argument('--start-maximized')          # 起動時にウィンドウを最大化する

Get-Process chromedriver
Stop-Process -Name chromedriver

# chromedriverの残っているプロセスを確認
ps aux | grep chromedriver
...
# プロセスIDを指定して終了させてもよいが、プロセス名で一括終了が楽
killall chromedriver
# プロセスは死んだが、画面はのこる（CPUが唸ったまま→落としたら収まる）
# →違う。driver.close()が"できてない"ため。

<a href="https://aaa.com/">テスト</a>

h1 {color: red;}

h1 {
    color: red;
    background-color: yellow;
}

ul,
ol {
    font-size: 1.2em;
    font-weight: normal;
}

  <!-- html -->
  <p id='aaa'>テスト</b>

  <!-- css -->
  #aaa {font-size: 24px;}

  <!-- html -->
  <p class='bbb'>テスト1</p>
  <div class='bbb'>テスト2</p>

  <!-- css -->
  .bbb {font-size: 24px;}

  <p>
  私は、<span style="color: green">緑色</span>と<span style="color: red">赤色</span>の組み合わせが好きです。
  </p>

  driver.find_element(By.ID, '#root').find_element(By.LINK_TEXT, "次へ").click()

<!-- プルダウンHTML -->
<select name="num">
<option value="">プルダウン選択</option>
<option value="1">1</option>
<option value="2">2</option>
</select>

# 手順
# 1.Selectをimport
# 2.プルダウン要素からSelectインスタンスを取得
# 3.select_by_value等のメソッドで操作

from selenium.webdriver.support.ui import Select

element = driver.find_element(By.NAME, "num")
select_num = Select(element)

# 複数選択も可
select_num.select_by_value('1')
select_num.select_by_value('2')

# select_by_index、select_by_visible_textもある（？）

# XPathだと項目の要素を直接指定し選択が可能＋選択されているかの（事前）判定もできる
element = driver.find_element(By.XPATH, "html/body/form/select/option[2]")
element.click()

print(element.is_selected())

<!-- HTML -->
<input type=radio name="hotice" value="hot">ホット
<input type=radio name="hotice" value="ice">アイス

# Xpath
element = driver.find_element(By.XPATH, "/html/body/form/input[1]")
element.click()

# cssセレクタ
element = driver.find_element(By.CSS_SELECTOR, "input[type=radio][value='hot']")
element.click()
# 判定（選択されていればTrue）
print(element.is_selected())

<!-- HTML -->
<input type=checkbox name="included" value="sugar">砂糖
<input type=checkbox name="included" value="milk">ミルク

chk_sugar = driver.find_element(By.CSS_SELECTOR, "input[name='included'][value='sugar']")
chk_sugar.click()

# 複数を選択する場合は、同じ書き方で複数記載すればよいが、elements_by〜を使用すると簡単
elements = driver.find_elements(By.CSS_SELECTOR, "input[name='included']")
elements[0].click()
elements[1].click()

  if len(driver.find_elements_by_id('test') > 0) :
      # driver.find_elements_by_id('test'):でもいけるはず
      element = driver.find_element_by_id('test')
      # 存在する時の処理
  else:
      # 存在しない時の処理

from selenium import webdriver
import time
url = "http://www.aaa.co.jp/"
driver = webdriver.Chrome(〜〜〜)
driver.get(url)

# 画面キャプチャ（ファイル名のみの場合はカレントに保存される）
driver.save_screenshot("screenshot.png")
save_screenshot

time.sleep(3)
driver.quit()

# 縦に長いページを取得-------------------------------------------------------
# 1.headlessモードにする
# 2.ウィンドウサイズをブラウザ表示域にする

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

# headlessモードにする
options = Options()
options.add_argument('--headless')

url = "https://www.yahoo.co.jp"

drive_path = "/Users/mbp441/Desktop/github/PYTHON/chromedriver"

driver = webdriver.Chrome(drive_path, options=options)

driver.get(url)

# ウィンドウサイズをブラウザ表示域にする
w = driver.execute_script("return document.body.scrollWidth;")
h = driver.execute_script("return document.body.scrollHeight;")
driver.set_window_size(w,h)

driver.save_screenshot("/Users/mbp441/Desktop/screenshot_full.png")

time.sleep(3)
print("終了")
driver.quit()

# Chrome Driverを起動する
driver = webdriver.Chrome(executable_path=driver_path, chrome_options=options)

# 要素が見つかるまで、最大10秒間待機する
driver.implicitly_wait(10)

from selenium import webdriver
from selenium.webdriver.comon.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.ChromeDriver(〜)
drive.get("http://www.aaa.co.jp/)

# 指定された条件に合致する要素が見つかるまで最大10秒待機
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

<div id='outer'>
    <div id='inner'>テスト</div>
</div>

<!-- id「root」の要素の子孫要素からさらにリンクテキストが「次へ」のa要素を検索しクリック -->
driver.find_element_by_id('#root').find_element_by_xpath(".//a[text()='次へ']").click()