スクレイピング・1

投稿者: | 2022-03-13

目次

メニューを取得

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

html = urlopen('https://miwadaice.info')
bs = BeautifulSoup(html, 'html.parser')

for s in bs.find_all('ul', class_="nav-menu"):
    print(s.get_text())

# 投稿一覧
# python
# Pythonではじめる機会学習
# pandas
# pandas cookbook
# Matplotlib〜

投稿データを書き込む(CSV)

import csv
with open('site_test.csv', 'w+') as f:
    writer = csv.writer(f)
    writer.writerow(('title', 'url'))
    for i in bs.find_all('a', rel="bookmark"):
        writer.writerow((i.get_text(), i.get('href')))