投稿者「WP_MIWA_KY」のアーカイブ

仮想環境

前提 参考URL 仮想環境の作成 注意点：作成された仮想環境のディレクトリは隠しファイル（.ディレクトリ名）になっている 手順概要 macOS Windows 仮想環境の切り替え mac Windows コマンドプロンプ… 続きを読む »

east_asian_width()

len()は文字列の長さを返すため、全角も半角も同じ1文字でカウントする 文字列の幅を求める基準としては使えない east_asian_width()の戻り値 戻り値 説明 F Fullwidht：全角文字 H Half… 続きを読む »

テキスト（文字列）操作

行に分割する スペース文字で分割する 生徒と点数の間はスペースがある カンマで分割する 計算する 文字列を数値に変換する必要がある printでカンマなどで連結して使った場合、変なスペースが入る（※箇所） フォーマット済… 続きを読む »

データをCSVに格納する

ファイルを作成し、書き込む HTMLテーブルを読み込んでCSVで書き出す <手順＞ TABLE構造 editors.csv Webから文字列で取得し、StringIOオブジェクトでラップすればファイルとして扱える … 続きを読む »

データの揺れ

Python実践データ分析100本ノック第2章より 商品名の揺れ 現状のユニークアイテム一覧 半角全角スペース、大文字小文字の混在を解消する 金額欠損値の補完 今回の流れ 欠損値の場所を特定 その商品名を取得（ユニークで… 続きを読む »

三項演算子でif文を1行で書く

参考HP：note.nkmk.me 通常のif文 三項演算子を使ったif文 ①条件によって、値を切り替える場合 ②条件によって、処理を切り替える場合 ③値を返さない式（Noneを返す式）でもよい ④複数の条件式を論理演算… 続きを読む »

二分探索

検索するリストは昇順で並び替えておく 線形探索に比べ、激速い

Regex末尾のカンマを取り除く

末尾のカンマを取り除く 列数が異なるCSVをPandasで取得。その後、末尾のカンマを取り除く正規表現 列数が異なるCSVをpandasで呼び込む際、列名を作って強制的に読み込むと 最大列数に不足する行にはカンマが付与さ… 続きを読む »

Python環境構築・PATHを通す

Windwos版 PATHの通し方 PATHを通してないと 以下のエラーが発生する 「’Python’は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチファイルとして認識されていません」 PATHを通す… 続きを読む »

Seleniumを終了する

終了と閉じる 終了 こちらが大事 quiteではない 閉じる アクティブな現在のタブを閉じる プロセス終了のため最終的にはquit()する必要がある 順番的には、close()→quit() プロセスが終了されたか確認す… 続きを読む »

Selenium準備編

Seleniumに必要なもの 動作確認 WebDriverの起動許可（Mac） ブラウザの操作テスト

pyAutoGui 基本

基本 マウス操作 マウスの移動（絶対座標） メソッド 説明 pag.easeInQuad 開始は遅く、終了は早く pag.easeOutQuad 開始は早く、終了遅く pag.easeInOutQuad 開始と終了は早く… 続きを読む »

クロス集計 crosstab

pd.crosstab(df[‘-‘],df[‘-‘],) カテゴリデータ（カテゴリカルデータ、質的データ）のカテゴリごとのサンプル数（出現回数・頻度）の算出などが可能。 … 続きを読む »

2つのDataFrameを比較する

2つのDFを比較するには「この」の方法がベスト ただし、2つのDFの列名はあわせておく必要あり 比較する列を切り出しておくとよい 理由：他列に余計なNaNや文字列が含まれていると比較できないため あくまで比較したい列だけ… 続きを読む »

メモリ使用量の削減

正確なメモリ使用量を表示させる object型が含まれる場合、メモリ使用量は正確に表示されない df.info()またはdf.memory_usage()にオプションを付与すれば表示可能 df.info(memory_u… 続きを読む »

日付の加工

サンプル作成 DatetimeIndexに変換 年、月を追加 年度を追加

pandas 条件抽出

query サンプルCSV 主な条件抽出の記法 上：Booleanインデックス法（Boolean選択法） 下：クエリー 欠損値NaNがある場合の注意点 NoneやNanがある列に対して文字列メソッドを適用して条件とすると… 続きを読む »

pandas スタイル・フォーマット

メモ： TODO: Seriesに対して桁区切りとかはできるのか？ # %の列を追加 df[‘件数_%’] = df[‘顧客コード’] / df[‘顧客コード’].sum() # 列名を変更 df.rename(colu… 続きを読む »

カテゴリー: 未分類

duplicated、drop_duplicates（重複）

重複行をすべて確認したい場合 duplicatedはデフォルトでは、最初の値「以外」を重複（True）として扱う 重複した行をすべてを表示させたい場合は、keep=False（カンマ不要）をセットする sort_valu… 続きを読む »

pandasの「型」

型を確認する（df.dtypes） 型を変換する 読み込み時（dtype） 一括変換 列ごとに変換 読み込み後（astype） 注意：元のDataFrameは変更されない 一括変換 列ごとに変換 インデックスの型を変換し… 続きを読む »

データ概要確認

基本 df.isnull().any() は、DF全体で欠損値があるかないか（Boolean） 型を確認 特定の型の列名を表示 各列に含まれるユニークな要素の数 ある列の要素ごとの件数

乱数発生

cumsum()を利用すると折線などのグラフデータが作成しやすい 一様乱数 乱数（標準正規分布） 乱数（整数） 一次元の複数個のndarrayは工夫が必要（？） 同じ乱数を使いたい（seed）

unique

Series.unique() Series.value_counts() pandas.Series.nunique()pandas.DataFrame.nunique() pandas.Series.nunique(… 続きを読む »

merge と join

・2つのDataFrameの連結において ・merge()とjoin()なら、汎用的なmerge()を使ったほうが良い ・merge()は、pd.merge()のほうが使いやすそう（df.merge()より） ・キーに列… 続きを読む »

サンプルDataFrameを作成

DataFrameをつくる ここがわかりやすい：【Python】pandasのデータフレームを作成する方法6つ 関連記事：サンプルDF作成・出力、フォルダ内のpklファイルを全結合 df = pd.DataFrame(*… 続きを読む »