「pandas」カテゴリーアーカイブ

プログレスバー 進捗の見える化 ポイントはループで利用 for文のin直後にtqdmを加える ループ中にprintがあると表示が大変 ctrl + C で停止 desc=で、バーのタイトルがつく（例の場合「test」） … 続きを読む »

基本形 df.groupby(グループ分けカラム）.agg({集約カラム: 集約関数}) グループ分けカラム データをグループに分割して、計算する単位になる 集約カラム そのカラムのデータ（値）を使って集約される 集約関… 続きを読む »

これはなんだ？Seriesの列名を変更？ dfの列名を変更

https://note.nkmk.me/python-pandas-rank/

https://deepage.net/features/pandas-mean.html#nan値を無視しない skipna=True 欠損値を無視して、それ以外で平均値を出す skipna=False 欠損値を無視し… 続きを読む »

https://note.nkmk.me/python-pandas-get-dummies/ カテゴリの値ごとに項目をわけて保持し、データが該当する項目に1、それ以外の項目に0を付与するなどして作成した変数を「ダミー変… 続きを読む »

df.empty Series/DataFrameが完全に空の場合はTrueを返す NaNが含まれていると空とはみなさない 空 → True 空でない → False https://pandas.pydata.org/… 続きを読む »

https://teratail.com/questions/6awlnff8pa23e7 メイン テストデータ作成用

列「Country」の[note 9]を除外したい場合

＜変更前df＞ ＜変更後df＞

列Nameが「name_A」の場合、その隣の列Valueの値を取得する（これがベストかは不明） 関数にするなら

参考HP：https://linus-mk.hatenablog.com/entry/2019/02/02/200000 SettingWithCopyWarning は警告であり、エラーではない。ただし、その処理が自分… 続きを読む »

concatとmergeの違い 項目 pd.concat pd.merge 用途 縦横に結合したい場合※単純に縦または横に結合するだけ 共通のデータ列で結合したい場合 結合するobjs指定 [df1, df2]（戻り値：… 続きを読む »

参考URL：https://note.nkmk.me/python-pandas-shift/ 時系列でない場合 shift() を利用する ずらした場合、そこにはNaNが入るため、列はfloat型に変換される ずらした… 続きを読む »

Python実践データ分析100本ノック第2章より 商品名の揺れ 現状のユニークアイテム一覧 半角全角スペース、大文字小文字の混在を解消する 金額欠損値の補完 今回の流れ 欠損値の場所を特定 その商品名を取得（ユニークで… 続きを読む »

Sファイルの個人情報を削除する

pd.crosstab(df[‘-‘],df[‘-‘],) カテゴリデータ（カテゴリカルデータ、質的データ）のカテゴリごとのサンプル数（出現回数・頻度）の算出などが可能。 … 続きを読む »

参考HP pd.isin()、todict()、all()を利用すれば出力可能 df1.isin(df2)としてしまうと、同じ行列であれば突合可能（＝compare） しかし、2つのDFの行数や列数（行名、列名）が違うと… 続きを読む »

型が混在するケース 混在なしの場合（列:int） 文字列（文字列の空白含む）が混在（列:int） NaNが混在する場合（列:int） NaNが混在する場合（列:str） 列を全て int に変換 pd.to_numeri… 続きを読む »

2つのDFを比較するには「この」の方法がベスト ただし、2つのDFの列名はあわせておく必要あり 比較する列を切り出しておくとよい 理由：他列に余計なNaNや文字列が含まれていると比較できないため あくまで比較したい列だけ… 続きを読む »

スライスのコピー 参考HP：https://note.nkmk.me/python-pandas-setting-with-copy-warning/https://note.nkmk.me/python-pandas-… 続きを読む »

正確なメモリ使用量を表示させる object型が含まれる場合、メモリ使用量は正確に表示されない df.info()またはdf.memory_usage()にオプションを付与すれば表示可能 df.info(memory_u… 続きを読む »

サンプル作成 DatetimeIndexに変換 年、月を追加 年度を追加

Styler.format(　formatter=None,　subset=None,　na_rep=None,　precision=None,　decimal=’.’,　thousands=No… 続きを読む »

query サンプルCSV 主な条件抽出の記法 上：Booleanインデックス法（Boolean選択法） 下：クエリー 欠損値NaNがある場合の注意点 NoneやNanがある列に対して文字列メソッドを適用して条件とすると… 続きを読む »

DataFrameの作り方６種（理解してないとだめ） 参考HP：https://www.self-study-blog.com/dokugaku/python-pandas-dataframe-make/ サンプルデータ… 続きを読む »

行を削除(行名で指定) 行を削除(行番で指定) 列を削除(列名で指定) 列を削除(列番で指定) 行と列を同時に削除

重複行をすべて確認したい場合 duplicatedはデフォルトでは、最初の値「以外」を重複（True）として扱う 重複した行をすべてを表示させたい場合は、keep=False（カンマ不要）をセットする sort_valu… 続きを読む »

型を確認する（df.dtypes） 型を変換する 読み込み時（dtype） 一括変換 列ごとに変換 読み込み後（astype） 注意：元のDataFrameは変更されない 一括変換 列ごとに変換 インデックスの型を変換し… 続きを読む »

基本 df.isnull().any() は、DF全体で欠損値があるかないか（Boolean） 型を確認 特定の型の列名を表示 各列に含まれるユニークな要素の数 ある列の要素ごとの件数

サンプルDFを作成後、pklで出力する フォルダ内のpklファイルを全結合（concat） 一部エリアの売上を集計

Series.unique() Series.value_counts() pandas.Series.nunique()pandas.DataFrame.nunique() pandas.Series.nunique(… 続きを読む »

・2つのDataFrameの連結において ・merge()とjoin()なら、汎用的なmerge()を使ったほうが良い ・merge()は、pd.merge()のほうが使いやすそう（df.merge()より） ・キーに列… 続きを読む »

DataFrameをつくる ここがわかりやすい：【Python】pandasのデータフレームを作成する方法6つ 関連記事：サンプルDF作成・出力、フォルダ内のpklファイルを全結合 df = pd.DataFrame(*… 続きを読む »