「CSV」カテゴリーアーカイブ
ランダム文字列とリスト入れ子
辞書やCSV、DFなどの基本
辞書を作成 基本 応用 DataFrameを作成 0 0 1 1 2 2 3 3 4 0 1 0 1 5 1 2 6 2 3 7 3 4 8 col_A 0 1 1 2 2 3 3 4 col_A col_B 0 1 5… 続きを読む »
住所データをスクレイピング、JSONへ保存
JSONをCSVに書き出す
ファイルのエンコードを確認する
関数-大きなサイズの場合
ログインHPのスクレイピング
DtypeWaring: Columns (2,12,14) have mixed types.
どんなエラー 例 対策 どう処理すればよいか？
CSVを連結する
CSVファイルを操作する
CSVファイルへの書き込み WindowsでCSVファイルをopenすると
構造化されてないCSVをpandasで読み込む
各行の列数が異なるとエラー 解消方法1 解消方法2 または、skiprows や usecols で読み込む範囲を狭めて（構造化された箇所だけを）読み込むやり方でもよい 過去分・算定からNG行だけを取出し、再作成
csvからCounterで集計する
サンプルCSVデータ
『データサイエンス100本ノック構造化データ加工編ガイドブック』より 1.ローデータ 2.型変換なしver 3.型変換ありver
3桁区切りの数値をintに変換する（読み込み後）
3桁区切りはCSVデータ読み込み時にthousands=’,’ を使ってfloat型に変換することができるが、一部文字列が含まれたりするとうまく変換できないことがある 以下だと読み込みんだ後で、intに変換することができ… 続きを読む »
データをCSVに格納する
ファイルを作成し、書き込む HTMLテーブルを読み込んでCSVで書き出す <手順＞ TABLE構造 editors.csv Webから文字列で取得し、StringIOオブジェクトでラップすればファイルとして扱える … 続きを読む »
to_csvのオプション（クォート設定）
note.nkmk.meより クォートを付けてCSVファイルを書き込む クォート設定を行って書き出す to_csvのクォート設定 定数 説明 csv.QUOTE_MNIMAL 「特別な文字」が含まれる場合のみダブルクォー… 続きを読む »
read_csvのオプション
オプション 使用例 内容 備考 sep or delimiter sep=’\t’ 指定文字で区切って読み込む header header=Noneheader=1 ヘッダー行を指定… 続きを読む »
重たいCSVの先頭だけをチラ見したいとき
read_csv時に日付の列をdatetime型に変換
デフォルト このようなCSVをread_csvで読み込む際、datetime型で読み込みたい（デフォルトだとobject型で読み込まれる） デフォルトで読み込むとobject型となる parse_dates=[] par… 続きを読む »
サイズ大CSVを、chunkサイズで読み込む
手法1 手法2