Logging

目次 loggingとloggerは区別する 親子を区別する 両者の使い分け ①logging.basicConfig()親 ②logging.StreamHandler()子（ロガー利用時） ③logging.File… 続きを読む »

関数のネーミング

目次 getの置き換え 英単語 想像できる意味 load ファイルなどを読み込みする fetch / retrieve 外部（APIなど）からデータを取得する search 何らかの検索処理（IDでの取得ではなく、条件で… 続きを読む »

pyautogui、opencsvのインストール

目次 pyautoguiのインストール 結論 経緯 opencsvのインストール https://self-development.info/pythonで画像認識・画像処理を行なうためにopencvをイン/

ローカル変数とグローバル変数

目次 グローバル変数 グローバル変数とローカル変数 関数内からグローバル変数を書き換える global をつける ローカル変数やグローバル変数を出力する 関数内のローカル変数を出力するlocals()という関数がある 実… 続きを読む »

tqdmプログレスバー

目次 プログレスバー 進捗の見える化 ポイントはループで利用 for文のin直後にtqdmを加える ループ中にprintがあると表示が大変 ctrl + C で停止 desc=で、バーのタイトルがつく（例の場合「test… 続きを読む »

読み書き基本とseek

目次 書き込む 読み込む 読み込む（readline） チャンクで読み込む seekで移動 WIndowsの場合は改行コードが2文字分になるため、複数行の文字列をファイルに書き込む場合は ‘newline=\n’ を追加… 続きを読む »

テンプレート（Template関数）

fromatメソッドやf-stingを使ってもできるが、Template関数を使った方法は、元となる文字列を読み込み専用にできるというメリットがある 変数sに別の文字列を代入してしまうことを防止できるし、ほかの人が作成し… 続きを読む »

groupbyの集約パターン

目次 基本形 df.groupby(グループ分けカラム）.agg({集約カラム: 集約関数}) グループ分けカラム データをグループに分割して、計算する単位になる 集約カラム そのカラムのデータ（値）を使って集約される … 続きを読む »

基本

目次 コメント スプレッドシートOBJ（ss）を取得 シートOBJ（sh）を取得（直接取得） シートOBJ（sh）を取得（ss経由） シートIDの取得 SS名およびsh名の取得 シートのセル範囲を取得 シートの全範囲を取… 続きを読む »

カテゴリー: GAS

構造化されてないCSVをpandasで読み込む

目次 各行の列数が異なるとエラー 解消方法1 解消方法2 または、skiprows や usecols で読み込む範囲を狭めて（構造化された箇所だけを）読み込むやり方でもよい 過去分・算定からNG行だけを取出し、再作成

rank

https://note.nkmk.me/python-pandas-rank/

平均 mean

https://deepage.net/features/pandas-mean.html#nan値を無視しない skipna=True 欠損値を無視して、それ以外で平均値を出す skipna=False 欠損値を無視し… 続きを読む »

ダミー変数 get_dummies（途中）

https://note.nkmk.me/python-pandas-get-dummies/ カテゴリの値ごとに項目をわけて保持し、データが該当する項目に1、それ以外の項目に0を付与するなどして作成した変数を「ダミー変… 続きを読む »

デコレーター

ある関数に、書き足すことなく機能を追加できる（関数の上書き） 本来は関数中に含めないほうがよいものをデコレーターで処理するなど デコレーターに必要なもの（4つ） *args **kwargs 関数内関数　←高階関数ともい… 続きを読む »

Falseとみなされるもの

Noneは特殊な値 NoneはBooleanだとFalseで評価されるが、Falseとは違う意味がある Noneは存在しないを意味する 空の値 ゼロの整数とfloat、空文字列（”）、空リスト（[]）、空タプル（()）… 続きを読む »

cProfile プロファイラー

timeitモジュールは小さなコードの計測に便利だが、関数やプログラム全体の分析はcProfileモジュールがよい cProfileモジュールはPythonのプロファイラー（プロファイリングを行うソフト）であり、プログラ… 続きを読む »

二分探索

線形探索と比べて処理時間が大幅に短くなる（めちゃくちゃ速い） 事前にソートが必要 データが昇順にソートされ並んでいる中から、目的のデータが真ん中より右にあるかを調べる作業を繰り返す。

ipythonマジックコマンド

参考URL 目次 IPythonやJupyterで使えるコマンド 「!」を使ったシステムコマンド 「%」を使ったマジックコマンド例 %quickref : マジックコマンド一覧 %pwd:現フォルダ %cd 移動 % c… 続きを読む »

switchの代わりに辞書を使う

pythonにはswith文がないため、if〜elifを使う場合がある 実は、辞書を使うと楽になる 目次 if~elseを使った場合（よくあるケース） 辞書を使うと… 辞書でgetを使い、辞書になかった場合の… 続きを読む »

自作モジュールへのパスの通し方

パスが通ってないと、こんなエラーが出る。 importする場所の指定がない場合、pythonはあらかじめ「決まったフォルダ」を探しに行く。 環境変数に登録されたPATHがそれにあたる。 そこにも見つからないため、Modu… 続きを読む »

mylibをsys.pathに追加しimportしたい

目次 環境変数pathを確認 pathにmylibを追加する 一時的に登録する これは一時的なものっぽい 削除する場合は「sys.path.remove(~~~~)」 永続的に登録するには環境変数に登録するしかない（下部… 続きを読む »

プロジェクト・ディレクトリ構成

プロジェクト構成（ゼロから学ぶPythonより） 【図で解説】Python アプリケーション推奨のフォルダ構成（ディレクトリ構成） 【図で解説】Pythonで自作モジュール（or パッケージ）をimportするために知っ… 続きを読む »

ヘルプ関数 help()、dir()は未

目次 help(引数) 組み込み関数以外は、事前にimportが必要 help() （引数なし） ヘルプユーティリティが起動する 調べたいことを入力すると、 mathのヘルプが表示される manコマンド 基本的な画面操作… 続きを読む »

timeit

目次 pythonファイルで計測 timeit.timeit()にlambda式を使う jupyterで計測する場合はコレ デフォルト値 ループ数（n）を変える 繰り返し数（r）を変える timeの方がわかりやすい？

作業フォルダを作る

同名フォルダがない場合、指定フォルダを作成する 同名フォルダがあった場合、2回警告し、上書きされる（元のデータは消える）

コピー（上書きMSGあり）

目次 copy2 コピー元：ファイル コピー先：ファイル または フォルダ（内） デフォルトで上書きされる（警告なし） copy2はパーミッションとメタデータ（作成者、作成日、更新日など）もコピーされる copytree… 続きを読む »

サンプルCSVデータ

目次 『データサイエンス100本ノック構造化データ加工編ガイドブック』より 1.ローデータ 2.型変換なしver 3.型変換ありver

辞書の基本

目次 辞書を使う その前にリストとは リストは複数の要素を順番に管理でき、簡単に取り出せる デメリット：要素の内容と順番を覚えておかなければならない 辞書であれば情報を「見出しキー」と「値」で管理できる つくる リストか… 続きを読む »

改・結合の仕方

目次 concatとmergeの違い 項目 pd.concat pd.merge 用途 縦横に結合したい場合※単純に縦または横に結合するだけ 共通のデータ列で結合したい場合 結合するobjs指定 [df1, df2]（戻… 続きを読む »

request.get()でWebテキストをDLする

目次 ダウンロードする このWebページのリクエストが成功したかどうかは、Responseオブジェクトのstatus_code属性を調べればわかる request.code.ok = HTTPプロトコルの「200」（No… 続きを読む »

カテゴリー: 未分類

SSLとは

暗号化されていない通信は盗み取ることが可能 SSLはそれを防ぐため、ブラウザ（ユーザーPC）とサーバー間で「通信の暗号化」を行う 実は「SSL」は古い規格の名称（2014年に脆弱性が発見され翌年には使用禁止） 現在はより… 続きを読む »

GETとPOST

参考HP 目次 APIとは Aplication Programming Interface アプリの機能を外部から呼び出すための約束ごと あるアプリがAPIとして外部に公開されているのであれば、APIを通じて我々はその… 続きを読む »

pathlibでテキスト操作

pathlib.Pathオブジェクトはテキスト操作でもとても便利 自動でファイルをclose()してくれるのでwith文が不要 ファイルオブジェクトのように、読み込み・書き込み用と別々に作成する必要がない 1行ずつ読み込… 続きを読む »

print()メソッド

ファイルの書き込みは通常write()を使ってきた 実はprint()関数を使った書き込みも便利 ファイルオブジェクトに書き込むときは、file引数に指定する 改行文字（\n）は自動的に出力される write()は数値な… 続きを読む »

pyperclip

クリップボードにコピー、ペースト pyautoguiでは日本語が使えないため、これを利用する

メモリ節約

目次 メモリの情報や型を確認する メモリを開放する ①使わないデータは読み込まない ②使い終わったらメモリを開放する Pythonはそもそもメモリ管理されているため、不要という記事もある？ ③ライブラリを利用する（myl… 続きを読む »

tabula

optionとして、以下がある

カテゴリー: Tool

内包表記

リスト内包表記の記法 [ 式 for 変数 in シーケンス ] ループより内包表記が便利 前後を入れ替えることで並びが変わる