Pythonまとめ（２．標準ライブラリその1）

基本用語とインポート

モジュール、パッケージ、ライブラリ

インポート

Python本体が持たない機能は、自分で実装するか、その機能が実装されたライブラリを使用する。ライブラリはimport文を使用してインポートして使う。このimport文はライブラリを探し、発見したライブラリをPythonファイル内で参照可能な名前に紐付ける。インポートされたライブラリはmoduleクラスなどのオブジェクトになり、moduleオブジェクトを介してライブラリの中のクラスや関数を使用できる。

以下にloggingライブラリをインポートする例を示す。

>>> import logging
>>> type( logging )
<class 'module'>
>>> type(logging.Logger)
<class 'type'>
>>> type(logging.getLevelName)
<class 'function'>

一部機能だけをインポート

from module import ...でライブラリの中の特定のクラスや関数だけをインポートできる。一部の機能だけ必要な場合やモジュール名を省略したい場合などに使われる。

>>> import logging            # loggingをそのままインポート
>>> logging.getLevelName(10)  # そのモジュールの関数を使うときはモジュール名.関数名
>>> 
>>> from logging import getLevelName # loggingの中のgetLevelNameだけをimport
>>> getLevelName(10)                 # 関数名だけでOK

名前を指定してインポート

import文で紐付ける名前はasで指定できる。名前の重複回避や長い名前の省略したい場合などに使われる。

>>> import logging as l
>>> type( l )
<class 'module'>
>>> from logging import Logger as L
>>> type( L )
<class 'type'>

__init__.py

import loggingとした場合、Pythonはlogging/__init__.pyやlogging.pyを探す。__init__.pyも通常通り関数やクラスを定義できるほか、インポート時の挙動を指定できる。たとえば__init__.py以外にもモジュールがある場合、__init__.pyがそれらのモジュールをインポートしており意識せず利用できる場合もあれば、利用者が明示的にインポートしなければならない場合もある。

たとえば、loggingライブラリではlogging/__init__.py以外にlogging/handlers.pyもある。__init__.pyはhandlers.pyをインポートしていないため、handlers.pyの内容を使うには明示的にインポートしなければならない。

>>> from logging import *
>>> type( BaseRotatingHandler )
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'BaseRotatingHandler' is not defined
>>> from logging.handlers import *       # モジュール名まで指定してインポートすれば使える
>>> type( BaseRotatingHandler )
<class 'type'>

インポートパス

import文がPythonが探索するパスはsys.pathで確認できる。以下は見やすいように出力を加工している。

>>> import sys
>>> sys.path
""
"C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\python311.zip"
"C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\DLLs"
"C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\Lib"
"C:\Users\xxxxx\AppData\Local\Programs\Python\Python311"
"C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\Lib\site-packages"

一番上の""はカレントディレクトリを意味している。この並び順に探索されるため、他のライブラリと同名のモジュールがカレントディレクトリにあるとカレントディレクトリが優先される。

相対インポート

現在のディテクトリを基準とした相対パスでもインポートできる。これは自作モジュールのインポートや同じプロジェクト内の他のモジュールのインポートなどで役に立つ。逆にそれ以外の目的では使わないほうが良い。

相対インポートは

インポートするパスの追加

相対インポートには参照できる範囲に制限がある。

PS C:\Users\xxxxx> py
Python 3.11.4
>>> from .. import Test
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: attempted relative import with no known parent package

これはカレントディレクトリの1つ上のディレクトリからTestライブラリをインポートしようとしたときのエラーである。このような場合は相対パスでのインポートではなく、インポートしたいライブラリがあるパスを追加するべきである。

インポートするパスを追加する方法として３つ挙げる。

sys.pathに直接追加する方法

sys.pathに直接パスを追加できる。この方法はファイル単位でインポートするパスを設定できる一方で、将来的にパスが失われたときに、ファイルを修正しなければならない危険性をはらんでいる。しかしテスト用途など一度だけ使えれば良い場合などであればこれでも十分である。

>>> import sys
>>> sys.path.append(r"C:\Users")

環境変数に追加する方法

環境変数PYTHONPATHにパスを追加できる。この方法はすべてのPythonファイルに適用される。以下はC:\をPYTHONPATHに追加した場合のサンプルである。Windows環境ではカレントディレクトリについで高い優先順位となった。

PS C:\Users\xxxxx> py
Python 3.11.4
>>> import sys
>>> sys.path
['', 'C:\\', ...

site-packagesに追加する方法

sys.pathにsite-packagesという名前のディレクトリが含まれている。このディレクトリは外部ライブラリのインストールなどに使われるディレクトリである。

"C:\Users\xxxxx\AppData\Local\Programs\Python\Python311\Lib\site-packages"

ここに追加するパスを書いたテキストファイル（拡張子PTH）を置くことで、パスを追加できる。この方法も環境変数と同じくすべてのPythonファイルに適用されるが、Pythonのバージョンごとに設定を変えられる（逆に言うとバージョンごとに設定が必要）という点で違いがある。

PTHファイルの中身は以下のようにパスを1行ずつ書いたものである。

D:\files\Python

入出力（IO）

ioモジュールは入出力に関する基本的な機能を提供する。I/Oに関するクラスは抽象基底クラス（ABC）があり、それを実装したクラスを使う形となる。IOBaseが一番の大本にあり、用途に応じたRawIOBase（バッファなし）、BufferedIOBase（バイナリI/O）、TextIOBase（テキストI/O）があり、通常はバイナリI/OかテキストI/Oを使う。

以下のコードで実際に各クラスを生成できる。openはファイルを開く関数であり後述する。

import io

# 実行するコード
codes = [ r'open("log.ini", mode="r")', r'open("log.ini", mode="rb")', r'open("log.ini", mode="rb", buffering=0)' ]

for code in codes:
    print( code )
    f = eval( code )

    print ( f"{isinstance( f, io.IOBase)         = }" )
    print ( f"{isinstance( f, io.RawIOBase)      = }" )
    print ( f"{isinstance( f, io.BufferedIOBase) = }" )
    print ( f"{isinstance( f, io.TextIOBase)     = }" )

    f.close()

open("log.ini", mode="r")
isinstance( f, io.IOBase)         = True
isinstance( f, io.RawIOBase)      = False
isinstance( f, io.BufferedIOBase) = False
isinstance( f, io.TextIOBase)     = True
open("log.ini", mode="rb")
isinstance( f, io.IOBase)         = True
isinstance( f, io.RawIOBase)      = False
isinstance( f, io.BufferedIOBase) = True
isinstance( f, io.TextIOBase)     = False
open("log.ini", mode="rb", buffering=0)
isinstance( f, io.IOBase)         = True
isinstance( f, io.RawIOBase)      = True
isinstance( f, io.BufferedIOBase) = False
isinstance( f, io.TextIOBase)     = False

これは抽象クラスであるため、実体は別のクラスがある。たとえば

f = open("log.ini", mode="r")
print( f )
f.close()

<_io.TextIOWrapper name='log.ini' mode='r' encoding='cp932'>

となる。ただ多くの場合はTextIOWrapperクラスであることを考慮する必要はなく、基底抽象クラスが定義しているreadlineなどを使うことになる。

主要メソッド

実装クラス

ファイルの読み書き

ファイルオープン

ファイルを開くには組み込み関数openを使う。openメソッドが返すIOBaseはコンテキストマネージャであるため、withで使用できる。withについてはその他の文-withを参照。

# 基本はこれ
open( filename, mode='r', encoding=None )
# たまにerrorsやnewlineを使用
open( filename, mode='r', encoding=None, errors=None, newline=None )

モード

モードはテキスト/バイナリや読み込み専用などを指定する文字列。

'r+'などのように+を付与したものは更新用という意味でWriteもReadもできる。現在のファイル内容の扱いやオープン時のカーソル位置などが微妙に異なる。

更新モードで読み込み・書き込みを交互にするケースでは、バッファが原因で意図しないファイル内容になることがある。読み込み後に書き込むときはseekメソッドを、書込み後に読み込むときはflushメソッドを呼び出すことで防ぐことができる。

他にテキスト用に開くかバイナリ用に開くかのモードも指定できる。バイナリモードて読み込みなら'rb'となる。デフォルトでテキストモードのため'r'は'rt'と等しい。

エンコーディング

文字をバイト列に変換する方法（文字コード、符号化方法）を指定する。日本で使われる主なエンコードを示す。なお_を-に置き換えたものも有効なエイリアスである。

他のエンコーディングは公式ドキュメントに記載がある。

エラー処理

errorsでエンコードエラー時の処理を指定できる。

改行処理

newlineで改行文字をどう変換するか指定できる。CSVなどの一部ファイルではそのモジュールが改行処理を行うためIOモジュール側では何もしないように''を指定したりする。

以下に\r、\n、\r\nを含むファイルを各設定で読み込んだ結果を示す。

line1\nline2\rline3\r\nline4

ファイル・ディレクトリの操作

パス関連の操作

パスはOSに依存するものでosライブラリの一部機能として提供される。主にos.pathが該当する。また、Python3.4から標準ライブラリとなったpathlibはos.pathよりも高レベルのパス関連の機能を提供している。os.pathはパスを表す文字列を使用して操作を行うのに対し、pathlibではパスを表すPathオブジェクトで扱う。

また、Python3.6からosライブラリにos.PassLikeという抽象基底クラス（ABC）が作成され、pathlibのPathがそれを実装するようになった。あわせて標準ライブラリのパスを指定する場所の一部？ではPathLikeを受け取れるようになった。すなわち、pathlibのPathオブジェクトをそのまま標準ライブラリに渡せるようになった。そのため、特に理由がなければpathlibを使ったほうが良いと個人的には感じる。

基本操作

パスの検査

対象の属性情報を取得

時刻はUNIX時間のため、datetimeに変換すると良い。

>>> import datetime
>>> import os
>>> 
>>> datetime.datetime.fromtimestamp( os.path.getmtime( r"D:\desktop" ) )
datetime.datetime(2023, 6, 10, 1, 48, 28, 934865)

ディレクトリアクセス

glob

なお、ファイル・ディレクトリの一覧を取得する別の方法にglobモジュールがある。globはパターンにマッチするファイル・ディレクトリを取得できるものである。Pathlibにもglobモジュールと同等の機能が実装されている。

ディレクトリ・ファイルの操作

コピー・移動・削除などの操作の一部はpathlibでは提供されていない。そのような場合はosライブラリやshutilライブラリを使う。

コピー

移動

削除

Pythondocによる、Windowsにおけるrmtreeのサンプルは以下の通りになっている。これはReadonlyフラグを削除した後にリトライを試みる実装である。

#　引用元：https://docs.python.org/3/library/shutil.html?highlight=shutil#rmtree-example

import os, stat
import shutil

def remove_readonly(func, path, _):
    "Clear the readonly bit and reattempt the removal"
    os.chmod(path, stat.S_IWRITE)
    func(path)

shutil.rmtree(directory, onerror=remove_readonly)

INIファイル

標準ライブラリのconfigparserでINIファイル形式の設定を読み込める。INIファイルは以下のような[]で囲まれたセクションがあり、キーバリュー型で設定値が書かれているファイルである。

[LOG]
MODE=debug
FILE=log.txt

[HOME]
USER=abc
DIRECTORY=/home/abc

INI形式の設定を読み込む

readメソッドで指定のパスから設定を読み込むことができる。resultには読み込みに成功したファイル名が含まれており、読み込んだ設定はConfigParserオブジェクトcfに反映されている。

import pathlib
import configparser

cf = configparser.ConfigParser()

p = pathlib.Path(r"D:\programs\test.ini")
result = cf.read(p)

他にも文字列から読み込むread_stringや、オープンしたファイルなどIterable[str]から読み込むread_file、dictオブジェクトから読み込むread_dictなどがある。

INI形式で設定を書き込む

writeメソッドでファイルに書き込む事ができる。ファイルは事前にオープンしておく必要がある。

cf.write( open(pathlib.Path(r"D:\programs\test2.ini"), mode="w") )

設定の操作

セクション関連

オプション関連

正規表現（RE）

reライブラリで正規表現が利用できる。

import re

基本的な使用法

個人的にはre.search()かre.finditer()を使う機会が多い。

Matchオブジェクト

マッチした結果を表すオブジェクト。マッチしなかった場合はNoneが返されるため、Matchオブジェクトが返ってきた＝正規表現が一致したことを意味する。Matchオブジェクトのブール値は常にTrueとなるため、一致したか判定するためにはif match:のようにすればよい。

フラグ

flagで正規表現の挙動を制御できる。主なもの4つを示す。

主な正規表現の記法

パターンのコンパイル

パターンを表す文字列はパターンオブジェクトにコンパイルされる。re.compile(pattern, flag)でコンパイルできる。

re.match()などでパターンを文字列として渡したときも内部でコンパイルが行われている。コンパイルされた結果はreライブラリ側でキャッシュされため、同じ正規表現を数回呼び出す程度ならコンパイルで生じるオーバーヘッドはあまり意識しなくて良い。ただし繰り返し、大量に呼ばれるような場合はコンパイルするメリットがある。

import re
from datetime import datetime

start = datetime.now()
for time in range(1000000):
    re.search(r"a(b*)c*\1a", "abqabcddddddfccccabaaabaabbbbcccacbbbcabbbcccbbbaadadddeabac")
end = datetime.now()
print( end - start )

start = datetime.now()
p = re.compile(r"a(b*)c*\1a") # 事前にコンパイル
for time in range(1000000):
    p.search("abqabcddddddfccccabaaabaabbbbcccacbbbcabbbcccbbbaadadddeabac")
end = datetime.now()
print( end - start )

0:00:01.482701 # コンパイル無しで100万回実行
0:00:00.343597 # コンパイル有りで100万回実行

乱数（random）

randomモジュールで乱数を使用できる。

Python3公式ドキュメントより引用
このモジュールの擬似乱数生成器をセキュリティ目的に使用してはいけません。セキュリティや暗号学的な用途についてはsecretsモジュールを参照してください。

初期化と状態の再現

乱数生成機はseedメソッドで初期化する。デフォルトではシステム時刻が使用され、可能ならOSの乱数生成機を使う。

import random

random.seed(a=None, version=2)

random.getstate()およびrandom.setstate(state)で乱数生成機の内部状態を取得、復元できる。

乱数の取得

整数

実数

これ以外にも様々な分布のメソッドが用意されている。

シーケンスに対する操作

リストの中からランダムに要素を選ぶ

secretモジュールのRandom

SecretモジュールにはSystemRandomクラスがある。これはrandomモジュールが定義するRandomを継承している。そのためrandomモジュールと同じように使用できる。ただしseedは無視される、getstate()、setstate()はサポートされないなどの違いがある。これはセキュリティの関係上、同じ乱数列が作成できてはいけないためである。

import random
import secrets

rand = secrets.SystemRandom()

print( isinstance(rand, random.Random) )
print( isinstance(rand, random.SystemRandom) )

ハッシュ

hashlibライブラリでハッシュを計算できる。Hashオブジェクトを作成(new）、ハッシュするメッセージを設定（update）、ハッシュを計算（digest）の順となる。

>>> import hashlib
>>> md5 = hashlib.md5()
>>> type(md5)
<class '_hashlib.HASH'>
>>> md5.update(b"Test Message")
>>> md5.hexdigest()
'd1d4180b7e411c4be86b00fb2ee103eb'

Hashオブジェクトの生成

Hashオブジェクトを作るには、コンストラクタを呼び出すか、Hash.new()を使う。

md5 = hashlib.md5()      # 結果は同じだがこちらの方が早い
md5 = hashlib.new('md5')

使用できるのはmd5、sha1、sha224、sha256、sha384、sha512、sha3_224、sha3_256、sha3_384、sha3_512

メッセージの設定

コンストラクタで設定するか、updateで設定する。updateは繰り返し呼び出すことで追記できる。メッセージは文字列ではなくバイト列である。（文字列の場合エンコードによりハッシュ値が変わるため）

以下の4つはいずれも同じハッシュ値になる。

md5 = hashlib.md5(b"DATA")

md5 = hashlib.new('md5', b"DATA")

md5 = hashlib.md5()
md5.update( b"DA" )
md5.update( b"TA" )

md5 = hashlib.new('md5', b"DA")
md5.update( b"TA" )

ハッシュ値の計算

digestでハッシュ値を計算する。hexdigestはハッシュ値を16進表記の文字列で表したものが得られる。

>>> md5.digest()
b"\xe4O\x9e4\x8eA\xcb'.\xfa\x878w(W\x1b"
>>> md5.hexdigest()
'e44f9e348e41cb272efa87387728571b'

マークアップ

ウェブアクセス