AIを使っての画像認識による物体検出をYOLOv5を使ってやってみた

学習させるNゲージ鉄道模型は次の5種類です。

右上から時計回りで、EF210-100形・コキ107形フレイトライナー・コキ107形国際海上コンテナ・コキ104形ヤマト運輸コンテナ・タキ1000形(日本石油輸送・米タン)の5種類です。

色々な方向から各車両を撮影して学習用データを作成します。

今回用意した学習用データは262枚の画像を用意しました。
この枚数が多いのか少ないのかはわかりませんが、結果は良い検出率だったのでよしとします。

用意した学習用データだけでは何を学習して良いのかわかりません。
そこで、学習用データの画像にアノテーション(ラベル付け)をして、画像の中にある検出する被写体を指定していきます。

labelimg

今回、アノテーションには labelImg というアプリケーションを使いました。
labelImgは画像に写っている特定の被写体の座標とラベルデータを作成して、学習モデル作成に必要なデータを作成します。

labelImgのインストール

今回は、GitHubのレポジトリをクローンしてインストールしました。

git clone https://github.com/heartexlabs/labelImg.git

必要なモジュールのインストール

cd labelImg
sudo apt-get install pyqt5-dev-tools
sudo pip3 install -r requirements/requirements-linux-python3.txt
make qt5py3

labelImgの起動

python3 ./labelImg/labelImg.py

ラベルの定義

今回は、EF210-100形・コキ107形フレイトライナー・コキ107形国際海上コンテナ・コキ104形ヤマト運輸コンテナ・タキ1000形(日本石油輸送・米タン)の5種類の被写体にラベルをつけるので、あらかじめラベルをテキストデータで作成しておくとスムーズにラベル付けすることができます。

./labelImg/data/predefined_classes.txt に以下のようにラベルを記述しておきます。

EF210-100
KOKI107-FreightLiner
KOKI107-IntermodalContainer
KOKI104-YAMATO
TAKI1000-NihonSekiyu

指定されたラベルが選択することができ入力ミスを減らすことができます。

アノテーションデータを作成する。

「ディレクトリを開く」で、学習用データの入っているディレクトリを開きます。

ディレクトリ内のjpgファイルが表示されます。
「次の画像」・「前の画像」で画像を遷移することができます。

画像内に写っている被写体を「矩形を作成する」で矩形で囲んで、ラベルを指定します。

ラベルを付け終わったら保存するデータフォーマットを「YOLO」にして「保存する」をクリックします。

「画像のファイル名.txt」でアノテーションデータが作成されます。

• 【例】
  • P1010387.jpg — 画像ファイル
  • P1010387.txt — アノテーションデータ

3 0.327344 0.258333 0.248438 0.500000
1 0.422656 0.473611 0.317188 0.347222
2 0.778906 0.372222 0.339062 0.272222
0 0.334375 0.811111 0.293750 0.316667
4 0.622656 0.643056 0.176563 0.352778

ラベルの番号(predefined_classes.txt に記述した順番号 ※1行目は0開始の3なので「KOKI104-YAMATO」を指す)と、矩形の画像上の座標位置を示します。

ラベル付の終わった学習用データを使って、PyTorchにより独自の学習モデルを作成します。

学習用データの配置

ラベル付の終わった学習用データを任意のディレクトリにコピーします。
検証用データは学習用データから2割程度をランダムに選択してコピーします。
今回は yolov5/data ディレクトリに作成しました。

• ホーム
  • yolov5
    • data
      • train — 学習用データ
        • image — 学習用データ 画像ファイル (.jpg)
        • labels — 学習用データ アノテーションデータ (.txt)
      • valid — 検証用データ
        • image — 検証用データ 画像ファイル (.jpg)
        • labels — 検証用データ アノテーションデータ (.txt)
      • data.yaml — 学習パラメータファイル

学習用データは学習するための元データとなります。
検証用データは学習の習熟率を計るために使われます。

1. 学習用データで学習し、学習モデルに反映させる
2. 学習モデルを使って検証用データで物体検出をおこない、アノテーションデータとの差異で評価をおこない習熟率を計る

学習を反復して習熟率を高める。
学習を何回反復するかを決定するのが epochs オプションです。

学習パラメータファイルの作成

YOLOv5サンプルプログラムtrain.pyは、学習パラメータファイルから実行環境を指定します。

yolov5/data 下に学習パラメータファイルを data.yaml 作成しました。

train: data/train/images
val: data/valid/images
nc: 5
names: [ 'EF210-100','KOKI107-FL','KOKI107-ICon','KOKI104-YAMATO','TAKI1000-NiSeki']

パラメータファイルの内容説明

• train — 学習用データディレクトリ
• val — 検証用データディレクトリ
• nc — 学習要素数
• names — 学習要素名

事前トレーニング済モデルの選択

事前トレーニング済モデルには、YOLOv5n / YOLOv5s / YOLOv5m / YOLOv5l / YOLOv5x の5段階のモデルが用意されています。
YOLOv5n ＜ YOLOv5s ＜ YOLOv5m ＜ YOLOv5l ＜ YOLOv5x の順で検出精度が高くなりますが、実行速度が遅くなり必要メモリ・学習モデルも大きくなります。
他に学習モデルサイズが1280pxの YOLOv5n6 / YOLOv5s6 / YOLOv5m6 / YOLOv5l6 / YOLOv5x6 のモデルも用意されています。

事前トレーニング済モデルは、0から80までのクラスを学習しています。
もし、既存の学習モデルの追加で学習したい場合は yolov5/data/coco.yaml を参考にして、クラスをコピーして既存クラスの後に追加するクラスを入れます。アノテーション時からクラスを統一できるようにしておきます。

事前トレーニングモデルは以下からもダウンロードできます。

YOLOv5 | PyTorch

Before You Start

pytorch.org

GitHubにも詳しいデータが記載されています。

GitHub – ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 d…

github.com

よくサンプルなどで目にするのは、YOLOv5sを選択するのを奨めることが多いですが、今回は速度が少々遅く学習モデルが大きくなっても検知精度をあげたいのでYOLOv5mを選択します。
YOLOv5のREADME.mdに学習結果の違いがグラフにて示されていました。

全体的にみてYOLOv5sとYOLOv5mの間には明確な差がありますが、YOLOv5mとYOLOv5l / YOLOv5xの間にはそれほどの差がないようです。

事前トレーニング済みモデルは以下のGitHubからダウンロードすることができます。

GitHub – ultralytics/yolov5 at v5.0

YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 d…

github.com

train.py 実行時のオプション –weights yolov5m.pt で指定することもできます。
他にも –weights ” –cfg models/yolov5m.yaml でも指定することができます。

各 yolov5◯.yml のパラメータの違いです。

学習の実行

いよいよ学習モデルの作成です。
今回は学習の反復回数(epochs)を200回に設定して実行しました。

python3 train.py --data data/data.yaml --weights yolov5m.pt --epochs 200

実行環境によっては、学習途中でメモリーリークなどで中断してしまうこともあります。
その時は –batch-size オプションを調整してみてください、既定値は16ですのでそれより小さな数字を入れると時間はかかりますが最後まで学習が続行される可能性があります。

ちなみに、Corei5-2400(グラボ無し)で実行したときは以下のオプションでなんとか最後まで実行できました。

python3 train.py --data data/data.yaml --weights yolov5m.pt --batch-size 4 --epochs 200

train.py の主なオプションの説明

https://github.com/ultralytics/yolov5/blob/fad57c29cd27c0fcbc0038b7b7312b9b6ef922a8/train.py#L428

yolov5/train.py at fad57c29cd27c0fcbc0038b7b7312b9b6ef922a8 · ultralytics/yolov5 · GitHub

YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 d…

github.com

学習実行結果

学習が終了すると、学習モデルの評価のサマリが表示されます。

200 epochs completed in 0.310 hours.
Optimizer stripped from runs/train/exp/weights/last.pt, 42.2MB
Optimizer stripped from runs/train/exp/weights/best.pt, 42.2MB

Validating runs/train/exp/weights/best.pt...
Fusing layers... 
Model summary: 212 layers, 20869098 parameters, 0 gradients, 47.9 GFLOPs
                 Class     Images  Instances          P          R      mAP50   mAP50-95: 100%|██████████| 2/2 [00:00<00:00,  3.94it/s]
                   all         52        119      0.992      0.994      0.995      0.958
             EF210-100         52         26      0.999          1      0.995      0.961
            KOKI107-FL         52         28          1      0.972      0.995      0.948
          KOKI107-ICon         52         19      0.994          1      0.995      0.962
        KOKI104-YAMATO         52         24          1          1      0.995      0.964
       TAKI1000-NiSeki         52         22      0.967          1      0.995      0.955
Results saved to runs/train/exp

論理的にはP , R , mAP50 , mAP50-95 が1に近ければ優秀な学習モデルといえますが、過学習による検出判断の硬直化や誤検知も発生するので、学習曲線や実際の検出精度などで Epochを調整する必要があります。

学習実行結果は yolov5/runs/train/exp ディレクトリに保存されます。
exp ディレクトリは存在すると exp2 exp3・・・ と作られていきます。

学習モデルは yolov5/runs/train/exp/weights ディレクトリに保存されます。
best.pt は学習で最も良い評価の学習モデルです。last.ptは最後の学習結果の学習モデルです。

• ホーム
  • yolov5
    • runs
      • exp — 学習実行結果
        • results.png — 学習経過の評価グラフ
        • results.csv — 学習経過の評価データ
        • opt.yaml — 学習実行時のオプション一覧
        • train_batch0.jpg — 学習データからサンプリングされたミニバッチ
        • val_batch0_labels.jpg — 検証データからサンプリングされたミニバッチ
        • val_batch0_pred.jpg — 検証データのミニバッチに物体検出実行検証結果
        • weight — 学習モデル
          • best.pt — 最も良い評価の学習モデル
          • last.pt — 最後の学習モデル

学習の早期停止(Early Stopping)

過学習を防止するため、オプション –patience によって指定された回数学習に改善が見られない場合に、学習を早期停止します。

Stopping training early as no improvement observed in last 100 epochs. Best results observed at epoch 805, best model saved as best.pt.
To update EarlyStopping(patience=100) pass a new patience value, i.e. `python train.py --patience 300` or use `--patience 0` to disable EarlyStopping.

このメッセージは、早期停止（early stopping）が実行され、最後の100エポックで性能の改善が見られなかったため、トレーニングが早期に停止されたことを示しています。最も優れた結果がエポック805で得られ、その時点のモデルが best.pt として保存されました。

実行結果 exp ディレクトリのファイルの一部を紹介します

学習モデルの学習経過の評価を示すグラフ ( results.png )

過学習により検出精度が落ちていないか等がわかります。

学習データからサンプリングされたミニバッチ ( train_batch0.jpg )

検証データのミニバッチに対して物体検出を実行した検証結果 ( val_batch0_pred.jpg )

Nゲージ鉄道模型の学習データを使って作成した学習モデルを使って、実際に物体検出をおこなってみましょう。

データを以下のように配置しています。
学習モデルは best.pt を使用します。

• ホーム
  • yolov5
    • data
      • detect — 検出対象データ
    • runs
      • detect
        • exp — 検出結果
      • train
        • weights
          • best.pt — 学習モデル

yolov5/data/detect ディレクトリに検出(推論)対象となるデータをコピーします。
yolov5/runs/train/weights ディレクトリに学習モデルをコピーします。

検出対象データには、jpgファイルとmp4動画を数本入れています。

物体検出の実行

学習モデルを指定して物体検出を実行します。

python3 detect.py --source data/detect --img 1280 --weights runs/train/weights/best.pt

detect.py の主なオプションの説明

https://github.com/ultralytics/yolov5/blob/fad57c29cd27c0fcbc0038b7b7312b9b6ef922a8/detect.py#L248

yolov5/detect.py at fad57c29cd27c0fcbc0038b7b7312b9b6ef922a8 · ultralytics/yolov5 · GitHub

YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 d…

github.com

物体検出の実行結果

検証結果は yolov5/runs/detect/exp に保存されます。
exp ディレクトリは存在すると exp2 exp3・・・ と作られていきます。

画像に関しては、ほぼ問題ないですが一部呉検出しています。

「KOKI107-FL」が半分だけしか検出されていません。

動画の物体検知してみました

誤検知がありますが、Nゲージ鉄道模型の車種を検知しています。