Arduino UNO Qで始めるエッジAI開発：物体検出デモの実装手順と検証ポイント

サンプルアプリ概要

このサンプルアプリは、USBカメラの映像から人と犬を検出し、その検出結果をArduino Cloudへ送信するシステムです。

＜説明ページに記載されている機能一覧＞

• USBカメラから映像フレームを取得します。
• TFLite SSDモデルを用いて、取得した画像フレームから物体を検出します。
• 検出結果のうち、personとdogを対象として抽出します。
• 検出結果をArduino Cloudへ送信し、クラウド上で状態を確認できるようにします。
• 検出された時間を集計し、人と犬の検出時間をレポートとして出力します。

また、ソースコードと設定ファイルを確認すると、カメラ入力からクラウド送信までの処理は次の流れで構成されていることが分かります。

1. ① USBカメラから映像を入力します。
2. ② 映像から1フレーム単位で画像を取得します。
3. ③ 推論モデルに合わせて、画像を300×300ピクセルにリサイズします。
4. ④ TFLite SSDモデルに入力し、物体検出の推論を実行します。
5. ⑤ 検出結果として、クラスIDと信頼度スコアを取得します。
6. ⑥ クラスIDがpersonまたはdogで、スコアが0.55を超える結果のみを検出対象として採用します。
7. ⑦ 検出結果に基づき、人物検知、犬検知、未検知の状態を判定します。
8. ⑧ 連続通知を抑えるため、10秒のクールダウン制御を行います。
9. ⑨ 判定結果をArduino Cloudへ送信します。
10. ⑩ プログラム上では6時間ごとに検出時間を集計し、レポートを出力します。以下は出力例です。

report ( person detected: 1.2 hours, dog detected: 4.6 hours )

使用機材

• Arduino UNO Q 4GBモデル
• USB接続のHDカメラ
• USB Type-Cハブ
• インターネット接続環境（Wi-Fiまたは有線）
• USB PD対応電源（5V/3A推奨）
• スタンドアローンモードで使用するための外部モニタとHDMIケーブル
• USBマウス、USBキーボード

事前準備

Arduino UNO QにUSB Type-Cハブを接続し、電源、USBマウス、USBキーボード、USBカメラを接続します。外部モニタはHDMIケーブルで接続し、スタンドアローン環境として起動します。

Arduino UNO Qと周辺デバイスの接続イメージ

Arduino Cloud設定

Arduino公式サイト（https://www.arduino.cc/）にアクセスし、「Arduino Cloud」からアカウント登録またはログインを行います。

ログイン後、左側メニューの「Things」をクリックします。

Arduino CloudのThingsメニュー

「+ THING」ボタンをクリックし、新しいThingを作成します。

作成したThingに、サンプルアプリで使用する変数を登録します。

• Variable: person_detected , type : Boolean , Permission: Read & Write
• Variable: dog_detected , type : Boolean , Permission: Read & Write
• Variable: last_label , type : String , Permission: Read & Write
• Variable: last_score , type : Float , Permission: Read & Write
• Variable: last_ts , type : Integer , Permission: Read & Write

以下、設定後画面のように、登録した変数が一覧に表示されていれば設定完了です。

Arduino Cloudの変数設定後画面

次に、サンプルアプリに必要なファイルをGitHubから取得し、Arduino UNO Q上の作業ディレクトリに保存します。

必要ファイルはcamera-detectフォルダ内のapp.py、Dockerfile、docker-compose.yml、requirements.txtです。

https://github.com/robby-proj/robby-project/tree/main/dog-detect-AI/camera-detect

Arduino公式ドキュメントの「Set up Arduino Cloud」（https://docs.arduino.cc/tutorials/UNO-q/arduino-cloud/）を参考にデバイスを登録します。登録時に表示されるdevice_idとsecret_keyは、後続の設定で使用するため控えておきます。

取得したdevice_idとsecret_keyをdocker-compose.ymlの環境変数（ARDUINO_DEVICE_ID: "YOUR_DEVICE_ID"及びARDUINO_SECRET_KEY: "YOUR_SECRET_KEY"）に設定します。secret_keyは認証情報のため、外部に公開しないよう注意してください。

AIモデル準備

次に、物体検出で使用するAIモデルをダウンロードします。

作業ディレクトリに移動し、モデル保存用のmodelsディレクトリを作成します。

cd ~/camera-detect
mkdir -p models
cd models

modelsディレクトリ内で、TFLite形式の物体検出モデルをダウンロードします。コマンドは改行せず、1行で実行してください。

wget https://storage.googleapis.com/download.tensorflow.org/models/tflite/coco_ssd_mobilenet_v1_1.0_quant_2018_06_29.zip

ダウンロードしたZIPファイルを展開します。

unzip coco_ssd_mobilenet_v1_1.0_quant_2018_06_29.zip

以下のコマンドでdetect.tfliteが作成されていることを確認します。

ls -la

推論結果のクラスIDを名称に変換するため、以下のコマンドでCOCOラベルファイルをダウンロードします。headコマンドでperson、bicycle、car、motorcycleなどのラベルが表示されれば、ラベルファイルの取得は成功です。これで実行前の準備は完了です。

# Download COCO labels
wget -O labels.txt https://raw.githubusercontent.com/google-coral/test_data/master/coco_labels.txt

# Verify
head -n 20 labels.txt

実行手順

以下のコマンドでコンテナをビルドし、バックグラウンドで起動します。コマンド内の--buildは半角ハイフン2つで入力してください。

docker compose up -d --build

サンプルプログラムでは、実行後6時間ごとに検出時間のレポートが出力されます。動作確認を早く行う場合は、次章のログ確認方法を利用します。