このアプリケーションの主な目的は、STM32MP1マイクロプロセッサ上で動作するNNモデルを使用して特定のエリア内にいる人を検出し、その数をカウントすることです。 結果は、データ・プライバシーを確保するためにローカル・イーサネット接続を介してホストPCに表示します。 非機密データはエッジ・デバイスとホストの間で転送します。
アプローチ
この人数カウント・デモは、STM32MP1 MPUがAI、コンピュータ・ビジョン、およびコネクティビティのユースケースにおいて発揮するいくつかの興味深い特徴を紹介することを目的に設計したものです。 ヘッドレス・カメラ・デバイスとして使用するSTM32MP1xは、プライバシー保護のためにビデオ・フレームを計算し、ローカル・イーサネット接続を介して非機密データを別のデバイスに回復用に転送します。
STM32MP1x MPU:
- カメラ・パイプラインを介したカメラ・ストリーミング
- 人検出と人数カウントのためのニューラル・ネットワーク推論(8fps)
- エッジで計算された人の座標情報を転送するためのイーサネット接続
- データ・プライバシー:機密データはデバイス間では転送しない
コンピュータ:
- プライベート・プロトコルを介してSTM32MP1xから座標データを取得するためのイーサネット接続
- 人座標情報を仮想環境に表示するためのGUI(デモのインストール時に無人シーンの画像を一度だけ取得)
- STM32MP1x MPUを制御して、ユーザの制約(人数カウント対象エリアなど)に基づいてコンピューティング動作を調整するためのGUI
センサ
USBウェブカメラまたはビルト・イン・カメラ
データ
データ形式
RGB画像
画像サイズ:240x240
結果
モデル:ST独自Yolo_LC
STM32MP157F(High-perf)での結果
推論時間:125ms
フレームレート:8 fps