カメラ･モジュールを使用しないハンド･ポスチャ検出
STのマルチゾーンToF測距センサをベースにしたSTM32F401上で動作するハンド･ポスチャ検出
ハンド･ポスチャによる機械の制御を夢見たことはありますか？
もし携帯電話で手の動きに基づいて友人に絵文字を送ることができるとしたらどうですか？
その夢がついに現実となりました。 このソリューションは、STのマルチゾーンToF（Time-of-Flight）測距センサを使用するもので、カメラは不要です。 AIアルゴリズムはSTM32マイクロコントローラ上で動作するため、複雑な処理が不要で、しかも低消費電力です。
独自のハンド･ポスチャを定義し、データセットを収集し、AIモデルを学習させることでアプリケーションを開発できます。
もし携帯電話で手の動きに基づいて友人に絵文字を送ることができるとしたらどうですか？
その夢がついに現実となりました。 このソリューションは、STのマルチゾーンToF（Time-of-Flight）測距センサを使用するもので、カメラは不要です。 AIアルゴリズムはSTM32マイクロコントローラ上で動作するため、複雑な処理が不要で、しかも低消費電力です。
独自のハンド･ポスチャを定義し、データセットを収集し、AIモデルを学習させることでアプリケーションを開発できます。
アプローチ
このハンド･ジェスチャ認識ソリューションは、STのマルチゾーンToF測距センサを使用して一連のハンド･ジェスチャを検出し、NUCLEO-F401REで実行できます。
開発プロセスは、以下のステップに基づきます。
このアプローチによりアプリケーションを素早く開発できることに加え、ハンド･ポスチャの自由度が高く、しかもメモリ使用量と消費電力を抑えることができます。
ToF測距センサは、アプリケーションに応じてユーザの前に（PC、満足度調査ボックス）、天井に向けて（調理台）、または移動物体に固定して（スマート･グラス）設置できます。
開発プロセスは、以下のステップに基づきます。
- まず、独自のハンド･ポスチャを定義します。
- 8 x 8マルチゾーンToF測距センサ（VL53L5CX、VL53L7CX、VL53L8CXなど）からの距離および信号データを使用して、数人のユーザからデータセットを収集します。
- STM32 Model zooからの学習スクリプトでAIネットワークを学習させます。
- STM32Cube.AI Developer CloudまたはSTM32 Model zooに含まれる「Hand Posture Getting Started」を使用して、選択したSTM32マイクロコントローラにAIモデルを実装します。
このアプローチによりアプリケーションを素早く開発できることに加え、ハンド･ポスチャの自由度が高く、しかもメモリ使用量と消費電力を抑えることができます。
ToF測距センサは、アプリケーションに応じてユーザの前に（PC、満足度調査ボックス）、天井に向けて（調理台）、または移動物体に固定して（スマート･グラス）設置できます。
センサ
データ
データセットプライベート･データセット：5ユーザ、7種のハンド･ジェスチャ
データフォーマット
8 x 8測定距離および信号レート
アプリケーションや反応性に合わせた周波数
データフォーマット
8 x 8測定距離および信号レート
アプリケーションや反応性に合わせた周波数
結果
モデルCNN 2D
メモリ･フットプリント
使用Flashメモリ：29KB（重みデータ）
使用RAM：3KB（アクティベーション･バッファ）
精度96.4%
性能（STM32F401 @ 84MHz使用時）
推論時間：1.5ms
混同行列
メモリ･フットプリント
使用Flashメモリ：29KB（重みデータ）
使用RAM：3KB（アクティベーション･バッファ）
精度96.4%
性能（STM32F401 @ 84MHz使用時）
推論時間：1.5ms
リソース
モデル･リポジトリ ST Edge AI Model Zoo
リファレンスAIモデル群は、付属の実装スクリプトを使用してSTの機器上で動作するよう最適化されています。Model zooはAIの機能を組込みアプリケーションへ追加するための価値あるリソースです。
コード最適化ツール STM32Cube.AI
無償のSTM32Cube拡張パッケージX-CUBE-AIにより、ニューラル･ネットワークや機械学習モデルといった学習済みAIアルゴリズムを、STM32に最適化されたCコードへ自動変換できます。
対応製品 STM32F4シリーズ
Arm® Cortex®-Mベース32bitマイコンのSTM32ファミリは、マイコン･ユーザに高いレベルの自由を提供します。完全統合性および開発の容易さを維持しながら、高性能、リアルタイム性能、豊富な機能、デジタル信号処理、低消費電力 / 低電圧駆動、およびコネクティビティを兼ね備えた製品を提供します。
