ボタンなどには一切触れずに、頭を動かすだけでデバイスを操作するところを想像してみてください。
頷いたり、首を横に振ったり、その他の一般的な頭部の動きを識別する頭部のジェスチャ認識は、安全ヘルメット、VRヘッドセット、その他の形態の、頭部に装着するアプリケーションで使われる可能性があります。
この種のアプリケーションにはエッジAIが有効です。センサ･レベルで複雑なジェスチャを認識して電力が節減されるからです。
このユースケースでは、SensorTile.box.PROボード上のST MEMSセンサを使用して、頭部のジェスチャ認識を実現する例をご紹介します。
アプリケーションの動作原理
分類はSensorTile.box.PROボード上のLSM6DSV16X IMU（慣性測定ユニット）から得られる加速度センサおよびジャイロセンサのデータに基づいて行われます。
アプローチ
頭部の動きはLSM6DSV16Xの機械学習コア（MLC）の設定に基づいて、頷き、横振り、その他という3つの分類のいずれかとして識別されます。
加速度センサおよびジャイロセンサのデータ･レートは30Hz、最大測定範囲はそれぞれ4gと125dpsに設定します。
3つの分類は、LSM6DSV16XのMLCで実行されるデシジョン･ツリーで識別します。
センサ
LSM6DSV16Xは、ハイエンドのアプリケーション向けに、AI、センサ･フュージョン、Qvarを組み込んだ6軸慣性測定ユニット（IMU）です。
LSM6DSV16Xセンサは、SensorTile.box.PROボードに実装されています。このボードは、モーション･センサや環境センサを含む、さまざまなIoTアプリケーションの開発にすぐに使用できる、プログラム可能なワイヤレス･ボックス･キットで、デジタル･マイクロフォンも搭載しています。
データセットとモデル
データセット：頷き、横振り、その他の3分類
加速度センサおよびジャイロセンサのデータ･レートは30Hz、最大測定範囲はそれぞれ4gと125dpsに設定します。
モデル：3つの分類を均等に含む約360秒のデータセットによって学習済みです。
結果
得られるデシジョン･ツリー･モデルは、100%の正確度を示します。
このユースケースは、以下のリソースを使用して簡単に再現できます。
- ST AIoT Craftでユースケースを開きます。
- 識別は位置に依存する場合があるため、このプロジェクトを複製して自分のユースケースに適合させるために再学習させることも可能です。例えば、ヘッドセット本体が含まれる可能性があるイベントの分類が必要な場合などです。
- この例を使用するには、ボードをユーザの右耳の上に垂直に、USBポートが下向き耳の方向に、LEDとロゴが外向きになるように、しっかり固定する必要があります。
関連情報
執筆者：Michele FERRAINA | 最終更新日：2025年2月
リソース
ST AIoT Craftで最適化
ST AIoT Craftは、センサ内AIとSTの部品を使用してIoTソリューションを開発するツールです。ST MEMSセンサ内の機械学習コア内にプロファイルを判定するデシジョン･ツリー･アルゴリズムを構築し、センサ･ツー･クラウド･ソリューションを展開できます。
LSM6DSV16Xに最適
LSM6DSV16Xは、3軸デジタル加速度センサと3軸デジタル･ジャイロセンサを搭載した、小型で高性能かつ低消費電力の6軸IMUです。センサ内に機械学習アルゴリズムを組み込むためのMLC（機械学習コア）も搭載しています。
