手書き文字認識
超低消費電力マイクロコントローラを使用した手書き文字認識
この手書き文字認識デモは数字を含む文字を識別できます。 このデモの一般的なユース･ケースはスマートウォッチで、特定のコマンド（チャット、通話、メールなど）の作成やテキスト･メッセージの高速入力が可能になります。 また、スマート機器との対話方法として使用することもできます。
アプローチ
この手書き文字認識デモは、STM32L562E-DKディスカバリ･キットに搭載された小型タッチスクリーン（スマートウォッチ）で、手書きの文字や数字を認識します。
モデルはSTM32 Model Zooのおかげで再トレーニングが可能です。
- タッチスクリーンを画像としてキャプチャし、ニューラル･ネットワーク（NN）で分類します。
- 各文字を特定のコマンドの構成要素として認識します。
- このデモは、STM32L562E-DKディスカバリ･キットで各文字のNN推論時間に基づいて動作します。
モデルはSTM32 Model Zooのおかげで再トレーニングが可能です。
センサ
データ
データセット
STM32 Model zooでは、モデルはEMNISTデータセットのサブセット･バージョンで学習されています。
この実験では、EMNIST ByClassデータセットのMatLabバージョンから数字クラス[0;9]と大文字英字[A-Z]のみを使用しました。
また、STボードのタッチスクリーンでキャプチャした画像でデータセットを拡充しました。
データフォーマット
データセットは以下の要素で構成されています。
データセットには、バランスの取れた36クラスで編成された28 x 28ピクセルのグレースケール画像が含まれています。
STM32 Model zooでは、モデルはEMNISTデータセットのサブセット･バージョンで学習されています。
この実験では、EMNIST ByClassデータセットのMatLabバージョンから数字クラス[0;9]と大文字英字[A-Z]のみを使用しました。
また、STボードのタッチスクリーンでキャプチャした画像でデータセットを拡充しました。
データフォーマット
データセットは以下の要素で構成されています。
- A～Zの大文字英字
- 0～9の数字
データセットには、バランスの取れた36クラスで編成された28 x 28ピクセルのグレースケール画像が含まれています。
結果
モデルST MNIST
入力サイズ28 x 28 x 1
メモリ･フットプリント：
浮動小数点モデル：
使用Flashメモリ：38KB（重みデータ）
使用RAM：30KB（アクティベーション･バッファ）
量子化モデル：
使用Flashメモリ：10KB（重みデータ）
使用RAM：14KB（アクティベーション･バッファ）
精度：
浮動小数点モデル：93.48%
量子化モデル：93.39%
性能（STM32L562E @ 110MHz使用時）
浮動小数点モデル：
推論時間：83ms
フレームレート：12fps
量子化モデル：
推論時間：29ms
フレームレート：34fps
混同行列
入力サイズ28 x 28 x 1
メモリ･フットプリント：
浮動小数点モデル：
使用Flashメモリ：38KB（重みデータ）
使用RAM：30KB（アクティベーション･バッファ）
量子化モデル：
使用Flashメモリ：10KB（重みデータ）
使用RAM：14KB（アクティベーション･バッファ）
精度：
浮動小数点モデル：93.48%
量子化モデル：93.39%
性能（STM32L562E @ 110MHz使用時）
浮動小数点モデル：
推論時間：83ms
フレームレート：12fps
量子化モデル：
推論時間：29ms
フレームレート：34fps
リソース
モデル･リポジトリ ST Edge AI Model Zoo
リファレンスAIモデル群は、付属の実装スクリプトを使用してSTの機器上で動作するよう最適化されています。Model zooはAIの機能を組込みアプリケーションへ追加するための価値あるリソースです。
コード最適化ツール STM32Cube.AI
無償のSTM32Cube拡張パッケージX-CUBE-AIにより、ニューラル･ネットワークや機械学習モデルといった学習済みAIアルゴリズムを、STM32に最適化されたCコードへ自動変換できます。
対応製品 STM32L4、L5、U5、H7シリーズ
Arm® Cortex®-Mベース32bitマイコンのSTM32ファミリは、マイコン･ユーザに高いレベルの自由を提供します。完全統合性および開発の容易さを維持しながら、高性能、リアルタイム性能、豊富な機能、デジタル信号処理、低消費電力 / 低電圧駆動、およびコネクティビティを兼ね備えた製品を提供します。
