食品分類は、生活家電（スマート冷蔵庫、電子レンジ）、飲食店、病院などのさまざまなアプリケーションや、食品産業において利用できます。 FD-MobileNetモデルをベースにしたこのアプリケーションは、ピザ、ビール、フライド･ポテトなどの18種類の飲食物を識別できます。
アプローチ
- シーンをキャプチャするためにカメラモジュール（B-CAMS-OMV）を使用した
- 食品認識を実行するために、事前に訓練されたFD-Mobilenet NNモデルを選択した
- このモデルは、ファンクションパックFP-AI-VISION1（STM32H747ディスカバリーキット用）にすでに統合されている
- その後、STM32Cube.AIを使用してモデルを最適化した。
- 食品認識を実行するために、事前に訓練されたFD-Mobilenet NNモデルを選択した
- このモデルは、ファンクションパックFP-AI-VISION1（STM32H747ディスカバリーキット用）にすでに統合されている
- その後、STM32Cube.AIを使用してモデルを最適化した。
センサ
画像：カメラ･モジュール･バンドル（リファレンス･ボード：B-CAMS-OMV）
データ
データ形式
- 18クラス：「アップルパイ", "ビール", "シーザーサラダ", "カプチーノ", "チーズケーキ", "チキンウィング", "チョコレートケーキ", "コーラ", "カップケーキ", "ドーナツ", "フライドポテト", "ハンバーガー", "ホットドッグ", "ラザニア", "ピザ", "リゾット", "スパゲッティボロネーゼ", "ステーキ"
- RGB カラー画像。
- 18クラス：「アップルパイ", "ビール", "シーザーサラダ", "カプチーノ", "チーズケーキ", "チキンウィング", "チョコレートケーキ", "コーラ", "カップケーキ", "ドーナツ", "フライドポテト", "ハンバーガー", "ホットドッグ", "ラザニア", "ピザ", "リゾット", "スパゲッティボロネーゼ", "ステーキ"
- RGB カラー画像。
結果
推論時間と精度の間で固有のトレードオフがある2種類のネットワークを用意しました。
モデル： 「標準」量子化畳込みニューラル･ネットワーク
入力サイズ：224 x 224 x 3
メモリフットプリント：
132 KBフラッシュ（ウェイト用）
148 KB RAM（アクティベーション用
精度：72.8%
STM32H747 (High-Perf) @ 400 MHz でのパフォーマンス
推論時間：79 ms
フレームレート：11.8 fps
モデル： 「最適化済み」量子化畳込みニューラル･ネットワーク
入力サイズ：224 x 224 x 3
メモリフットプリント：
ウェイト用148 KBフラッシュ
アクティベーション用199 KB RAM
精度：77.5%
STM32H747 (High-Perf)@400MHzでの性能
推論時間:145 ms
フレームレート：6.6 fps
食品分類例に関する情報のオンボード検証の概要
モデル： 「標準」量子化畳込みニューラル･ネットワーク
入力サイズ：224 x 224 x 3
メモリフットプリント：
132 KBフラッシュ（ウェイト用）
148 KB RAM（アクティベーション用
精度：72.8%
STM32H747 (High-Perf) @ 400 MHz でのパフォーマンス
推論時間：79 ms
フレームレート：11.8 fps
モデル： 「最適化済み」量子化畳込みニューラル･ネットワーク
入力サイズ：224 x 224 x 3
メモリフットプリント：
ウェイト用148 KBフラッシュ
アクティベーション用199 KB RAM
精度：77.5%
STM32H747 (High-Perf)@400MHzでの性能
推論時間:145 ms
フレームレート：6.6 fps
リソース
コード最適化ツール STM32Cube.AI
無償のSTM32Cube拡張パッケージX-CUBE-AIにより、ニューラル･ネットワークや機械学習モデルといった学習済みAIアルゴリズムを、STM32に最適化されたCコードへ自動変換できます。
対応製品 STM32H7シリーズ
Arm® Cortex®-Mベース32bitマイコンのSTM32ファミリは、マイコン･ユーザに高いレベルの自由を提供します。完全統合性および開発の容易さを維持しながら、高性能、リアルタイム性能、豊富な機能、デジタル信号処理、低消費電力 / 低電圧駆動、およびコネクティビティを兼ね備えた製品を提供します。
