エッジAI推論を高速化するソフトウェアレイヤー

Ambiq Micro, Inc. は、リソースが制約された組み込みデバイス向けに、HELIAエッジAIエコシステムを駆動する基盤ソフトウェアレイヤーであるheliaCOREをリリースします。このプラットフォームは、特にApolloシステムオンチップ（SoC）向けに人工知能ワークロードを最適化し、産業分野および消費者向けアプリケーション領域全体でのインテリジェントなハードウェア製品の展開を促進します。

アーキテクチャとオペレータの高速化
Arm CMSIS-NNフレームワーク上に構築されたこの新しいソフトウェアレイヤーは、業界標準の組み込み人工知能開発ワークフローとの互換性を維持しています。アーキテクチャは、コアのニューラルネットワークカーネルへのアクセラレーションを限定するのではなく、アクティベーション、パディング、削減、再形成、データ移動など、推論の重要なプロセスを処理します。Apolloシリコンアーキテクチャをターゲットとする開発者にとって、この統合は、M-Profile Vector Extension（MVE）およびデジタル信号プロセッサ（DSP）アクセラレーションを利用して計算効率を向上させます。このシステムには、現行および前世代のApollo SoC向けに特別に最適化された200を超える高速オペレータが含まれており、エッジデバイスで必要な計算オーバーヘッドを最小限に抑えます。

検証と展開の指標
人工知能モデルを実験段階から現実世界の組み込みシステムに移行するには、動作の安定性を確保するための広範な検証が必要です。AmbiqのAI責任者であるAdam Page博士は、信頼性の高いソフトウェアインフラストラクチャを提供することが、本番環境でエッジモデルを継続的に展開するための重要な要件であると指摘しました。検証要件に対処するため、ソフトウェアは40を超える個別の機械学習モデルと53のオペレータタイプを網羅する実稼働規模のテストを受けています。テストフレームワークは、247の独自のオペレータと963のオペレータインスタンスに及びます。この範囲は、標準のMLPerf Tinyベンチマークで評価されたオペレータインスタンス数の約12倍に相当し、開発者に現実的なネットワークワークロードのより広範なカバレッジを提供します。

統合ワークフローとエコシステムの拡大
より広範なエッジAIエコシステムの中核コンポーネントとして、heliaCOREはheliaRTやheliaAOTなどの既存のランタイムおよびコンパイルテクノロジーと並行して動作します。エンジニアリングチームのソフトウェア統合の負担を軽減するため、基盤レイヤーには標準の組み込み開発ワークフローを通じてアクセスできます。サポートされている統合パスには、CMake、CMSIS-Pack、Zephyr、およびneuralSPOT-Xが含まれ、特殊な独自のツールを必要とせずに、既存の継続的インテグレーションおよびデリバリーパイプラインへのシームレスな実装を可能にします。

追加のコンテキスト
このセクションでは、元のニュースリリースには含まれていない技術仕様と競合ベンチマークについて詳しく説明します。

組み込み機械学習分野では、マイクロコントローラベンダーは、TensorFlow Lite for Microcontrollersなどの高レベルフレームワークと基盤となるハードウェアとの間のギャップを埋めるための専用ソフトウェアレイヤーを提供しています。heliaCOREに匹敵するテクノロジーには、STMicroelectronicsのX-CUBE-AIやNXP SemiconductorsのeIQ機械学習ソフトウェア環境などがあります。これらのエッジAIソリューションのベンチマーク評価には、通常、ミリ秒単位の推論レイテンシ、SRAMおよびフラッシュの使用率に関するメモリフットプリント、およびサポートされているニューラルネットワークオペレータの幅の評価が含まれます。標準のArm CMSIS-NNはCortex-Mプロセッサ向けのベースライン最適化を提供しますが、ベンダー固有のレイヤーは、独自のSoCアーキテクチャ、メモリコントローラ、および統合DSPと深く統合することにより、さらにハードウェア固有のアクセラレーションを提供し、推論操作あたりの消費電力を最小限に抑えます。

Aishwarya Mambet（Induportals編集者）、AIの支援により編集。

www.ambiq.com