ルネサスとシンティアント、ビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」を共同開発

IoTおよびエッジアプリケーションにおける組み込みビジョンAIシステムを、音声で低電力に操作可能。

ルネサスとシンティアント、マルチモーダルAIソリューションを共同開発

ルネサス エレクトロニクス株式会社（東京、代表取締役兼CEO：柴田 英利、以下ルネサス）と、低消費電力でインテリジェントな音声処理を実現する深層学習チップテクノロジ企業のSyntiant Corp.（米国カリフォルニア州アーバイン、CEO：Kurt Busch、以下シンティアント）は、このたび、ビジョンAIを活用したIoTおよびエッジアプリケーションを、低消費電力な音声認識を使って完全なハンズフリーで操作できる「マルチモーダルAIソリューション」を共同開発し、リファレンスデザインの提供を開始しました。

本ソリューションは、ルネサスのビジョンAI向けマイクロプロセッサ（MPU）「RZ/Vシリーズ」と、シンティアントの低消費電力でマルチモーダルかつマルチフィーチャーのNeural Decision Processor 「NDP120」を組み合わせ、常時オンで待機しながら音声トリガーで高速起動し、ビジョンAIによる物体認識、顔認識などを行うことができます。例えば、任意の音声でシステムを起動／操作しつつ、操作する人のふるまいをAIで画像認識し、不審な動きがあれば操作を停止したり注意を促すなど、音声と画像の双方のAIを組み合わせたマルチモーダルシステムの開発が可能になります。これにより、セルフレジ、顔認証セキュリティカメラ、TV会議システムやロボット掃除機等スマート家電などのビジョンAIシステムを、非接触で安全な音声UIで楽に操作できるようになります。音声認識に低消費電力な専用チップを用いることによりスタンバイ電力が抑えられる上、ビジョンAIと独立したソフトウェア開発が可能なためシステムの早期開発を実現します。

ルネサスのIoT・インフラ事業本部　SoCビジネス担当の執行役員である新田　啓人は次のように述べています。「使いやすさや安全性の向上を図るために、画像と音声といった複数の入力情報を利用したマルチモーダルシステムへのニーズは今後増大が見込まれます。今回、低電力なビジョンAI技術をリードするルネサスと、低電力な音声AI技術をリードするシンティアントが協業することにより、低電力で極小な音声AIの組み込み機器への活用を加速させ、この新たなソリューションをグローバルに提供していきます。」

シンティアントのCEOであるKurt Buschは次のように述べています。「音声によるユーザインタフェースによって、次世代の革新的なアイデアを単なるコンセプトから現実のものとし、お客様に新しいユーザエクスペリエンスを提供するでしょう。当社は、すでに1,500万個以上のディープラーニング用NDPをグローバルに出荷しており、さまざまな民生および産業用IoTアプリケーションにおいて、Always Onの音声UIを実現しています。ルネサスとの協業により、パワフルで低消費電力の音声・画像ソリューションが実現し、さまざまなデバイスやユースケースで、グローバルなお客様に普及していくと確信しています。」

ルネサスのビジョンAI向けRZ/Vシリーズは、ルネサス独自のAIアクセラレータDRP（Dynamically Reconfigurable Processor）-AIを内蔵し、高精度なAI推論と業界トップクラスの低消費電力を両立しています。高い電力性能により、ヒートシンクや冷却ファンなどの放熱対策も不要となるためBOM（部品表）コストの削減にも貢献し、幅広い組み込みアプリケーションにビジョンAI活用の幅を広げます。

シンティアントのNDP120チップは、高度なAI機能を内蔵しており、話者の識別、キーワード検出、複数のウェイクワード、ローカルコマンドの認識など、多くの高精度なハンズフリーの音声機能を実現します。ニューラルネットワーク推論エンジンSyntiant Core 2を搭載しており、複数のアプリケーションを同時に動作させることができる一方で、バッテリ消費を1mWに抑えることができます。

このビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」は、ルネサスの「ウイニングコンビネーション」の一環として、ルネサスの幅広いポートフォリオの中から相互に互換性のあるデバイスを組み合わせることにより、市場投入までの時間を短縮し、リスクを低減します。今回ルネサスは、リファレンスデザインとして回路図や部品表などを提供します。詳しくは「マルチモーダルAIソリューション」をご覧ください。

www.renesas.com

  さらに詳しく…