Semiconductor

表示用MPU「RZ/G3E」にAI推論専用回路を統合

この記事のポイント

  1. 実現したこと

    表示用MPUのRZ/G3Eは、画像分類や音声認識などのAI処理を端末内で実行する。

  2. 実現の仕組み

    4コアCPUにAI処理用NPUを組み合わせ、ルネサスは推論時のCPU負荷を抑えるとしている。

  3. 得られた結果

    ルネサスの仕様では、独立した2画面へフルHD映像を毎秒60フレームで出力する。

  4. 従来との違い

    RZ/G3E本体と評価ボードキットの提供が始まり、開発用の実機を利用できるようになった。

カメラ、汎用評価ボード、独立した2台のディスプレイをケーブルでつないだ明るい編集イラスト。ボード上のMPUがカメラ映像の端末内処理と2画面出力を担う構成を示す。
AI生成画像

表示用MPUのRZ/G3Eが、AI推論用の専用回路を統合して発売された。4コアCPUとNPUを組み合わせ、端末内の画像・音声処理に対応する。独立した2画面へのフルHD出力と、メモリーデータを保持した低消費電力待機も備える。

4コアCPUにAI処理用NPUを加える

ルネサス エレクトロニクスは、操作・表示インターフェース向けの64ビットMPU「RZ/G3E」を発売した。RZ/GシリーズにAI処理用NPUを加えた製品で、最大1.8GHzで動作する4コアのCortex-A55に、Cortex-M33とNPUのEthos-U55を組み合わせる。

ルネサスは、この構成によってCPU負荷を抑えながら、画像分類、物体認識、音声認識、異常検知を実行するとしている。表示機器の端末内でAI推論を処理するための専用回路を、CPUと同じMPUに備えた。

カメラ入力と独立した2画面出力を備える

画像処理に使う入力側には、映像入力やセンシング向けのMIPI-CSIカメラインターフェースを備える。表示側は、デュアルリンクLVDS、MIPI-DSI、パラレルRGBの各出力に対応する。

ルネサスの仕様では、独立した2画面に1920×1080画素のフルHD映像を毎秒60フレームで出力する。AI処理を担うNPUに加えて、カメラからの映像入力と2画面への表示出力を同じMPUに備える構成だ。

メモリーを保持して深い待機状態から復帰

表示やAI処理を行う動作状態に加え、RZ/G3Eは低消費電力で待機する機能を持つ。ルネサスは、サブCPUと周辺機能を動作させた状態で約50mW、深い待機状態では約1mWの消費電力を実現するとしている。

深い待機状態では、DDRのセルフリフレッシュによってメモリーデータを保持する。このデータ保持により、ルネサスはLinuxアプリケーションを実行する際に高速復帰が可能になるとしている。

Linuxの長期保守と評価用実機を用意

Linux環境には、Civil Infrastructure Platformを基盤とするソフトウェアパッケージのVerified Linux Packageを用意する。ルネサスは10年超の保守サポートを提供し、半導体本体も製品長期供給プログラムによる15年の供給対象としている。

RZ/G3E本体と評価ボードキットは、7月29日に提供が始まった。評価キットはSMARC v2.1.1のモジュールボードとキャリアボードで構成される。