1GHzのCPUにAI専用演算回路を組み合わせたマイコンRA8P1が登場した。ニューラルネットワークの重い演算を専用回路へ移し、画像や音声のAI処理を対象とする。ルネサス エレクトロニクスは、ネットワークによってCPU単独比で最大35倍の毎秒推論回数を得られるとしている。
CPUから重い演算を引き受けるAI専用回路
ルネサス エレクトロニクスが開発したマイコンRA8P1群は、1GHzのArm Cortex-M85を搭載する。250MHzの補助CPUコアCortex-M33を加える構成も選択でき、これらのCPUとAI専用演算回路のArm Ethos-U55 NPUを組み合わせる。
NPUは、畳み込みニューラルネットワークと再帰型ニューラルネットワークの計算負荷が大きい演算をCPUから引き受ける。ルネサス エレクトロニクスは、500MHz動作時のAI演算性能を256 GOPS、すなわち毎秒2560億回の演算としている。毎秒推論回数は、使用するネットワークによってCortex-M85単独の最大35倍になるという。
画像と音声を取り込む入力回路
画像AIの入力には、最大500万画素のセンサーに対応する16ビットのカメラインターフェースを備える。別の入力経路としてMIPI CSI-2にも対応し、2レーンで各レーン最大720Mbpsの画像データを受け取る構成になっている。
音声AI向けには、I2SとPDMの音声インターフェースがマイク入力に対応する。入力後の処理で生じる中間演算結果には内蔵の2MB SRAMを利用でき、このメモリーは画像表示用のフレームバッファーにも使える。
モデルの重みを内蔵MRAMに保存する
演算途中のデータを置くSRAMに加え、アプリケーションコードやモデルの重みなどの保存にはMRAMを利用する。RA8P1には1MBのMRAMを内蔵する構成があり、プログラムとAIモデルの保存先をチップ内に持つ。
製造には、半導体製造企業TSMCの22nmプロセス22ULLを採用し、このプロセスで磁気抵抗メモリーであるMRAMを内蔵する。ルネサス エレクトロニクスは、採用したMRAMがフラッシュメモリーより高速に書き込め、書き換え耐久性とデータ保持性能にも優れるとしている。
学習済みモデルを実装へつなぐRUHMI
保存するモデルをマイコンへ実装するため、AI開発フレームワークRUHMIも用意した。この開発基盤はモデルの最適化と量子化に加え、演算グラフのコンパイルと変換を行い、ソースコードを生成する。
学習済みニューラルネットワークの配置には、ツール、API、コード生成器、実行環境を提供する。RA8P1向けに最適化したモデルとアプリケーション例も含まれる。