Beyond Real-Time Operation of Deep Learning using the Next Generation AI Processor

- By fusing the embedded deep learning technology and the advanced architectured AI processor, an image input front-end system that is capable of performing ultrafast 100fps object discrimination is developed

組込みディープラーニング技術と非従来アーキテクチャのAIプロセッサの融合で 超高速100fpsで物体を判別可能な画像入力フロントエンドシステムを開発

エンベデッドディープラーニングフレームワーク「KAIBER」を開発するディープインサイト株式会社（本社：東京都品川区、代表取締役：久保田 良則）と新世代のプロセッサ「SMYLEdeep」を販売する株式会社トプスシステムズ（本社：つくば市、代表取締役：松本 祐教）は、ディープラーニングを用いて100fpsと超高速かつ低消費電力で一般物体判別が可能なシステムを実現しました。

SMYLEdeepは従来型プロセッサの20分の1以下の75MHz動作でFull-HD入力画像に対する移動物体の検出及び判別を100fpsで実行可能（１つの物体の判別時間は2ｍsec未満）で、消費電力は500mW未満*(28nmでチップ化した場合)。エネルギー効率(性能/電力比)は、1TOPS/W(Tera Operations Per Second/Watt)を超える。KAIBERは、エッジコンピューティングとIoT向けに開発された国産初のエンベデッドディープラーニングフレームワーク。 今回、SMYLEdeep向けに最適化されたKAIBERのディープニューラルネットワークを使用しており、判別率は93%以上。

　IoTや自動運転などのエッジコンピューティング市場に、カメラ画像入力に対するリアルタイム分析/ディープラーニング処理システムとしてコンピュータ・ビジョン評価システムやSMYLEdeepを販売していきます。

　なお、SMYLEdeepは、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の『極低電力回路・システム技術開発（グリーンITプロジェクト）』の「低消費電力メニーコア用アーキテクチャとコンパイラ技術」の成果の一部を適用して開発したSMYLEvideoの次世代にあたるメニーコアプロセッサです。

また今後、NEDOの『次世代人工知能・ロボット中核技術開発』の「メニーコア用のデータフロー型プログラミングの開発」で委託を受けて開発している技術成果をSMYLEdeepソフトウエアの一部に適用する可能性があります。」

自動運転やロボットにおいては、カメラに映される膨大な量の時系列画像に対するリアルタイム（実時間）での精度の高い計測処理や、AIを用いた確度の高い画像認識処理が必要とされております。認識処理の高度化に伴って必要な計算量は数TOPS(PC数百台分)以上になります。しかし、冷却が困難で夏にはが高温になる車載システムやモバイル機器では1W以下という低消費電力が求められます。そこで、高速化と低消費電力化を両立させ、これらの機器に組込み可能なディープラーニングシステムを開発しました。

トプスシステムズ社は、IoTやAIのエッジ・コンピューティングのプラットフォームとして、従来型プロセッサの20分の1以下の75MHz動作でも最大で毎秒480枚のFull-HD画像に対する画像認識処理(移動物体検出及び追跡)が可能な超高速なSMYLEdeep（注１）を製品化しております。

AIプロセッサは、マイクロプロセッサの発展におけるブレークスルーとして注目されており、GPUが3,000以上のコアを集積することでCPUを超える高い性能を達成しているが、消費電力が大きく、コストが高いという課題があります。カメラからのリアルタイム画像に対し、低消費電力で画像認識処理やディープラーニング等のAIを組込みデバイス環境で高速実行することは困難でした。トプスシステムズ社は、本技術を「SMYLEdeep プロセッサIP」としてライセンス提供するとともに、SMYLEdeepをFPGA上に実装した「コンピュータビジョン評価システム」を販売しています。

ディープインサイト社は、現在、ほとんどの汎用ディープラーニングフレームワークは商用サポート環境が極めて未整備で、小型デバイス等への組み込み用途も考慮しておらず、エッジコンピューティングへの適用に大きな障害となっている現状の中、今後生まれる多様なIoTデバイスにディープラーニングを簡単に組み込める使い易さと商用ビジネス展開を支援できるサポート体制を実現する為、純国産ディープラーニングフレームワーク「KAIBER」を開発しています。今回は、SMYLEdeepの低消費電力・高性能とKAIBERの柔軟なデバイス最適化構造という特徴を融合した次世代システムを実現いたしました。

トプスシステムズ社は、ヒトの代わりに「観て」「診て」「看て」ほしい機能は様々で、画像認識やAI技術を駆使したソフトウエアを用途に応じて入れ替える『Autonomous Camera』のコンセプトに基づき、大手企業との協業により、IoTやAIのエッジ・コンピューティング・プラットフォームを実現する事業化を進めています。トプスシステムズ社は、SMYLEdeepに最適化したディープラーニングフレームワークKAIBERを用いたソリューションを提案していきます。