Project

プロジェクト事例

エッジAIを実現するソフトウェア Pressai (プレッサイ)をリリースしました

【プロダクト概要】

アラヤのエッジAIチームは、「AIモデルを最大約1/30に圧縮」し、「CPU・FPGAに実装可能な形式で出力」するプロセスをサポートするソフトウェア『Pressai (プレッサイ)』をリリースしました。

【PressaiでAIをエッジ化するメリット】

主に、次のようなメリットがあります。

1. 複数の圧縮を実行:アラヤ独自の方式をはじめ、複数の圧縮方式を実行・比較評価できます。
2. 小型化・高速化:圧縮・処理最適化により、処理速度の向上や消費電力の削減を実現。より小型/安価な推論用ハードウェアを選択可能になります。
3. 開発・作業負荷軽減:様々なモデルとエッジデバイスの組合せに対しての圧縮・実装をサポートします。
4. セキュリティ:お客様自身で実施できるので、データを外部に出す必要がありません。

【ユースケース】

例えば、以下のような用途に活用できます。

【エッジAIの実現プロセスとPressaiの役割】

多くのAIモデルの場合、そのままではチップへの実装が難しいですが、AIモデルを「圧縮」することで、より小さなチップに載せることが可能になります。Pressaiは、「圧縮」と「チップへの実装」のプロセスをサポートするソフトウェアです。


※PressaiはAIモデルをインプットとしますが、AIモデルをお持ちでないお客様には、弊社のディープラーニングソリューションサービスによりモデル構築支援を行います。

【Pressaiで利用できる「アラヤ圧縮」とその他の圧縮方式について】

■「アラヤ圧縮」について
決定論的な設計手法により圧縮する位置を特定し、演算量を削減します(特許取得済)。

次のようなメリットがあります。
・最大約1/30の演算量に削減できる。
・より高速な推論処理・メモリサイズの削減も可能になる。
・異なるニューラルネットワークを同じFPGAに実装できるので、省スペース化・低コスト化が図れる。

 

■「アラヤ圧縮」の実績例 (*1)

■その他の圧縮方式
Pressaiでは以下の圧縮方式も活用できます。アラヤ圧縮との比較評価にご活用ください。また、アラヤ圧縮との組合せも可能(※枝刈りを除く)ですので、より高い圧縮も実現できます。
量子化:通常32 bitで表記される重みのパラメータをより小さいビット数で表記することで、モデル自体のサイズの縮小、また演算処理速度を向上させる。
蒸留:学習済みモデル(教師モデル)の入出力データを教師データとして圧縮後モデル(生徒モデル)を学習させる。これにより教師モデルの知識を生徒モデルに継承する。
Base Network共通化:似たネットワーク構造の部分を共通化することで演算量の削減をする。
枝刈り(プルーニング):重みパラメータの小さいものを優先的に、枝刈りを実施する。(*2)

※一部機能は順次対応となります。
*1:性能を保証するものではありません。
 お客様において圧縮を試し、圧縮率・精度などの圧縮結果レポートを元に評価していただきます。
*2:Conventional pruning (magnitude-based pruning)

【必要なもの】

Pressaiを利用するために、以下をご準備ください。

■圧縮をしたいモデル等
 ・学習済みモデル (Keras(2.24) (TensorFlow(1.14.0)バックエンド))
 ・学習用データセット
 ※一部アーキテクチャに制限があります。

■圧縮(学習)用実行環境
 ・GPU搭載マシン (Linux(Ubuntu 18.04)でのtensorflow-gpu(1.14)の動作環境)

■推論に使用するCPU/FPGA
CPU版
 ・ARM v7/v8アーキテクチャ – Snapdragon, Apple Ax, Exynos, Kirin等
 ・Intel x64アーキテクチャ – Core Xシリーズ, Xeon等
 ※Pressaiの処理中にCPUのプロファイリングを行うために準備が必要です。

FPGA版
 ・Intel Arria10シリーズ
 ※順次対象を拡大予定。
 ※Pressaiの処理にはFPGA開発ツールが必要です。FPGAはPressaiの処理終了後のご用意で構いません。

【ご利用イメージ】

次のような流れでPressaiをご利用いただけます。(オレンジ色の部分がPressaiで実行するプロセスです。)

お客様がPressaiを用いてエッジAIを実現するために、技術サポート等も合わせてご提供します。
・コンサルティング:圧縮方式や圧縮対象層の選定等のアドバイス
・技術サポート:Pressaiの利用方法や手順に関するサポート
・個別カスタマイズ:カスタムレイヤーの有無等に応じたPressaiの個別開発

【お問い合わせ・お申し込み】

導入のご相談・お申し込みは、[お問い合わせ]より「Pressaiの導入を検討」されていることを明記の上ご連絡ください。折返し、弊社営業担当よりご連絡を差し上げます。
※事前にお問い合わせをいただいた方から順にご対応させていただきますので、お待ちいただく場合があります。ご了承ください。

※当社サイト、カタログ、マニュアル等に記載されている会社名、システム名、製品名は一般に各社の登録商標または商標です。なお、「™」、「®」は明記しておりません。