NVIDIAのTensorRTはこのような需要に対応するため開発された推論エンジンの一つです。 Deploying Deep Neural Networks with NVIDIA TensorRT How to Speed Up Deep Learning Inference Using TensorRT | NVIDIA Developer Blog TensorRTは完全に静的なNNと固定のデバイス（GPU）を前提とし、あらかじめ深さ方向ないしは幅方向に隣接する層を可能な限り統合するなどの計算グラフレベルの最適化、指定されたGPU上で最も実性能の良いCUDAカーネルを計測に基づいて自動選択するなどの実装レベルの最適化、計算グラフ中の破棄可能なメモリ領域を同定し再使用するなどのメモリレベルの最適化、および16bit浮動小数点数や8bit整数を用いた低精度計算へのpost-training変換などを施します。これをビルド段階と呼びます。 推論時は、このビルド段階で構築した実行計画に基づいて処理を行うだけであるため、NVIDIA GPU上で極めて高速に順伝搬処理を行うことができます。 これまでChainerで開発・学習したモデルをTensorRT推論器に変換する仕組みはONNXを介する方法しかありませんでした。この場合少々複雑なTensorRTのC++ APIを理解し、CPUおよびGPU上の生ポインタを責任持って管理するなどの作業が生じるため、これらを可能な限り吸収しかつChainerからTensorRT化をスムーズに行うことができないかを検証するべく、実験的ツールchainer-trtを開発しました。 一言でまとめるとchainer-trtは、TensorRTのC++ APIを用いてTensorRTにNNの構造とパラメータを教え最適化を走らせることによってChainerのモデルをTensorRT推論器に変換し、またそれを実行する、といった作業を行うための薄いラッパーです。

製品開発（全般） 研究開発成果物が真の意味で実用化されるためには、ユーザの手元で実際に安定して動作する製品として扱えるようになっていなければなりません。最新の技術をいち早くユーザに届けるための製品開発を行っています。 製品開発作業では研究開発チームとともに作った機械学習のエンジンを製品に取り入れることに加え、テストも含めた製品としての安定したコードを生成していくことが求められます。また、設計の段階からパッケージングやシステムインテす。 製品開発の主な業務内容： ・研究開発成果物の製品化(I/Fの統一、リファクタリングによる品質向上、状況に合わせた作り直し) ・社内/社外研究者の研究活動を加速させるためのプラットフォーム開発 ・研究開発成果物を既存のシステムに組み込むためのミドルウェア開発(Chainer、SensorBee、etc) ・製品/サービスの運用サポート、OSSのコミュニティサポート ・製品導入支援 製品開発では次のようなスキルを持ったエンジニアを募集しています。 ・数学的な素養が要求される技術を高品質で記述・検証する能力 ・ソフトウェアテスト、CI ・UI、フロントエンド開発 ・クラウドサービス運用 ・システムインテグレーション ・コンテナ技術、OS仮想化 機械学習の製品を提供するにあたっては、機械学習以外にも考慮しなければならないこと、開発しなければならないものが多く存在します。製品開発のエンジニアとしては上記のスキルすべてを兼ね備えている必要はありません。何かしらの特化した製品開発技術を持ちそれを幅広い分野に対して柔軟に応用できる人材が求められます。ユーザの立場を考えるとどのような形で製品を提供すれば良いのか、どうすれば研究者がより快適に研究ができるのか、など機械学習の深い理解がなくてもエンジニアが製品開発の立場から考え貢献できる