株式会社Rossoが開発した台帳型連合学習が、通信量を大幅に削減し、完全非同期の学習を可能にしています。
開発の背景:台帳型連合学習の特性
株式会社Rosso(以下:Rosso)が手がけた台帳型連合学習は、完全非同期での学習を実現しつつ、通信量も大幅に削減するという特性を持っています。従来型の連合学習と比較して複雑な実装や処理が不要で、さらに導入コストも低いのが特長です。台帳型連合学習の概要
台帳型連合学習の主要なポイントは以下の3つです。ポイント1:従来サーバー側で行っていたAIモデルの平均化処理をクライアント側で実行。各クライアントはサーバー側での平均化処理を待つ必要がなく、完全に非同期で学習を進めることができます。
ポイント2:サーバー側でのGPUを用いた行列演算処理が不要。サーバーは各クライアントとネットワークで繋がっているだけで良いため、非常にシンプルな構成となり、従来型と比較して容易に導入できます。
ポイント3:各クライアント毎の学習状況に応じて通信量を制御。通信コストの削減が可能
通信量削減手法について
台帳型連合学習は、各クライアントの学習状況に応じて動的に通信量を変更することができる最適化手法も同時に開発されています。これにより、固定通信量で学習するケースと比較し、40%以上の通信量削減が確認されています。今後の展開
現在、Rossoでは台帳型連合学習を物体検出や物体追跡という分野へ適用させるための実験を行っています。また、この技術をクラウドサービスとして提供することも検討中です。関連リンク:
https://www.rosso-solution.com/ai
https://www.rosso-solution.com/cloud
https://www.rosso-tokyo.co.jp/