台帳型連合学習のポイント


通信量を動的に制御し大幅削減


台帳型連合学習のスコア比較

株式会社Rosso(ロッソ 東京都渋谷区、代表取締役：川畑 和成、以下：Rosso)は、台帳型連合学習(特許出願中)を開発し、完全非同期かつ通信量を大幅に削減した連合学習(※1)を実現しました。(40％以上の通信量削減を2024年7月31日に確認)
複雑な実装や処理が必要な従来型連合学習と比べ、台帳型は非常にシンプルな構成で実装でき、導入コストが低いのが特徴です。今後は物体検出や物体追跡分野への適用を目指します。

※1：連合学習とは、データが複数拠点に分散している状態からAIを作る仕組みを指します。従来の機械学習とは異なり、学習時にデータを1か所に集めないことが特徴です。個々で所有しているデータを中央サーバーに送る必要がないため、個人情報などプライバシーに関わるデータや拠点外部に持ち出したくない機密情報を保護しながら、データを活用することが可能です。


【従来型連合学習の課題】
・サーバー側で平均化処理を行うため、各クライアントは平均化処理を待つ同期処理が必要だった
・巨大なAIモデルを扱う場合、サーバー側に平均化処理を行うためのGPUを必要としていた

Rossoでは、これらの課題を解決し連合学習をよりシンプルで導入しやすいものとするべく、台帳型連合学習を提案します。


【Rosso開発、台帳型連合学習の概要】
台帳型連合学習技術のポイントは、下記3点です。

(1) 従来サーバー側で行っていたAIモデルの平均化処理をクライアント側で実行
→各クライアントはサーバー側での平均化処理を待つ必要がなくなり、完全に非同期で学習を進めることが可能となる

(2) サーバー側でのGPUを用いた行列演算処理が不要
→サーバーは各クライアントとネットワークで繋がっているだけでよいため、非常にシンプルな構成となり、従来型と比べて容易に導入できる

(3) 各クライアント毎の学習状況に応じて通信量を制御
→通信コストの削減が可能

画像1: https://www.atpress.ne.jp/releases/403008/LL_img_403008_1.png
台帳型連合学習のポイント

【通信量削減手法も同時に開発】
連合学習ではネットワークを介しながらAIの学習を行うため、通信量がボトルネックとなるケースもあります。当然、台帳型連合学習もその例外ではありませんが、Rossoでは台帳型連合学習に特化した最適化手法も同時に開発し、各クライアントの学習状況に応じて動的に通信量を変更できるアルゴリズムを実現しました。これにより固定された通信量で学習したケースと比較して、40％以上の通信量が削減されたことを確認しています。
また、この最適化手法は非IID(※2)なデータセットに対しても有効に働きます。例えば物体検出で連合学習を行う場合、通常は各カメラの画像の明るさや人の大きさ等、全く異なる環境で撮影されると、モデルの特徴量を集約しきれず、連合学習がうまく進みません。しかし、Rossoが提案する台帳型連合学習アルゴリズムはその点を考慮しているため、上記のようにデータの偏りが激しい環境でも十分に効果を発揮します。

※2：各クライアントのデータ分布が異なる環境

画像2: https://www.atpress.ne.jp/releases/403008/LL_img_403008_2.png
通信量を動的に制御し大幅削減

【今後の展開】
現在Rossoでは、台帳型連合学習を物体検出や物体追跡といった分野に適用させるための実験を行っています。
物体検出タスクにおいては、YOLO-NASモデルのファインチューニングにて、連合学習を用いない単体学習よりも高いスコアが出せるケースを確認しており、十分に実用に耐え得るレベルです。
また連合学習であるがゆえ、プライバシーの配慮が必要となる物体追跡タスクにおいても、その効果を発揮できるものと考えます。
台帳型連合学習と物体検出タスクを組み合わせ、クラウドサービスとして提供することも検討中です。

画像3: https://www.atpress.ne.jp/releases/403008/LL_img_403008_3.png
台帳型連合学習のスコア比較

【Rosso事業・サービス内容】
・サクッとAI https://www.rosso-solution.com/ai
・サクッとクラウド https://www.rosso-solution.com/cloud
・受託開発(AI／機械学習、webアプリケーション、インフラ構築・運用)
・AI／機械学習ソリューション提供(自然言語処理、画像／映像処理、深層学習)
・システムエンジニアリングサービス(SES)


【会社概要】
代表 ： 代表取締役 川畑 和成
所在地 ： 〒150-0047 東京都渋谷区神山町7-12 グランデュオ神山町5F
設立 ： 2006年
資本金 ： 1億円
URL ： https://www.rosso-tokyo.co.jp/


【お問い合わせ先】
株式会社Rosso
〒150-0047 東京都渋谷区神山町7-12 グランデュオ神山町5F
ホームページ： https://www.rosso-tokyo.co.jp/
担当者 ： 宮地 貴士
E-mail ： takashi_miyaji@rosso-tokyo.co.jp
TEL ： 03-6427-9037
情報提供元： ＠Press