AI(人工知能)の世界最高峰の国際会議 「NeurIPS 2022」で論文採択
2022年9月27日
立教大学
報道関係各位
立教大学大学院人工知能科学研究科(所在地:東京都豊島区、研究科委員長:内山 泰伸)の博士後期課程1年次の立浪 祐貴 さん(AnyTech株式会社 勤務)と瀧 雅人 准教授の研究成果が、機械学習分野の国際会議の一つである「NeurIPS 2022 」(Neural Infomation Proccessing Systems)に採択されたことをお知らせいたします。
「NeurIPS」は毎年開催される機械学習分野の国際会議で、機械学習・深層学習・強化学習・学習理論等の分野において、世界最高峰と目される会議です。今年は10,411件の投稿の中から、25.6%の論文が採択されています。採択された論文は、2022年11月28日から12月9日まで米国ルイジアナ州ニューオリンズで開催される「NeurIPS 2022」にて発表を行います。
本研究では、先端的なコンピュータビジョンにおいて用いられるTransformerのアテンション機構が、古典的なリカレントニューラルネットで代用可能であることが明らかにされました。さらにこの発見に基づき、畳み込みもアテンション機構も用いない新たな画像認識モデル、Sequencerを提案しました。Sequencerは、純国産の画像認識モデルとしては初めてPytorch Image Modelsに採用されました。
【画像:https://kyodonewsprwire.jp/img/202209267134-O1-Y6b6xInB】
画像認識のための二つのアプローチの模式図。
上図:アテンション機構を使って、画像のパッチを大域的に相互作用させる。
下図:リカレントニューラルネットを使って、逐次的に画像のパッチの情報を集約する。
研究背景
深層学習が幅広いタスクにおいて極めて高い性能を達成できる理由の一つは、ネットワーク構造のデザインの柔軟性にあると言われています。つまり良いネットワーク構造は、課題タスクに関する事前知識(以下、帰納バイアス)をうまく反映し、その構造を通じて学習を手助けするヒントが与えられるのです。
例えばコンピュータビジョンにおいては、2012年頃の深層学習のブレイクスルー以来、畳み込みニューラルネット(以下、CNN)が帰納バイアスのデファクトスタンダードでした。CNNがコンピュータビジョンの強力な手法であるという認識は、1970年代の福島 邦彦 氏によるネオコグニトロンの発見以来のものです。
ところが2020年、コンピュータビジョンにおいて劇的な発見がなされました: アテンション機構から成るVision Transformerと呼ばれるネットワークを用いると、さまざまなコンピュータビジョンタスクにおいてCNNを上回る性能を達成できることが判明したのです。アテンション機構は元々、自然言語処理の研究において発見された帰納バイアスです。近年の機械翻訳、言語生成、テキストからの画像生成などの華々しい成果は、どれもアテンション機構を用いて実現されています。このような強力な仕組みがコンピュータビジョンでも有用であることが分かってきたため、今後コンピュータビジョンにおいても、デファクトスタンダードの地位がCNNからアテンション機構へと移り変わっていくと、多くの専門家が考えています。
研究成果
本研究では、コンピュータビジョンにおいてはアテンション機構をよりシンプルな帰納バイアスに置き換えられることを発見し、新たな画像認識モデルSequencerを提案しました。Sequencerは、他の先端的な手法と競争的な精度を達成する画像認識モデルです。
2020年頃より、アテンション機構はコンピュータビジョンにおいて重要な地位を占めるようになりました。ところがその一方で、2021年にはアテンション機構の重要性に疑問を投げかけるような研究結果も現れ始めています。 そのため現在、コンピュータビジョンモデルにおいてアテンション機構がどのような役割を果たしているのか、そもそも必要な機構なのかという問が、重要な研究テーマとして国際的に注目されています。
このような背景のもと、本研究ではアテンション機構をリカレントニューラルネット(以下、RNN)という古典的な機構で置き換えると、モデルの画像認識精度が向上することを発見しました。アテンション機構のような複雑な仕組みを使わずとも、数十年前から知られているRNNによってその肩代わりができるのです。この結果は、アテンション機構は必ずしも必要ではないことを意味し、その役割を考え直す必要を迫るものです。
そればかりか、提案モデルであるSequencerは先端的なCNNの性能も凌駕します。つまりRNNは、画像認識に適した帰納バイアスであることが判明したのです。本来RNNは時系列処理のために開発された手法です。そのためRNNによって先端的な画像認識性能が達成できることは、これまで全く気づかれていませんでした。この結果は、今後のコンピュータビジョンモデルの設計指針に対し、新たなアプローチを提供する可能性があります。
今後の期待と課題
SequencerはCNNやVision Transformerに比べて、処理速度が遅い問題があります。その実用性向上のため、処理速度の改善が今後の重要な課題です。また、これまでCNNやアテンション機構が用いられてきた応用的なコンピュータビジョンのタスクにおいて、Sequencerが適用されると期待できます。それだけでなく、アテンション機構に思わぬ比較対象が出現したことで、アテンション機構のより深い理解につながる研究の契機となることも期待されます。
キーワード
・NeurIPS(Neural Infomation Proccessing Systems):機械学習と計算神経科学に関するトップレベルの国際会議。
・ コンピュータビジョン:コンピュータに画像の認識や処理を行わせる分野。
・ アテンション機構:人が重要な情報だけに注意(アテンション)を向けるように、深層学習モデルが重要な情報を自身で判断して、そこに注意を集中させる仕組み。
・ Transformer:アテンション機構を使って作られた深層学習モデル。主に、機械翻訳のような自然言語の処理に用いられる。
・ Vision Transformer:画像認識を行うために改良されたTransformer。
・ 帰納バイアス:アルゴリズム自体など、データ以外の経路を通じて、機械学習モデルが得る学習に役立つヒント。
・ 畳み込み:局所的な情報を集約することで、画像などから情報抽出をする手法。一種のフィルタリング。
・ 畳み込みニューラルネット:畳み込みを使った画像に特化したニューラルネット。
・ リカレントニューラルネット:時系列データを順次処理することで、時間軸にわたるデータの関連性を学習できるニューラルネット。
・ Pytorch Image Models:学術界・産業界問わず、最も広く使われている、最先端の画像分類ライブラリの一つ。
論文情報
・ 論文タイトル
Sequencer: Deep LSTM for Image Classification
・ 著者
Yuki Tatsunami, Masato Taki
・ 論文リンク
https://arxiv.org/abs/2205.01972
片岡凜「今の子は和式トイレ使えないから洋式に改修して」駅員に怒鳴る女性の”衝撃発言”披露
上地雄輔「間も無く還暦に全く見えない」大物女優とデート?「天然さんでかわいい方なんですね」
【阪神】虎党ブーイング 1イニング2つ目、糸原健斗への死球に 前日木浪が死球で左肩甲骨骨折
桂ざこばさんと“バトル”した田嶋陽子氏「いや~、困った人でしたよね」「いい味のある人」追悼
【楽天】鈴木大地が全12球団からの本塁打を達成 小技もできる“つなぎの4番”がガッツポーズ
「千鳥の鬼レンチャン」でおなじみの池ちゃん オープニングアクトで圧倒的歌唱力を披露
カズJFL鈴鹿入り「ほぼ合意している。もうサインするだけ」香川真司激励の自主トレ打ち上げ
鈴木夢、「福くんより福くん」の声に茶目っ気たっぷり「ん~まぁ…」
STU48念願の初アルバム発売に気合のパフォーマンス 中村舞「歴史が詰まっています」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
片岡凜「今の子は和式トイレ使えないから洋式に改修して」駅員に怒鳴る女性の”衝撃発言”披露
上地雄輔「間も無く還暦に全く見えない」大物女優とデート?「天然さんでかわいい方なんですね」
【阪神】虎党ブーイング 1イニング2つ目、糸原健斗への死球に 前日木浪が死球で左肩甲骨骨折
桂ざこばさんと“バトル”した田嶋陽子氏「いや~、困った人でしたよね」「いい味のある人」追悼
【楽天】鈴木大地が全12球団からの本塁打を達成 小技もできる“つなぎの4番”がガッツポーズ
「千鳥の鬼レンチャン」でおなじみの池ちゃん オープニングアクトで圧倒的歌唱力を披露
カズJFL鈴鹿入り「ほぼ合意している。もうサインするだけ」香川真司激励の自主トレ打ち上げ
鈴木夢、「福くんより福くん」の声に茶目っ気たっぷり「ん~まぁ…」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
STU48念願の初アルバム発売に気合のパフォーマンス 中村舞「歴史が詰まっています」