金融庁「FinTech実証実験ハブ」の試験結果を報告

株式会社FRONTEOは、金融庁のFinTech実証実験ハブ*に選定された、金融機関の業務における「人のみによるチェック」と「人工知能KIBITを活用したチェック」での業務生産性の比較試験を行ったが、その結果について発表した。
この実証実験に参加した金融機関は、三菱UFJ銀行はじめ、りそな銀行、横浜銀行、SMBC日興証券で、2018年5月から実証実験に取り組んだ。

■実証実験の概要

対象業務：【銀行】投資信託などの金融商品販売時の営業応接記録のチェック業務
【証券】通話録音記録からのお客さまのご意見・お申し出のチェック業務
実験内容：応接記録や音声通話記録から決められた時間内で「正解＝チェック業務で見つけるべき記録」を何件見つけ出せるか
金融機関はこれまで、金融商品販売時の大量の応接記録や、ユーザーからの意見や申し出の膨大な記録を、人でのみチェックしてきた。今回の実証実験は、ランダムに正解があらわれる記録を人のみでチェックした場合と、KIBITがスコアリング（点数付け）し、優先順位が付けられた記録を人がチェックする場合での検出精度や生産性、作業の標準化率などを定量的に比較測定したものである。

比較試験の結果を比較したものが以下の図表である。

KIBITがチェックに要した時間は、人のみと比べると、銀行の場合、38％短かかった。証券の場合は、55％も短く作業が完了できた。KIBITを用いた場合の正解検出率（正解検出件数÷用意された正解数）は、人のみの場合と同等以上で、KIBITが人が持つ暗黙知を十分に学習できたことがわかる。また、人のみの場合と比べ、すべての記録を高速で網羅的にチェックができるし、作業時間が大幅に短縮されることもわかった。
【実証実験全体のまとめ】

決まった時間（単位時間）あたりでのサンプルチェックでも、KIBITの正解検出数は、人の約2倍となった。
今回の実証実験は、チェック業務の実施者に「（業務経験が）豊富」「やや豊富」「短い」という経験の異なる被験者を用意し、時間当りの正解検出件数の分散度を測定した。その結果、KIBITは、時間当りの正解検出件数のバラツキが少なく、業務経験やスキルに違いがあるスタッフがチェック作業を行っても、品質の差が少なくなる、標準化の効果があることがわかった。
検出能力の高度化でも、確認した記録の中に含まれる正解の割合（適合率）や、用意された正解をどれぐらい見つけられるか（再現率）などでも精度が向上することがわかった。
【銀行の場合】

【証券の場合】

実証実験の結果を受けて、参加した金融機関は、「総じて効果が高く、今後のチェック業務において更に活用していきたい」という意向を示した。チェック業務で人工知能を活用する際の金融機関からの懸念点と、監督指針における金融庁からの見解は、以下のとおりだ。
【金融機関からの懸念点】
チェック業務で、AIによる一次チェック、人による二次チェックを行う運用問題があるか。各金融機関で、AIによる判定基準を独自に設定し運用することに問題があるか。各金融機関で、AIの学習済みモデルの信頼性を確認する周期を独自に設定することは問題があるか。
【金融庁からの見解】
AIによる判定基準や学習済みモデルの信頼性等に関する検証を合理的な方法・間隔で行うなど、適切な運用がなされているのであれば、法令・監督指針上、金融機関による確認業務に関し、AIによる一次確認を介する運用を行うことに特段の問題はないと考えられる。

【ニュース提供・エムトレ】




＜US＞