多様で繊細な肌の質感を評価・可視化する「肌評価AI」を開発
2021年1月22日
花王株式会社
花王株式会社(社長・長谷部佳宏)メイクアップ研究所は、人工知能(AI)技術のひとつである深層学習(ディープラーニング)を用いて、肌の見た目の印象を客観的・定量的に評価し、さらに画像化する「肌評価AI」を開発しました。この技術を応用することで、化粧感、化粧くずれの程度、年齢印象などを、客観的に評価することが可能となります。
今回の研究成果は、日本視覚学会2021年冬季大会(2021年1月20~22日・オンライン開催)にて発表しました。
【画像:https://kyodonewsprwire.jp/img/202101210021-O8-Awz5JAJD】
背景
人は、肌の色・質感などのわずかな違いを瞬時に読み取り、顔や肌の印象を感じ取ります。花王は、肌を美しく魅せるメイクアップ化粧品を提供するため、これまで見た目の肌印象を評価するさまざまな手法を開発し、化粧品開発に応用してきました。しかし、多様で繊細な肌印象の違いを人の目と同じレベルで評価することは難しく、また特殊な装置を必要とするため測定が容易ではないという課題がありました。
“肌パッチ”画像を学習する「肌評価AI」
画像解析に強いとされるディープラーニングは、顔画像を入力すると年齢などを予測するAIを構築できることが知られています。花王は、ディープラーニングのモデルに、年齢ではなく「素肌らしさ」など肌のさまざまな見た目印象を評価するように学習させることで、「肌評価AI」を構築できるのではないかと考えました。
しかし、このAIには、顔画像のどこを見て判断しているかがわからないという欠点があります。AIは、入力された画像全体から、線、点、角度、周波数などさまざまな情報を抽出し、複雑な計算を繰り返して、最終的な評価結果を導き出しますが、花王は、そのAIの評価が髪、眉、唇など肌以外の情報に影響されている可能性を懸念しました。そこで、肌以外の要素を極力排除するため、顔全体ではなく、もとの顔画像から小領域を切り出した画像“肌パッチ”を用いる方法を検討しました(図1)。
【画像:https://kyodonewsprwire.jp/img/202101210021-O9-5Yj2Oxf3】
素肌らしさと化粧肌らしさ(化粧感)といった印象を評価する「化粧感評価AI」の開発
花王は、画像認識用に設計されたディープラーニングモデルとしてすでに高い評価を得ているVGG16※1を、素肌と化粧肌を判別するという目的に合わせて再学習させ、「化粧感評価AI」の構築に取り組みました。
まず、化粧感を評価するのに最適な肌パッチのサイズを検討しました(図2)。20~70代の日本人女性269名の素肌と化粧肌の顔画像を同一の撮影装置で撮影し、8.9×8.9mmから44.5×44.5mmまでの異なるサイズで切り出してデータセットを構築。肌パッチサイズごとに、素肌と化粧肌を判別するAIモデルをつくり、それらを学習用画像とは異なる撮影装置・照明条件で撮影した素肌・化粧肌の顔画像に適用し、判別精度を評価しました。その結果、17.8mmの肌パッチで学習したモデルの精度が最もよいことがわかりました。
※1オックスフォード大学のVisual Geometry Groupが開発した16層の画像認識モデル
【画像:https://kyodonewsprwire.jp/img/202101210021-O10-lH5i5RJB】
次に、20~70代の日本人女性512名のベースメイク塗布前後の画像を撮影し、この画像から17.8mm四方の領域を切り出して計43,897枚からなる“肌パッチ”を作成、AIにこの肌パッチデータセット画像を学習させました。その結果、1枚1枚の肌パッチが素肌であるか、化粧肌であるかを92.7%の精度で判別できました。このAIは、肌パッチ画像からさまざまな肌特徴を解析し、判別の根拠となる素肌/化粧肌らしさを示す数値を、1枚の肌パッチごとに出力します。その肌パッチの結果を統合すると、顔全体の肌の印象を総合評価したり、化粧感の分布を画像化したりすることが可能です(図3)。
【画像:https://kyodonewsprwire.jp/img/202101210021-O11-8pum8P2Q】
花王は、このような複数の肌パッチ評価データを統合した結果は、実際の見た目の肌の化粧感と関係すると考え、学習に用いた512名中269名の顔画像について、AIによる結果と訓練された5名の判定者による化粧感の評定を比較しました。その結果、高い精度で相関を確認できた(R=0.72)ことから、この手法で化粧肌らしさといった印象を評価可能な「化粧感評価AI」が構築できたと考えます。
花王ではこのAIを、開発したパウダーファンデーションの素肌らしさの評価などに活用しています。
さまざまな肌印象を評価するAIへの応用
今回構築した手法は、肌パッチデータセットや学習方法を調整することで、化粧感評価以外にもさまざまな応用が可能です。花王では、肌年齢の推定、化粧くずれの程度などの評価を行なうAIモデルをこの技術を応用して構築しています。
たとえば、「化粧くずれ度評価AI」では、化粧くずれが鼻、頬、額など皮脂が出やすい部位から進行すること、化粧持ち効果を狙って設計した化粧下地は明らかに皮脂による化粧くずれを低減させていることなどを容易に画像化することが可能です(図4)。
【画像:https://kyodonewsprwire.jp/img/202101210021-O12-BuiU84A5】
異なる化粧下地を使用した上に同一のファンデーションを塗布し、直後、4時間後、8時間後、10時間後の化粧状態を撮影。
画像をAIで解析し化粧くずれ度を可視化
まとめ
今回、ディープラーニングに使用する情報として顔画像から小領域を切り出した肌パッチを用いることで、今まで目視評価に頼らざるを得なかった肌印象を精緻に評価できる「肌評価AI」を構築できました。キメ、毛穴、シワ、化粧料の分布など肌評価において重要な要素を見極めるために、独自に有効な特徴を見つけ出すというディープラーニングの特長が最大限発揮される手法であると考えます。今後もAIの改良を進め、評価項目の範囲を広げるとともに、肌実態調査や化粧品の商品評価に広く活用することで、より魅力的な化粧品開発につなげていきます。
『トリミングで震える犬』と目が合った瞬間…『まさかの表情』が面白すぎると155万表示「薄情者…って顔で草」「吹いた」「可愛すぎるw」
米倉涼子ガルアワ「心は一緒に歩いていました」西田敏行さん楽曲バックに動画「女優魂すごい」
【DeNA】死球で負傷交代した佐野恵太が巨人大勢から謝罪される ともにプレミア12メンバー
綾小路翔、66歳超大物歌手からの「氣志團万博」出演意向に「はわわわわわ…。身に余るお言葉」
【山形】「ゲームチェンジャー」2人のゴールで6戦連続複数得点6連勝 清水のJ1昇格阻止
古豪・龍谷大平安が大敗「戦う気持ちがない。話にならない」原田監督、精神面の弱さ指摘
巨人戸郷翔征-DeNAケイ/21日予告先発
【新潟】キレキレ田中達也コーチがルヴァン杯決勝出場視野?ミニゲームでゲットゴール
米機密が流出か イスラエルのイラン報復計画巡る資料 米報道
ガスワンのCMに出演中の女性、長澤まさみに似て可愛いと話題に
俳優・西田敏行さん死去 76歳 「釣りバカ日誌」「おんな太閤」
ほんこん、殺害予告メール脅迫うけ被害届提出を決意「こういう卑怯なことを…屈したらあかん」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
足立梨花、際どく加工された自身のグラビアに不快感「まじで気持ち悪いです」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
女性歌手「変態も堂々と街を歩ける社会…そんなのみんな望んでいたんだろうか」多様性めぐり持論
ドジャースの23歳が大敗ムード打ち消す2打席連発 伏兵9番打者で大敗ムードから乱打戦に
明石家さんま、“恋愛寸前の仲”だった大物女優とのツーショに反響「当時噂にもなったんですよ」
おぎやはぎ暴露「すごい態度悪い、ただのヤンキー」結婚発表した27歳女優のデビュー直後を回想
俳優・西田敏行さん死去 76歳 「釣りバカ日誌」「おんな太閤」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
ほんこん、殺害予告メール脅迫うけ被害届提出を決意「こういう卑怯なことを…屈したらあかん」
足立梨花、際どく加工された自身のグラビアに不快感「まじで気持ち悪いです」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
女性歌手「変態も堂々と街を歩ける社会…そんなのみんな望んでいたんだろうか」多様性めぐり持論
ドジャースの23歳が大敗ムード打ち消す2打席連発 伏兵9番打者で大敗ムードから乱打戦に
明石家さんま、“恋愛寸前の仲”だった大物女優とのツーショに反響「当時噂にもなったんですよ」
『トリミングで震える犬』と目が合った瞬間…『まさかの表情』が面白すぎると155万表示「薄情者…って顔で草」「吹いた」「可愛すぎるw」
米倉涼子ガルアワ「心は一緒に歩いていました」西田敏行さん楽曲バックに動画「女優魂すごい」
【DeNA】死球で負傷交代した佐野恵太が巨人大勢から謝罪される ともにプレミア12メンバー
綾小路翔、66歳超大物歌手からの「氣志團万博」出演意向に「はわわわわわ…。身に余るお言葉」
【山形】「ゲームチェンジャー」2人のゴールで6戦連続複数得点6連勝 清水のJ1昇格阻止
古豪・龍谷大平安が大敗「戦う気持ちがない。話にならない」原田監督、精神面の弱さ指摘
巨人戸郷翔征-DeNAケイ/21日予告先発
【新潟】キレキレ田中達也コーチがルヴァン杯決勝出場視野?ミニゲームでゲットゴール
米機密が流出か イスラエルのイラン報復計画巡る資料 米報道
ガスワンのCMに出演中の女性、長澤まさみに似て可愛いと話題に