モザイク破壊の話をする前に、そもそも「モザイク」という映像加工について触れておきましょう。そもそもモザイク処理とは、特定部分の色の平均情報を算出して解像度を下げるという映像処理のこと。非可逆変換なので、いわゆる「除去」というのは理論的に不可能です。しかし、TecoGANによるモザイク破壊動画はそれを可能にします。

TecoGANはAIを使って高解像度化する

モザイクはブロックが大きいと全く見えず、細かいとある程度は想像できますが、元の情報が失われてしまっている以上、どんなにがんばってもモザイクを取り除いた映像が見えるようになることはありません。

実際、モザイク部分を拡大してみると、映像がブロック状になり単色で塗り潰されていることが分かるはず。ここに加工前の情報は一切含まれていません。

それでは、AIによるモザイク除去とはどういうものなのでしょう。そこで使われているのが「TecoGAN(TEmporally COherentGAN)」というアルゴリズムです。

TecoGANはAIを用いた動画向けのアップコンバータで、解像度の低い映像を機械学習によって高解像度化するというもの。つまり、TecoGANによるモザイク破壊動画とは、モザイク部分をAIを使って高精度に高解像度化したものといえるでしょう。

TecoGANの実力をサンプルで体験できる

直前のフレームの動きと低解像度フレームを元に、高解像度フレームを生成するのがTecoGANの仕組みで、前後のコマの動きからAIが映像を予測して補完するのが特徴です。

単純な高解像度化に比べて、圧倒的に自然で滑らかな映像を再現しています。モザイクのような低解像度の部分が連続で動く映像に、TecoGANの技術がピッタリとハマったわけです。

TecoGAN自体はオープンソースなので、自由に使用可能です。世界中のエンジニアが公開用のプログラムをアップして共有する「GitHub」内には、TecoGANのォーラムが存在。デモ用のサンプルも用意されているので、TecoGANの実力を体験できます。

TecoGANによる高解像度化のサンプルを見ると、AIが前後のコマを検知して、高解像度の映像を生成していることが見て取れます。そのため、TecoGANによる高解像度化は静止画には使えません。(文/pusai)

【関連リンク】
テレビの裏ワザ満載「カラバコ」を知っている?
Amazon Fire TVの機能を強制的に拡張する方法
大流行中「Android TV BOX」表と裏の顔とは?
KODIをAmazon Fire TVにインストールする方法
ニコニコ動画をアカウントなしで視聴する方法

情報提供元 : ラジオライフ
記事名:「 モザイク破壊動画で使われる「TecoGAN」とは?