米アドビシステムズが主催のクリエイティビティ・カンファレンス「Adobe MAX 2019」（ロサンゼルス）。2日目の11月5日は「スニークス」と題してAdobeの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気イベントです。
現時点では製品に未搭載であるものの、将来的に製品に組み込まれるかもしれない技術。いままでもスニークスで発表された技術のいくつかはCreative Cloudの製品に組み込まれています。今年はハリウッド映画をテーマとしたステージ装飾のなか、アドビの若手エンジニア12名が発表しました。
太陽の位置は後から修正できる
太陽の影を自在に操れる技術「Light Right Sneaks」。静止写真に対して、太陽の高さに応じて影が変わる様子をシミュレーションできます。
複数のアングルの写真を人工知能Adobe Senseiが解析し、3Dモデル化。太陽の位置を解析し、影の伸びる方向を推測します。光の傾きを強くすると夕日として写真全体は赤い色調になります。ドローンで空撮した遺跡の動画にこの技術を使うと、ハイパーラプスのような表現ができます。
フェイクニュースは全滅
レタッチした顔面写真を見破る技術「Project About Face」。
人物の顔はフォトレタッチをすると頬を小さくみせたり、瞳を大きくできます。 このツールを使うと、レタッチした部分がヒートマップとして図示されます。ピクセルが潰れている箇所がわかるためです。
Phoshotopの歪み機能を使って人物写真をレタッチすることがよくあります。わかりやすいように目を大きくしたり輪郭を変えてみます。
このツールに通すと、編集した部分がモロバレします。
驚くことに、レタッチされた写真を「Undo」をすると、補正前の画像が生成されます。インスタグラムやファッション業界で顔面のデジタル補正しているモデルは、この機能が一般化されると大変なことになりそうですね！
イラスト1枚で発話アニメーションが作れる
ボイス音声とイラスト1枚から、台詞を話すアニメーションを生成する技術「Sweet Talk」。もとになるイラストは1枚だけ。ボイス音声を与えると、リップシンクをしたアニメーション動画が生成されます。
イラストは顔認識できるものであれば実現可能。たとえば絵画からアニメーションを作成する様子が紹介されました。
世界にひとつだけの創造物
ジオメトリ（形状）とテクスチャーとしての画像を組み合わせることで、新しい写真を生成する技術「Image Tango」。Adobe Senseiのマシンラーニングが使われています。
右側を向いた「鳥」のイラストをジオメトリとして、青い鳥をテクスチャー画像とすることで、右側を向いた青い鳥の新しい写真を生成します。
服を形状画像（左）として、3種類のテクスチャー（中央）を与えると、模様の異なる服の画像を生成しています（右）。
バッグを形状画像（左）として、3種類のテクスチャー画像（中央）を与えると、形状とテクスチャーの候補を自動生成してくれます（右）。バッグは縦の長さのバリエーションも出してくれています。
適当な動画でモーションキャプチャーができる
After Effects向けのモーションキャプチャーの新しい技術「Configure Sneak」。歩行の動画から、人物の骨格構造を解析。骨格構造に基づいて映像のマスクを作り上げています。ボタン1つで解析。骨格構造はキャラクターアニメーションに展開して利用できます。
イラレで光源を扱えるようになる
Illustratorで2次元の光源を実現する技術「Project Glow Stick」。
光源としてのベクターシェイプを配置すると、他のベクターシェイプが影の影響を受けます。光は回り込むため、立体感のあるリアルなイラストが描けます。ベクターシェイプなので再編集可能なのが特徴です。
気球と雲のイラストを利用。光源を設定することで、左側から光をあてたり、右側から光をあてたり自由に調整できます。
発光体と影のオブジェクトを配置可能。それぞれを配置することで、ライティングを駆使した立体感のあるイラストを作成できるようになります。
集合写真に最適
集合写真のための合成技術「All In Sneak」。写っていない人を、あたかもその場に居るように合成できます。
ソースとなる入力画像を設定すると、人物だけを抜き出した画像が生成されます。 この人物を集合写真に配置やライティングを違和感なく合成しています。
他にも家族の写真でデモ。写真を撮影するとき、自分たちで撮影すると撮影者が写真にはいらないことはよくあります。
実行すると数秒で自動的に片方の写真にしかいない人物を合成してくれました。
音声ノイズはボタンひとつでクリアに
Adobe Auditionを使った音声加工技術「Project Awesome Audio」。 マシンラーニングのソリューションを使うことで、音声のノイズが取り除きボイスを聞き取りやすくする技術。
「Awesomize」というラベルのついた解析ボタンを押すと、音声解析が始まります。もとの音声はノイズが多く抑揚の少ない音声でしたが、音声加工することではるかに聞き取りやすくなっています。
収録レベルのバラバラの音源で実演されていましたが、Awesomizeを2度繰り返すことで、使い物にならない音源が違和感のない聞き取りやすい音声へ生まれ変わっていました。
えーあー症候群の解決に
スピーチ音声の「あー」「えー」の場所を解析し、自動的に「あー」の音を取り除くができる技術「Project Sound Seek」。まさに音のPhotoshop。
英語のボイス音声の「Ah…」の範囲を波形で選択すると、他に出現する「Ah…」の場所を特定。「Ah…」の音をすべて除去し、聞き取りやすいボイス音声になります。
この他にも、スペイン語だと言いがちな「わな」の部分を除去したり、車のクラクションの「ブー」という音も除去していました。
ARを後からビデオ編集できる
次世代のAR編集技術「Project Pronto」。収録したARビデオを後から追加編集できます。
まずはARとしてビデオを収録。ARの3D空間は座標情報なども認識されているので、角度やサイズなどAR動画に違和感なく配置できます。キャラクターの台詞を表示したり、お菓子を配置したりしています。
3Dオブジェクトの配置タイミングを時系列で編集することによって、インタラクションしているようなAR動画として完成させていました。
フォントを自在に作る
iPadでフォント字形を生成できる技術「Fantastic Fonts」。
Variable Fontsの強化版みたいなもの。Caps HeightやItalicなどの調整のほか、エフェクト系パラメーターも編集可能。フォントなので、装飾のある文字列も再編集できます。
フォントの字形をアニメーションさせることも可能。カラーフォントとして扱うこともできます。
まとめ
便利な機能がはやくCreative Cloudで使えるようになるといいですね。
過去の例を挙げると、今回のMAX 2019でPremiere Proの新機能として搭載されたオートリフレームも、去年のスニークスで発表された技術です。
Adobe MAX 2019はスニークスだけの場ではありません。TwitterでMAXの情報を発信をしているので、よければ@clockmakerをフォローくださいませ。
