Adobe MAX 2021で発表された
驚愕の画像処理技術まとめ

141
36

アドビ主催の世界最大規模のクリエイティビティ・カンファレンス「Adobe MAX 2021」(オンライン開催)。2日目の10月28日は「スニークス」と題してアドビの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気セッションです。

現時点では製品に未搭載であるものの、将来的に製品に組み込まれるかもしれない技術が紹介されます。スニークスで発表された技術はCreative Cloudの製品に組み込まれたものがあります。今年はコメディアンのキーナン・トンプソンが司会進行のもと、アドビのエンジニア9名が先進技術を発表しました。

絵画風の映像を作る技術

「Project Artful Frames」は絵画を参考画像として、動画の映像をそのタッチに仕上げる技術です。

左側の水彩画の画像をもとに、右側の動画に適用します。

すると、水彩画と同じタッチの動画が仕上がりました。

同じように、左側の鉛筆のスケッチを参考にして、右側の動画に適用。

線画タッチの映像が仕上がりました。

この技術はゴッホなどの巨匠の絵画や、雷の写真など、さまざまなソースを使うことで、新しい表現手法ができると紹介されました。

実写映像のコンテンツを理解

画像から、コンテンツをAdobe Senseiが理解し、ベクター化できる画像技術「Make It Pop」。

まずは素材写真を使います。

Adobe Senseiの技術が画像のコンテンツを識別し、写真から自動的にベクター画像を生成します。人物の足や腕、スケートボードをAdobe Senseiが理解しているので、それぞれが独立した形でパス化されています。

背景とオブジェクトの違いを識別するので、オブジェクトの図形を動かすと、手前と奥が表現されます。マスク処理で表現しようとすると手間ですが、この技術を使えば簡単に実現できます。

シェイプは元の参考用画像の情報を記憶しているので、イラストを別のポーズに再配置できます。破綻無くレイアウトされ、渦の模様もポーズにあわせて変形しています。

画像の構造や奥行きを理解しているので、遠近感を考慮してイラストを配置できます。

この技術は動画にも適用できます。

新しいポーズの写真を作り出す技術

異なるポーズの合成写真を作り出す技術「Project Strike A Pose」。

左側が入力画像で、中央が参考画像。右側のGeneratedの写真は生成された新しい写真です。もともと存在しなかった写真ですが、人物の顔や、服装などを保ったまま、新しいポーズの写真が生成されています。

後ろ向きの写真も作ることもできます(頭の後ろ側はどうやって推測したのでしょうか)。

モデルの写真をもとに、複数のポーズを生成できます。ポスターなどのグラフィックを制作するときに、手元にないポーズの素材を作り出すのに役立つでしょう。

ストックフォトだけではなく、個人的な写真でも利用できると紹介されていました。

新しい画像検索の方法

写真からポーズのボーン(骨格)を分析し、ボーン情報をもとに画像検索する技術「Project On Point」。人物のイラストをアップロードすると、ポーズがボーン情報として表示されます(左側)。このボーン情報をもとに、右側の検索一覧では、ストックフォトの中から同じポーズの写真がピックアップされています。

検索クエリのボーンは腕の角度を調整でき、再検索できます。発表ではマウスのドラッグ操作でボーンの角度を調整していました。

Adobe Stockにはさまざまな検索機能が提供されていますが、大量の画像素材があるので、コンセプトにあった素材写真を探すのに時間がかかります。Project On Pointを使うと素材を探す時間を短縮できるようになるでしょう。

イラストの着色が効率的に

ベクターアートに色と光を加える技術「Project Sunshine」。イラストに対するさまざまな機能を提供しています。

手書きで描いたスケッチを題材に解説がはじまりました。

Project Sunshineは、メニューバーから機能を呼び出すだけで、シャープなベクターアウトラインに変換します。

さらにイラストに適した配色を提案してくれます。キャラクターの歯や舌など調和を崩さないように着色しています。これもAdobe Senseiの技術とのこと。

キャラクターのイラストを解析して、自動的に影を加えることができます。「影」は自動生成で、影の角度を変更できます。

コミック全体のイラストにまとめて適用もできます。

影はパス情報であり、影だけでなくハイライト表現も加えることができます。

従来のイラスト制作では、光や影の表現を作るのに時間を要するうえに、再編集が大変でした。Project Sunshineが搭載されれば、効率良く着色作業ができるようになるでしょう。

一発でオシャレなタイポグラフィー

フォントのアウトラインを分析し、自動的に線を探して文字を装飾する技術「Project Stylish Strokes」。

ヒゲの特徴的なフォントを題材に説明。ソフトはIllustratorのように見えます。

機能を呼び出すと、一発でフォントにタイポグラフィーが適用されました。フランスをテーマに、「Paris」という文字が三色旗の色になっています。

Project Stylish Strokesはすべての文字から似ている線を探します。類似する線は同じアートワークに置き換えます。次のグラフィティーでは、斜め方向のアウトラインが矢印で表現されています。

アニメーションにも応用できます。

2次元でかしこい影を実現

Photoshopのドロップシャドウだと、現実の影と「向き」や「強さ」が違っているので不自然になりがちです。「Shadow Drop」は自然な影を生成する新しい技術です。

観葉植物の素材をキャンバスに配置し、わずかな操作をするだけで、葉の形に適した影を生成するデモが披露されました。驚くのは、これが3Dでなく、2Dレイヤーで実現されていることです。

床だけでなく壁にも自然な影を落とすこともできます。実写素材だけでなくイラストにも適用でき、さらにはアニメーションにも利用できます。イラストの変化にも影が追従していることがわかります。

実写版の自動アニメーション

静止写真から、アニメーションを作成する技術「Project In-Between」。2枚のソース画像を選択すると、その間の映像を作り出しています。画像間にある映像は、もともと存在しなかったもので、Adobe Senseiが生成した映像です。

2枚の写真は異なる表情ですが、表情がなめらかに変化しています。

生成した映像クリップはGIFとしてSNSへ投稿する、といった使い道が提案されました。

人物だけでなく犬でもこの技術を利用可能です。3枚の画像から、96枚の中間画像を生成しているとのことです。

動画版のニューラルフィルター

ビデオ内の人物を笑顔に加工する技術「Project Morpheus」。現行のPhotoshopのニューラルフィルターには人物写真を笑顔にしたり、ひげを生やす機能があります。Sneaksではこの機能の動画版の技術が発表されました。

左側の素材動画をもとに、右側の映像が作り出されていました。表情は笑顔になり、ひげが生えています。

現行のPhotoshopのニューラルフィルターは静止画にしか適用できないので、映像に適用するには一枚一枚作業するしかなく、膨大な時間がかかります。Project Morpheusを使えば、正確で一貫性がある映像が得られると利点を紹介していました。

まとめ

Adobe Senseiが発表されたのは5年前の2016年。当時から「Adobe Senseiは人間の仕事を奪うものではない、助けるもの」とアドビは方針を紹介していました。クリエイティブな判断は自分自身で行い、面倒な作業はマシンに任せる時代がやってくるでしょう。はやくCreative Cloudの製品に搭載されてほしいですね。