VR映像を3D化することで臨場感をたかめる技術「Project Sidewinder」

VR映像に深度マップを適用することで、よりリアリティーのあるVRにする試み。VR映像はただの平面であるため、臨場感に欠けていました。

解決の手段として、深度マップも記録するようにします。

通常のVR映像と、Project Sidewinderを使ったVR映像を比較しましょう。まずは通常のVR映像。

Project Sidewinderを使ったVR映像。塀の部分が立体的に見え、臨場感が増しています。

スニークスでの発表の動画は公式チャンネルで見れます。1分50秒あたりからのデモがオススメ。この技術の凄みは実際にビデオを見てもらったほうがわかりやすいです。

落書きから3Dモデルを検索する技術「Project Quick 3D」

手描きのイラストからAdobe Stockの3Dモデルを見つけ出す仕組みです。雑な手描きのイラストでも、Adobe Senseiによるディープラーニングによって的確に3Dモデルをピックアップしています。

新しい3DツールAdobe Dimentionと組み合わせたクリエイティブのワークフローも紹介。

コンテンツを理解する塗りつぶし機能「Project Deep Fill」

数百万のデータを学ばせたAdobe Senseiの画像系ディープラーニング。コンテンツを理解したうえで不要なオブジェクトを取り除いてくれるので、間違った画像にならないのが特徴です。

左側が元画像です。眉とこめかみをマスクで隠しています。これを「コンテンツに応じた塗りつぶし」(現行Photoshopに搭載の機能)で処理したものが右側の画像。目の数がおかしくなっています。ProjectDeepFillで処理したのは真ん中の画像。人物の顔が見事に復元しています。

左側が元画像です。写真内の人物が邪魔なので削除します。これを「コンテンツに応じた塗りつぶし」(現行Photoshopに搭載の機能)で処理したものが右側の画像。岩の形状がおかしくなっています。ProjectDeepFillで処理したのは真ん中の画像。違和感なく人物を削除できています。

洞中の形状をハート型に調整することも可能。Adobe Senseiによって画像加工の自由度が高まっていますね。

スニークスでの発表の動画は公式チャンネルで見れます。0分50秒か顔についたマスクを除去するデモを披露しています。

領域内にグラフィックを埋め尽くす技術「Physics Pak」

物理演算を利用し、領域内にコンテンツを敷き詰める技術。Illustratorを用いて形状にあわせ手作業で配置するのは試行錯誤の連続で面倒です。

この技術を使えば3時間の作業が2秒で終わります。

「Adose Senseiを使ったセンセーショナルな技術」と発表者が紹介。この技術で作ったものは汎用的なベクターフォーマットのSVGとなるので、別のソフトウェアの素材としても活用できると示しました。

スニークスでの発表の動画は公式チャンネルで見れます。シェイプがレイアウトされていくシミュレーション(1分45秒)で拍手喝采となります。

次のページでは、残りの4つの技術を紹介します。動画で不要なものを削除する技術、データビジュアライゼーションの技術があります。