米Adobe Systemsが主催の世界最大のクリエイティビティ・カンファレンス「Adobe MAX 2017」（ネバダ州ラスベガス）。二日目の10月19日は「スニークス」と題してAdobeの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気イベントです。
ここで発表されたものは現時点では製品に搭載されていないものの将来的に製品に組み込まれるかもしれない技術。過去の例を挙げると、Photoshopのディフォグ（霧を増減させる）機能やマッチフォント機能、最新のPremiere Proに搭載されたイマーシブ空間内での編集機能もかつてスニークスで発表された技術です。本記事では発表された11のテクノロジーを、現地のイベントに参加したスタッフ（池田）がレポートします。
今年は人工知能Adobe Senseiをフル活用した次世代技術のオンパレードでした。
▲2017年10月19日（米国時間）の目玉プログラム「スニークス」。今年は水平130Mの巨大なスクリーンが用いられた
▲Adobe MAX 2017には12,000人が参加。写真は巨大な会場の一部。ビールを片手に発表を愉しむ
モノクロの写真やイラストを自動着色する技術「Project Scribbler」
人工知能のAdobe Senseiが数千万枚の写真を学習して、モノクロ写真に色をつけます。膨大なアーカイブ写真から肌色などを判断するので精度が高いのが特徴です。
Adobe Senseiはイラストにも着色できます。イラストは落書きレベルのものからでもしっかり着色。学習ソース量が膨大なので高精度で仕上がってます。
鞄のイラストにテクスチャを指定すると、鞄を描かれます。左のようにザックリとした指定でもいいのですね。
Project Scribblerを用いて着色したイラストの完成品。この品質のものがほぼ自動でできるので、イラストや漫画制作の人力作業が大幅に楽になりそうです。
スニークスでの発表の動画は公式チャンネルで見れます。鞄のテクスチャーを設定するデモ（4分00秒）が一番盛り上がっています。
コンテンツに応じた塗りつぶしに人工知能を加えた技術「Scene Stitch」
クリックするだけで写真の全景をいい感じに差し替えてくれる技術。PhotoshopやLightroomに搭載の「コンテンツに応じた塗りつぶし」機能を人工知能が補完することで実現しています。選択した領域にフィットするように、Adobe Senseiがストックフォトから適した写真を選び自動的にコラージュします。
たとえば次の自然の写真から、道路を取り除きましょう。
従来の「コンテンツに応じた塗りつぶし」だと違和感があります。
Scene Stitchを使うと、ストックフォトから複数の合成パターンを提案してくれます。
公園の写真を例に実演。緑の芝生が消えて、ゴルフ場が合成されました。
街の写真を例に。手前の街が消えて、浜辺が合成されました。
スニークスでの発表の動画は公式チャンネルで見れます。Adobe Senseiによって合成された写真を表示するデモ（2分00秒）が最初の盛り上がりです。
画風を人物写真に適用する技術「Project Puppetron」
画風をAdobe Senseiが解析し、人物写真に適用する技術です。右の人物写真を、左の漫画の画風に自動変換します。
漫画のような画風に変換されました。
さまざまな画風に対応しています。
画風だけではなく、動物にも木彫りにも銅像にも変化させられます。
また、Adobe Character Animatorでリアルタイムで合成するといった応用例も示されました。
スニークスでの発表の動画は公式チャンネルで見れます。0分30秒からのデモの連続がオススメ。2分40秒以降は、この技術では表現調整が可能なことも示しています。
VR映像を3D化することで臨場感をたかめる技術「Project Sidewinder」
VR映像に深度マップを適用することで、よりリアリティーのあるVRにする試み。VR映像はただの平面であるため、臨場感に欠けていました。
解決の手段として、深度マップも記録するようにします。
通常のVR映像と、Project Sidewinderを使ったVR映像を比較しましょう。まずは通常のVR映像。
Project Sidewinderを使ったVR映像。塀の部分が立体的に見え、臨場感が増しています。
スニークスでの発表の動画は公式チャンネルで見れます。1分50秒あたりからのデモがオススメ。この技術の凄みは実際にビデオを見てもらったほうがわかりやすいです。
落書きから3Dモデルを検索する技術「Project Quick 3D」
手描きのイラストからAdobe Stockの3Dモデルを見つけ出す仕組みです。雑な手描きのイラストでも、Adobe Senseiによるディープラーニングによって的確に3Dモデルをピックアップしています。
新しい3DツールAdobe Dimentionと組み合わせたクリエイティブのワークフローも紹介。
コンテンツを理解する塗りつぶし機能「Project Deep Fill」
数百万のデータを学ばせたAdobe Senseiの画像系ディープラーニング。コンテンツを理解したうえで不要なオブジェクトを取り除いてくれるので、間違った画像にならないのが特徴です。
左側が元画像です。眉とこめかみをマスクで隠しています。これを「コンテンツに応じた塗りつぶし」（現行Photoshopに搭載の機能）で処理したものが右側の画像。目の数がおかしくなっています。ProjectDeepFillで処理したのは真ん中の画像。人物の顔が見事に復元しています。
左側が元画像です。写真内の人物が邪魔なので削除します。これを「コンテンツに応じた塗りつぶし」（現行Photoshopに搭載の機能）で処理したものが右側の画像。岩の形状がおかしくなっています。ProjectDeepFillで処理したのは真ん中の画像。違和感なく人物を削除できています。
洞中の形状をハート型に調整することも可能。Adobe Senseiによって画像加工の自由度が高まっていますね。
スニークスでの発表の動画は公式チャンネルで見れます。0分50秒か顔についたマスクを除去するデモを披露しています。
領域内にグラフィックを埋め尽くす技術「Physics Pak」
物理演算を利用し、領域内にコンテンツを敷き詰める技術。Illustratorを用いて形状にあわせ手作業で配置するのは試行錯誤の連続で面倒です。
この技術を使えば3時間の作業が2秒で終わります。
「Adose Senseiを使ったセンセーショナルな技術」と発表者が紹介。この技術で作ったものは汎用的なベクターフォーマットのSVGとなるので、別のソフトウェアの素材としても活用できると示しました。
スニークスでの発表の動画は公式チャンネルで見れます。シェイプがレイアウトされていくシミュレーション（1分45秒）で拍手喝采となります。
映像の中の不要なものを削除する技術「Project Cloak」
カメラのアングルモーションがある動画で、「コンテンツに応じて塗りつぶし」を適用する技術。電柱や観光客の除去を実演。
スニークスでの発表の動画は公式チャンネルで見れます。3分15秒あたりで動画のマスクの生成結果と、除去の結果を披露しています。YouTubeでは、今回発表された11のテクノロジーの中でこの発表がダントツで人気です。
VR/360度映像時代のサウンド編集技術「Sonic Scape」
360度空間上の配置したい場所に音を配置する技術。VRなどで臨場感を出すために、音の聞えてくる方向というのは大事なものです。
360度方向の音を記録にするには、特殊な録音機材を利用します。しかし、このままでは360度の映像と音の配置場所が一致しません。
SonicScapeでは音の発生場所を可視化。音が発生している部分は光で示されます。たとえば、人が餌を与えている音が聞えていますので調整します。
音の発生場所を人が餌を与えている場所にずらします。これで360度映像と音のサラウンドが一致しました。
スニークスでの発表の動画は公式チャンネルで見れます。このデモは動画で見るのがオススメ。2分40秒からのデモがわかりやすいです。
データビジュアライゼーションの技術「Project Lincoln」
インフォグラフィック制作の新しいツール。左下の表データから、棒グラフを作成。
グラフの絵を描いてから、データを流し込むと、データに合わせて再レイアウトします。
棒グラフだけでなく、円形のグラフも作れます。
完成形のデータビジュアライゼーション。表データから棒グラフなど14種類のグラフを生成。
この機能はAdobe XDに組み込んでいるように見えました。
スニークスでの発表の動画は公式チャンネルで見れます。1分50秒からわずか2分強でデータに紐付いたグラフが作られています。
アナログとデジタルのパレットの融合「Playful Palette」
絵の具のカラーパレットをデジタルで再現。複数のカラーを混ぜ合わせるのに役だちます。
使用した基本色を別に色に置き換えることも可能。混ぜ合わせた色にも影響して自動的に変化します。
スニークスでの発表の動画は公式チャンネルで見れます。1分30秒からパレットの説明、3分15秒から基本色の置き換えをデモしています。
まとめ〜Adobe Senseiが示す未来のクリエイティブの姿
一年前の2016年から人工知能の活用に舵を切ったAdobe。記事「Adobe Senseiを組み込んだ未来のPhotoshopとXDの姿」で紹介したように、方針は「Adobe Senseiは人間の仕事を奪うものではない、助けるもの」です。このまま進化すれば面倒な単純作業の時代は終わりを告げ、人はさらなるクリエイティブに集中できるようになるでしょう。クリエイティブの未来を垣間見たAdobe MAX 2017。これから、どのような進化を続けていくのでしょうか。
Adobe MAX 2017のレポートは他にも書いています。あわせてご覧くださいませ。
過去のスニークスの発表もおもしろいですよ。
