INTERVIEW独自性の高い研究で、アカツキの未来を切り拓く


R&D室 エンジニア・リサーチャー
谷口 大樹
Twitter:@kidach1
慶應義塾大学で認知科学の研究を行う傍ら、在学中から株式会社DeNAに勤務し開発・分析業務に取り組む。2014年から株式会社アカツキに入社し、近年はARにおける光学的整合性をテーマとした研究に従事。SIGGRAPH 2018 Immersive Pavilion採択。
Twitter:@kidach1
慶應義塾大学で認知科学の研究を行う傍ら、在学中から株式会社DeNAに勤務し開発・分析業務に取り組む。2014年から株式会社アカツキに入社し、近年はARにおける光学的整合性をテーマとした研究に従事。SIGGRAPH 2018 Immersive Pavilion採択。
アカツキ応援団 エンジニアリング・アドバイザー
能登 信晴
1996年、慶応義塾大学環境情報学部 (SFC) 卒業後、日本電信電話(NTT)入社。情報通信研究所、サイバースペース研究所にて検索エンジンの研究開発に従事。
2004年、ディー・エヌ・エーに入社し、以来様々な製品の企画・開発を行うとともに、
2008年よりエンジニアリンググループのマネジメントを担当。
2010年、エンジニアの採用・育成を専門的に手がける技術戦略部を設立し、部長に就任。
2012年に独立、現在に至る。
1996年、慶応義塾大学環境情報学部 (SFC) 卒業後、日本電信電話(NTT)入社。情報通信研究所、サイバースペース研究所にて検索エンジンの研究開発に従事。
2004年、ディー・エヌ・エーに入社し、以来様々な製品の企画・開発を行うとともに、
2008年よりエンジニアリンググループのマネジメントを担当。
2010年、エンジニアの採用・育成を専門的に手がける技術戦略部を設立し、部長に就任。
2012年に独立、現在に至る。

アカツキの研究部門は、一人のエンジニアがプライベートで地道に取り組んできた研究が発端となって生まれました。その立ち上げの経緯や背景を、アカツキの応援団鼓手長兼エンジニアリング・アドバイザーである能登 信晴さんによるインタビューでお届けします。

「自分が次に賭けるテーマはここだ」VR/ARへの熱中と、R&D部門の立ち上げ。

アカツキのエンジニアの中でも、「尖った仕事」をしている谷口さん。僕は谷口さんとはR&Dの取り組みを始める前から定期的に 1on1 をしてきているし、お互いの理解も深くなってきたと思っているのですが、今日は改めてこれまでどんな仕事をしてきたのか、これからどんなことをしていこうとしているのか、インタビューさせてください。
谷口さんは、R&D立ち上げ期、VRを研究していましたが、どのような経緯で始めたんでしたっけ?
2016年の前半に、CEOの塩田さんがOculus社日本チームからいただいたというOculus RiftとTouchを触らせてもらったんです。VR HMDはOculus DK1(開発者版)の時代に触ったことはあったのですが、ハンドコントローラーであるTouchをともなった体験は別物で、この時に「これは未来だ!」と衝撃を受けて。
なるほど。それがトリガーになったんですね。
はい。「自分が次に賭けるテーマはここだ」と思いました。もともと自分のコアにあるものは一貫していて、新しいテクノロジーを駆使して、世の中に無かったものを生み出し、新しい体験や驚きを人々に届けること。そして、その過程自体も楽しむことが常に頭にありました。僕にとっては、それに取り組む手段が、モバイルゲームや新規事業でした。そして次はVRやARだったということです。
どのように開発を進めていたんですか。
最初は感覚を掴むためにひたすら試行錯誤を繰り返していました。VRやAR(xR)は、その体験が平面スクリーン上ではなく空間的になるため、それまでのソフトウェアとは作り込みのポイントが根本的に異なります。3Dプログラミングは学生時代にOpenGLを触ったり前職でWebGL製のゲームを作ったりした経験がありましたが、「体験自体が3次元的」であるソフトウェアの開発は初めてでした。ですから、VR世界とのインタラクションの設計は色々なものを試しました。遠くにあるものを自由に引き寄せられたり、直感的なアクションでオブジェクトのサイズを変えられるようにしたり。

谷口が当時投稿した技術ブログ
https://qiita.com/kidach1/items/fc85b353c8368edd5474

もう一つ、キャラクタープレゼンスの向上にもこだわっていました。キャラクターをVR空間にいれたときに、本物らしく感じられるかという点です。2次元スクリーンの中では気にならない部分が、VR空間になると顕著に感じられることがあります。例えばキャラクターの動き一つとっても、VR空間では同じモーションが二度再生されてしまった時点で「なんだ、作り物か」と一気に覚めてしまうんです。VRでは「自分の隣にキャラクターがいる!」という感動が大きい分、細かい粗も非常に目立ちやすく、すぐにプレゼンスが剥がれてしまうんですね。ですから、まばたきや瞳の動き、呼吸にともなう全身の動きといった細かい部分にこだわったり、決め打ちのアニメーションを入れるのではなく、人間らしい動きに近づくように、プレイヤー自身の動きを一部キャラクターに付与するといった工夫も行っていました。

参考:谷口が当時twitterへ投稿した成果物


まだ他の人があまり気づけていなかったことに目を向けていたんですね。
そうですね。このとき考えていた「写実的な背景とキャラクターをなじませるための手法」は、今のメインの研究内容にもつながっています。
確認ですが、ここまではプライベートの時間で取り組んでいたんですよね。
そうですね、VR開発は夜間と土日の全ての時間を注ぎ込んで、まさに命を削って取り組んでいました(笑)肉体的にハードではありましたが、Oculus Storeでアプリケーションをベータ公開して、Twitter上やイベントでいろんな人に遊んでもらってどんどん盛り上がってきて、楽しかったのもあります。
そのタイミングで塩田さんにも遊んでもらったところ「これは来るね!」と言ってもらえました。アカツキのミッションの一つは「心が動く突き抜けた体験」を提供することなので、そこから考えるとARやVRは将来に向けて知見を貯めておくべき領域であることは明白でしたし、ちょうど自分の本業側も一区切りついて他の人に手渡せそうなタイミングになったことが重なって、R&D部門を発足して正式に研究できることになりました。

研究テーマに置いた思い。「プロダクトに世界観や物語を込める」

どういう経緯で、研究対象をVRからARに移行したんでしたっけ。
僕はVRとARどちらも大好きなのですが、それぞれ異なる良さがあると思います。腰を据えて現実世界から離れ、「深さ」を味わえるVRと、日常の延長として普段づかいでき、より「広がり」を感じられるAR。ゆくゆくは統合されて1デバイスでどちらの使い方もできるようになると思いますが、議論を繰り返す中で、まず「広さ」がとりやすいARのフィールドで多くの人に使ってもらえるようにしようという結論になりました。そして「自分がARに深さを足していくんだ」という気持ちも強くありました。
ARの中でも、特にフォーカスしたところがあるということですが、どんな領域でしょうか
僕が注力することにしたのは、「光学的整合性」です。
アカデミックな世界では、ARのコアとなる技術要素を以下のように大別しています。
・幾何学的整合性(いかに空間を認識して3Dオブジェクトを配置するか)
・光学的整合性(いかに3Dオブジェクトを現実空間になじませるか)
・時間的整合性(いかにユーザの操作に遅れず表示できるか、つまりは実行速度)

まず、時間的整合性はどれをやるにしても考えることになるので、除外しました。
では幾何学的整合性と光学的整合性のどちらにフォーカスするかですが、幾何学的整合性はある意味明確なゴールがあるので、多くのデバイス開発企業やプラットフォーマーが注力する領域になります。一方で光学的整合性は、ARをどのように捉えるかによってその重要度は多義的であり、注力している研究機関や企業はまだ多くありません。R&Dが立ち上がったばかりであることを鑑みて明確な独自性・新規性を目指せる領域を狙いたかったので、後者に集中することを決めました。もちろん、難しい話を抜きにして自分の志向性と合っていたのも大きいです。

光学的整合性にフォーカスするにあたり、2つの方針が考えられました。
1つ目はPhotorealistic Rendering、つまり写実性を追求する方向性です。3Dオブジェクトを限りなく現実に近いかたちでレンダリングするというもので、CGの世界において非常に分かりやすいゴールです。
ですが、そこには多くの課題が存在します。端的に言うと、数ミリ秒という短い時間で物理的に正しい反射や屈折処理を実現したり光の経路を求めたりする必要がある。これはコンシューマーゲームのようなリアルタイムCG最先端の世界においても追求の只中の状態です。さらにARでは現実環境の推定処理なども必要になってくる。ハイエンドマシンでも手に余るこれらの処理を、現時点で遥かに性能の劣るARデバイスで行うことは、あまり現実的とは言えませんでした。

もう1つの方向性はNon-Photorealistic Rendering(NPR)です。NPRは、主に画面全体に対して、「アニメ風」や「水彩画風」などの統一的な描画スタイルを付与する手法です。画面全体のスタイルを統一できるということは、「3Dオブジェクトと現実世界の融合」というゴールに対しても有効ではないかという発想がありました。工夫次第で実行速度を担保できる可能性もある。
ただ、NPRとは直訳すると「写実的・現実的ではない」ものですから、「拡張現実」であるARとはそもそも相反する概念とも言えます。現実的でないものを現実のように見せることは可能なのだろうかと、NPRベースのARをいくつもプロトタイピングした結果、「映画やゲームで見た世界」を再現することが有効ではないかと考えるようになりました。誰しもが持つ「映画やゲームで見た世界の記憶」をハックして、現実には存在しない物質であるにも関わらず「どこかで見たことがある」という感覚を呼び覚ますような表現方法です。特にSFアニメや映画の光学迷彩やホログラムを再現する表現は上手くいきました。

参考: 谷口が当時twitterへ投稿した成果物



光学的整合性はアカツキにとって重要な技術要素になってくることも、研究の対象にした理由でした。アカツキはプロダクトに想いや物語をどう込めていくかをとても大事にしています。アカツキがつくる世界観と技術がリンクして、より高いレベルで「アカツキならではの唯一無二の世界観」を再現できようになるとしたら、会社の未来に繋がる技術的資産となるのではないかと考えました。その点で、特にNPR表現は親和性が高いと思っています。

未来に繋がる研究に拘る。「どこで活かせるか、強烈に考え抜きます」

いいですね。「プロダクトに想いや物語を込める」というアカツキの考え方と、整合性がとれている研究テーマだというのが面白いですね。そこまで考えて技術を選定していたとは!。
技術研究は、テーマの選び方が非常に重要だと思っています。例えば、テーマ設定の背景が「単純に技術的に面白そうだから」というものだったとします。これは研究者・技術者として大切にしたい欲求ですが、一方でそれだけでは継続的な研究にはならないことが多い。ともすれば「研究のための研究」になってしまうからです。結果「何につながるのかわからない、だから止めよう」となるのは、事業会社の研究部門でよく聞くケースだと思います。そうではなく、最終的にどこで活かせるのかを強烈に考え抜いた上で研究を進めていく。特にアカツキにおけるR&Dの取り組みはこれが最初となるので、「確かに未来につながりそうだ」という事例を作り、後続が続ける道筋を作っていきたいと考えていました。

「これは夢じゃないか?」初挑戦で、SIGGRAPH 2018に採択

その後、成果物がTwitterなどでバズにつながって、さらにはSIGGRAPHに採択されるまでになりましたが、そのプロセスも聞かせてください
研究を進めるうち、自分の研究や今後やりたいこと、アカツキがやりたいことは、世の中にも確かな価値があるものだと証明しようと考えるようになりました。そのために、学会などアカデミックな場で研究成果をアウトプットしよう、と。トップカンファレンスと呼ばれる場をいくつかピックアップして、たまたまタイミングが合ったのがSIGGRAPHでした。SIGGRAPHはこの分野のトップオブトップだったので、「いきなりこれか」と少し気後れもしましたが(笑)ちょうど2018年からARの研究に対しても本格的な募集をかけるようになったタイミングで、募集要項には「イノベーティブな体験を」という文言が入っていました。アカツキが目指している方向性と合致していたんです。蓄積してきた光学的整合性の技術を、体験まで落とし込むめたら、いけるかもしれないという見通しもあったので、挑戦を決めました。
実質的な開発期間は1−2ヶ月で、死に物狂いでひたすらコードを書く日々でしたが、コアの技術を活かせているか、新しい体験につながっているか試行錯誤をひたすら繰り返しました。
SIGGRAPH 2018採択発表の時期前後は、 日ごろオフにしているスマートフォンの通知をオンにして、毎朝ドキドキしながらメールを確認しました。ある朝「Congrats!」というメールが届いて、「これは自分の英語能力が下がっているから、採択されたように見えているに違いない」とか「これは夢じゃないだろうか?」とほっぺたをつねったりしました(笑)10分ぐらいしてようやく、「どうやら本当らしい」と思えて、すぐ能登さんにチャットしましたよね。
そうそう!朝7時ぐらいでしたね。その前にそんなドタバタがあったとは知りませんでしたけど(笑)
参考:SIGGRAPH2018出展の記事
https://www.moguravr.com/akatsuki-ar-game/
https://voice.aktsk.jp/category/technology/1166/

テクノロジーがもたらすパラダイムシフトに立ち会いたい

今後谷口さんがアカツキR&Dで目指す方向は?
僕のコアは「新しいテクノロジーを使って、まだ世の中に無かったものを生み出し、新しい体験や驚きを人々に届ける。そして、その過程自体も楽しむ」ということです。そこから考えると、ARは数年という単位で研究する対象になると思います。インターネットやスマートフォンと同じレベルで、パラダイムシフトを引き起こす可能性がある技術だと思っているからです。その頃にはARという名称ではなくなっているかもしれませんが(笑)一方で生涯ARの研究を続けるかというとそうではないと思います。世の中に浸透するにつれて徐々に当たり前の技術になっていくはずなので。その当たり前になるまでのプロセスで技術的な貢献ができたらうれしいですね。そしてその後は次の新しい技術を追いかけていくのではないかなと思います。また、仕事の仕方・技術との向き合い方としては、研究開発のようなやり方、つまり技術の深部まで潜って深く理解し、さらに世界で誰も実現していないものをアウトプットしていくというアプローチは非常に面白く、自分に合っているかなと思います。今後も様々な先端技術と向き合って、世の中に無いものを生み出していきたいですね。

RECRUITMENT JOBS