投稿者: norihi-k

拡張現実感・複合現実感に関する国際会議International Conference on Mixed and Augmented Reality(ISMAR)，および国内の画像の認識・理解シンポジウム(MIRU)で受賞した「隠れ身の術」を実現する研究を紹介します．言葉で説明するよりも，映像を見ていただくのが一番わかりやすいと思いますので，まず以下の映像をご覧ください．

このように，映像中から現実の空間に存在する物体をリアルタイムで取り除きます．このような技術は「隠消現実感(いんしょうげんじつかん)」，英語では「Diminished Reality」と呼ばれており，映像中に仮想物体のCGを合成する「拡張現実感(Augumented Reality)」とは反対に位置付けられる技術です．１つ目の映像で，CGを合成するために用いられる拡張現実感のマーカ(映像中の黒い四角形)を映像中から取り除きつつ，仮想物体のCGを映像に合成することで，現実環境と仮想物体の真の融合を実現しているように，「拡張現実感」と「隠消現実感」を同時に行うこともできます．

実際の利用例としては，１つ目の映像のように，カメラ付きのポータブルゲーム機において，マーカを消しつつキャラクターのCGを合成することで，本当に家の中でキャラクターが動き回っているかのような感覚を味わうことが出来ます．また，１つ目の映像と２つ目の映像の内容を合わせることで，家具の買い替えを考えているときに，古い家具を取り除きつつ，新しい家具のCGを合成することで，実際に家具を買う前に部屋の雰囲気をシミュレーションすることもできます．

では，このような技術はどのようにして実現しているでしょうか？

まさに「隠れ身の術」のようなことをしています．
忍者が隠れる時に，自分のいる場所の背景の模様が描かれた布を自分の前にかぶせることで，後から追ってきた人に，そこには誰もいないかのように認識させるようなシーンを思い浮かべてください．以下のホームページのような感じです．
写真を使って忍者の隠れ身の術のように風景に溶け込むアート

「隠消現実感」でも，映像中で現実物体の上に，背景の画像を上書きしてやることで，まるでその物体がその場にないかのように見せています．

しかし，ここで１つ問題が生じます．あらかじめ取り除きたい物体の背景の画像を撮っておける場合はよいのですが，ある場所に行ってすぐに使いたい場合，そもそも消したい物体が壁に固定されていて，背景の画像を撮ることができない場合があります．
このような場合にはどうすればよいでしょう？

ここで用いられるのが「画像修復」，英語では「Image Inpainting」と呼ばれる技術です．

このように，１枚の写真から不要な物体を取り除き，その周辺に写っている背景と融合するよう，その領域内に画像を作り出す技術です．具体的には，同じ画像中から修復したい領域周辺のテクスチャと類似するテクスチャを探索し，それを修復領域内に合成することで自然な背景を生成しています．これを用いることで，映像中から取り除きたい物体の背景をあらかじめ撮影できない場合でも，自然な背景画像を生成し，利用することができます．

ただし，生成した背景画像をそのまま貼りつけるだけでは不十分です．カメラは動き回りますので，映像中での取り除きたい物体の位置や，背景の模様の見え方が変化します．このとき，少しでも背景の画像の位置ずれが起こってしまうと，明らかにそこに何かがあるのがわかってしまいます．また同様に，時間が経つにつれて環境の照明条件が変化することがあります．このため，生成した背景画像の色合いと現在の周辺の背景の色合いが異なると，違和感が生じます．

ここで，生成した背景画像とその周辺の背景との位置ずれや，色合いの差異が目立たないようにするため，コンピュータビジョンの技術を用います．具体的には，カメラを動かしながら撮影した映像中で特徴点と呼ばれる色や明るさが急激に変化するような箇所を追跡することで，現在カメラがどの場所にあり，どちらの方向を向いているかを計算することができます．また同時に，背景のおおまかな形状も計算することができます．これらの情報を用いることで，できるだけ位置ずれが目立たないよう背景画像を変形します．またこれに加えて，画像修復により背景画像を生成した時の画像と現在の画像との間で明るさや色合いの変化を計算し，生成した背景画像の色合いを調整します．このように背景画像の変形・色調整を行った上で，取り除きたい物体の上に上書きすることで，まるでその物体がその場にないかのような映像を作り出すことができます．

本記事で紹介しました隠消現実感技術以外にも，画像・映像を用いた様々なコンピュータビジョン・映像生成技術を研究しています．
ご興味のある方はぜひ視覚情報メディア研究室のホームページもご覧ください．
http://yokoya.naist.jp/

視覚情報メディア研究室助教の河合です。
今回は、視覚情報メディア研究室の卒業生(博士後期課程修了２名、博士前期課程修了２名)に対してアンケートを行いました。
NAISTに入った理由は？NAISTとはどういうところだったか？社会に出た今、NAISTでの経験はどう活かされているのか？を答えていただきましたので、特に今後NAISTへの受験・入学を考えている方への参考になれば幸いです。

——————–
2009年博士後期課程修了
牧田孝嗣さん

(1)現在、何をしていますか？
産総研の博士研究員（ポスドク研究員）

(2)奈良先端科学技術大学院大学に入学した理由を教えてください
理論の研究に止まらず、デモシステムの実装等、素人へのアピール性も重要視する雰囲気に興味を惹かれたため。

(3) 博士後期課程に進学した理由を教えてください
学生生活後にも、興味分野での研究を継続していくため。

(4)在学中に取り組んだ研究について教えてください
ウェアラブルコンピュータを用いた拡張現実（Augmented Reality：AR）に関する研究。ゴーグル型ディスプレイ等の装着型ディスプレイを用いて、実環境にCGを重ねて表示する技術です。

ゴーグル型ディスプレイ	ユーザが見ている映像

(5)在学中によかったこと，つらかったことなどあれば教えてください．
よかったこと：
研究室の先生の指導が丁寧であり、かつ自由にやらせて頂けたこと。
つらかったこと：
博士課程時、修士課程時に比べて同期の学生が極端に少ないため、同期生でのフランクな議論を行う機会が減ったこと。

(6)NAISTでの経験は、今の仕事などに影響が何かありますか？
現在も拡張現実分野の研究に従事しており、NAISTで得た研究の進め方をそのまま実践しております。

——————–
2011年博士後期課程修了
堀磨伊也さん

(1)現在，何をしていますか？
現在、鳥取大学大学院工学研究科にてプロジェクト研究員として働いています。JST 戦略的創造推進事業 (CREST)の採択課題「人の存在を伝達する携帯型遠隔操作アンドロイドの研究開発」において主に顔認識に関する研究を行っています。

(2)奈良先端科学技術大学院大学に入学した理由を教えてください
もともと全方位画像を用いた画像処理に興味があり、最先端の研究ができると思い、入学を決意しました。

(3)博士後期課程に進学した理由を教えてください
研究に対してやりがいを感じて過ごしていた日々の中で、研究職に就きたいと思い進学を決意しました。当時、研究室に博士後期課程の先輩がたくさんいらっしゃったことも影響していると思います。

(4)在学中に取り組んだ研究について教えてください
「立体映像の生成と慣性力の再現によるテレプレゼンスにおける臨場感の向上に関する研究」を行っていました。画像処理技術とバーチャルリアリティ技術を用いて、遠隔地の人にあたかもその場にいるかのような臨場感を与えるシステムの構築を行っていました。

慣性力を再現する振動椅子	ユーザが見ている映像 (ジェットコースター)

(5)在学中によかったこと、つらかったことなどあれば教えてください．
よかったことは、国内会議、国際会議だけでなく、大規模なプロジェクトなど研究を通してたくさんの発表の機会を与えていただいたこと。また、CICPという学内プロジェクトに採択され、自ら発案、計画、遂行する経験ができたこと。
つらかったことは徒歩圏内で行くことができる飲食店やレジャー施設がなかったこと。これは慣れれば大したことはないですし、車や電車でみんなで行く楽しみもありました。

(6)NAISTでの経験は、今の仕事などに影響が何かありますか？
自ら進んで考え、行動する力を培えたことは、現在でも大きな自信につながっています。

——————–
2012年博士前期課程(修士課程)修了
山崎将由さん

(1)現在、何をしていますか？
キヤノンで三次元撮像に関する研究をしています。

(2)奈良先端科学技術大学院大学に入学した理由を教えてください
私は、NAISTに入学する前，高専の専攻科に通っていました。そのため、大学院に進学しようと考えると必然的に他大学の大学院に行かなければいけませんでした。そこで、大学院に進学して行いたかった研究を行っている研究室がある大学院をいくつか見て回りました。そんな中、NAISTを選んだのは以下の二つの理由からです。
１．高専からの進学者が多く、新しい環境にもすぐ馴染めそうだった
２．興味のある研究（当時は医療系）を行っている研究室があった
高専からの進学の場合、どこの大学院に進学しても周りは新しい環境になります。なので、大学院大学という誰もが一から研究を始めるという環境は、足を踏み入れやすかったのかなと。これが入学を決めた一番の理由です。

(4)在学中に取り組んだ研究について教えてください
在学中は、隠消現実感(Diminished Reality)に関する研究をしていました。具体的には、現実環境中にＣＧを重畳する拡張現実感(AR)を行う際に用いられているマーカを、画像中の他の領域の情報を使い画像修復（Inpainting）することで違和感なく除去するという研究を行っていました。

マーカのある入力画像	マーカが除去されCGが追加された 出力画像

(5)在学中によかったこと、つらかったことなどあれば教えてください
在学中によかったことは、サークル（テニス・茶道）を通して普段話すことのない他研究科の人たちと交流を深めることが出来たことです。２年生になるとほとんどの学生は修了に必要な単位を取り終えるため、同じ研究科でも研究室が違うとなかなか関わる機会が有りません。研究で行き詰っている時など他研究室・他研究科の人たちと話をすることで気持ちをリフレッシュすることができました。先生・先輩方に恵まれたこともよかったです。

(6)NAISTでの経験は、今の仕事などに影響が何かありますか？
今の仕事も大きな分野でみると、大学院時代と同じなので、仕事をする上でNAISTでの経験は非常に役立っています。また、私がいる会社では大学院時代の研究を基に配属先が決まります。

——————–
2012年博士前期課程(修士課程)修了
関井大気さん

(1)現在、何をしていますか？
パナソニックシステムネットワークス開発研究所で、画像認識技術の研究開発を行っています。

(2)奈良先端科学技術大学院大学に入学した理由を教えてください
研究環境が整っていることの他に、秋入学や入試科目など入試方法を柔軟に設定していることが要因でした。

(4)在学中に取り組んだ研究について教えてください
画像認識に関する研究で、撮影環境に関する事前知識として航空写真を用いて、地上視点画像と航空写真を照合し地上カメラの位置・姿勢を6自由度で求める研究を行いました。拡張現実感に応用できます。

入力画像	入力モデル	合成結果

(5)在学中によかったこと、つらかったことなどあれば教えてください
授業科目が幅広く設定されていたので、多くの科目を学べたことが良かったです。今でもたまに授業で配布された資料を見返すことがあります。

(6)NAISTでの経験は、今の仕事などに影響が何かありますか？
私は現在学生時代の研究分野と同じ研究分野で研究開発の仕事を行っているため、大学院の研究で培った知識をそのまま活用しています。

———-
ご協力いただいた卒業生の皆さんありがとうございました。なお、画像を追加したり誤字を直した以外はほとんど頂いた文章そのままで編集していませんので、本音？だと思います。
視覚情報メディア研究室では、アンケートに協力いただいた卒業生以外にも、多数の卒業生が社会で活躍中です。受験・入学を検討している皆さん、ぜひNAISTで一緒に研究してみませんか！？