拡張現実感・複合現実感に関する国際会議International Conference on Mixed and Augmented Reality(ISMAR)，および国内の画像の認識・理解シンポジウム(MIRU)で受賞した「隠れ身の術」を実現する研究を紹介します．言葉で説明するよりも，映像を見ていただくのが一番わかりやすいと思いますので，まず以下の映像をご覧ください．
このように，映像中から現実の空間に存在する物体をリアルタイムで取り除きます．このような技術は「隠消現実感(いんしょうげんじつかん)」，英語では「Diminished Reality」と呼ばれており，映像中に仮想物体のCGを合成する「拡張現実感(Augumented Reality)」とは反対に位置付けられる技術です．１つ目の映像で，CGを合成するために用いられる拡張現実感のマーカ(映像中の黒い四角形)を映像中から取り除きつつ，仮想物体のCGを映像に合成することで，現実環境と仮想物体の真の融合を実現しているように，「拡張現実感」と「隠消現実感」を同時に行うこともできます．
実際の利用例としては，１つ目の映像のように，カメラ付きのポータブルゲーム機において，マーカを消しつつキャラクターのCGを合成することで，本当に家の中でキャラクターが動き回っているかのような感覚を味わうことが出来ます．また，１つ目の映像と２つ目の映像の内容を合わせることで，家具の買い替えを考えているときに，古い家具を取り除きつつ，新しい家具のCGを合成することで，実際に家具を買う前に部屋の雰囲気をシミュレーションすることもできます．
では，このような技術はどのようにして実現しているでしょうか？
まさに「隠れ身の術」のようなことをしています．
忍者が隠れる時に，自分のいる場所の背景の模様が描かれた布を自分の前にかぶせることで，後から追ってきた人に，そこには誰もいないかのように認識させるようなシーンを思い浮かべてください．以下のホームページのような感じです．
写真を使って忍者の隠れ身の術のように風景に溶け込むアート
「隠消現実感」でも，映像中で現実物体の上に，背景の画像を上書きしてやることで，まるでその物体がその場にないかのように見せています．
しかし，ここで１つ問題が生じます．あらかじめ取り除きたい物体の背景の画像を撮っておける場合はよいのですが，ある場所に行ってすぐに使いたい場合，そもそも消したい物体が壁に固定されていて，背景の画像を撮ることができない場合があります．
このような場合にはどうすればよいでしょう？
ここで用いられるのが「画像修復」，英語では「Image Inpainting」と呼ばれる技術です．
このように，１枚の写真から不要な物体を取り除き，その周辺に写っている背景と融合するよう，その領域内に画像を作り出す技術です．具体的には，同じ画像中から修復したい領域周辺のテクスチャと類似するテクスチャを探索し，それを修復領域内に合成することで自然な背景を生成しています．これを用いることで，映像中から取り除きたい物体の背景をあらかじめ撮影できない場合でも，自然な背景画像を生成し，利用することができます．
ただし，生成した背景画像をそのまま貼りつけるだけでは不十分です．カメラは動き回りますので，映像中での取り除きたい物体の位置や，背景の模様の見え方が変化します．このとき，少しでも背景の画像の位置ずれが起こってしまうと，明らかにそこに何かがあるのがわかってしまいます．また同様に，時間が経つにつれて環境の照明条件が変化することがあります．このため，生成した背景画像の色合いと現在の周辺の背景の色合いが異なると，違和感が生じます．
ここで，生成した背景画像とその周辺の背景との位置ずれや，色合いの差異が目立たないようにするため，コンピュータビジョンの技術を用います．具体的には，カメラを動かしながら撮影した映像中で特徴点と呼ばれる色や明るさが急激に変化するような箇所を追跡することで，現在カメラがどの場所にあり，どちらの方向を向いているかを計算することができます．また同時に，背景のおおまかな形状も計算することができます．これらの情報を用いることで，できるだけ位置ずれが目立たないよう背景画像を変形します．またこれに加えて，画像修復により背景画像を生成した時の画像と現在の画像との間で明るさや色合いの変化を計算し，生成した背景画像の色合いを調整します．このように背景画像の変形・色調整を行った上で，取り除きたい物体の上に上書きすることで，まるでその物体がその場にないかのような映像を作り出すことができます．
本記事で紹介しました隠消現実感技術以外にも，画像・映像を用いた様々なコンピュータビジョン・映像生成技術を研究しています．
ご興味のある方はぜひ視覚情報メディア研究室のホームページもご覧ください．
http://yokoya.naist.jp/