光メディアインタフェース研究室 博士後期課程2年の辻 茉佑香です。
本研究室の研究分野のひとつには、コンピュータビジョン(CV)という分野があります。これは、コンピュータがカメラ画像をいかに「理解」するかという研究分野です。スマホカメラの顔認識や、アプリでの文字認識は、まさにCV研究の賜物ですね。
ところで、CV研究の着眼点は以下のように3つに分けることができます。
① 画像処理アルゴリズム: 撮影した画像に対していかに有効な情報処理を施せるかは、CVにおいて重要なトピックとなります。
② 光学機器(カメラ)の動作原理: どんな風にシーンを撮影して画像を生成するかによって、その後の画像処理も変わってきます。
③ シーン中の光の物理現象: 一般的な画像は、3次元の現実空間を2次元に射影したものです。つまり、画像が持つ情報は、現実空間の情報をある程度削ぎ落としたものになります。そこで、画像だけではなく、画像が生成されるまでのシーン中の光の物理現象も考慮することで、よりリッチなパラメータから画像を理解できます。
CVの研究は①のみで行われるイメージが強いかもしれませんが、実際は②や③の知識も重要です。今回は「②光学機器の動作原理」に着目した研究を紹介したいと思います。
プロジェクタの投影画面を指先で操作できる
タッチセンシング技術を開発
～直接触れずに空中で指示する応用も実現可能～
どこでもタッチディスプレイ化に期待
http://www.naist.jp/pressrelease/2021/08/008181.html
今回紹介するのは、壁や床に投影したプロジェクタ映像に対してタッチ操作ができるように、タッチセンシングを実装した研究です。
当然ながら、壁や床にはセンシング機能はありません。そのため、本研究ではカメラで撮影した画像を使って、コンピュータに指のタッチ位置を「理解」してもらいます。 具体的な流れは以下の通りです。
① 画像から指を見つける
② 指が面にタッチしているかどうかを判別する
③ 指がどの部分にタッチしているかを判別する
CV研究では、画像から手を検出する技術がすでに存在します。google社のmediapipeなどが有名です。ただし、用途がプロジェクタ映像へのタッチセンシングとなると一筋縄ではいきません。たとえば、
・ 映像をタッチする手にも映像が投影されるため、「皮膚の色」「指の輪郭」といった、手に関する大事な視覚的特徴が失われる
・ じゃんけんの映像など手の画像が投影されたとき、コンピュータは本物の手と映像中の手の区別が難しくなる
・ 1枚の画像では、指が実際にタッチしているのか、それとも空中に浮いているのか、判別が困難である
などといった課題があります。そのため、今回の問題設定だと、実物の手を検出するのは非常に難しいタスクとなります。これを近年のトレンドで解決しようとすると、深層学習など複雑なアルゴリズムを駆使してコンピュータに画像処理を頑張ってもらうなどが挙げられます。一方で本研究では、撮影システムを工夫してシンプルな画像を生成することで、コンピュータに簡単な問題を渡すというアプローチを取りました。 以下の画像をご覧ください。
左側2つはカメラで普通に撮影した画像、右側2つは本研究で撮影した画像です。(a)と(c), (b) と(d)は同じシーンを撮影しています。見ての通り、本研究のアプローチでは指だけが撮影されており、投影映像や周囲の背景は撮影されません。また、左側2つでは指がタッチしているかしていないかを判別するのは難しいですが、右側2つでは容易に判別することができます。これは撮影システムの設計を工夫することで実現されました。
本研究では、カメラの撮影システムを工夫することで、上の図における赤いエリアだけを撮影します。撮影エリアを赤いエリアに限定することで、指が面にタッチすると指の一部が写り、指がタッチしていなければ指は写らない、という撮影をすることができます。指がタッチしているときには指の一部だけが撮影され、それ以外は何も写らないという画像を撮影することで、指を検出するための画像処理がとても簡単になりました。
今回は概念的な説明に留めましたが、具体的にどうやって赤いエリアだけを撮影するのか詳しく知りたい方は、本研究に関する論文をご覧ください。
https://ieeexplore.ieee.org/abstract/document/9495800
また、最初に説明したように、CV研究は画像処理だけでなく、物理学やハードウェア設計からのアプローチも存在します。光メディアインタフェース研究室では、いずれのアプローチでも研究を行っています。もし興味があれば、オープンキャンパス、スプリングセミナー、サマーセミナー、いつでも見学会、インターンシップなどさまざまな制度が用意されていますので、ぜひご活用ください。
著者紹介
辻茉佑香
光メディアインタフェース研究室にて博士前期課程修了。現在、同研究室の博士後期課程2年生。