光学設計を工夫することによるプロジェクタ映像へのタッチセンシング実装|光メディアインタフェース研究室

光メディアインタフェース研究室 博士後期課程2年の辻 茉佑香です。

本研究室の研究分野のひとつには、コンピュータビジョン(CV)という分野があります。これは、コンピュータがカメラ画像をいかに「理解」するかという研究分野です。スマホカメラの顔認識や、アプリでの文字認識は、まさにCV研究の賜物ですね。

ところで、CV研究の着眼点は以下のように3つに分けることができます。

① 画像処理アルゴリズム: 撮影した画像に対していかに有効な情報処理を施せるかは、CVにおいて重要なトピックとなります。

② 光学機器(カメラ)の動作原理: どんな風にシーンを撮影して画像を生成するかによって、その後の画像処理も変わってきます。

③ シーン中の光の物理現象: 一般的な画像は、3次元の現実空間を2次元に射影したものです。つまり、画像が持つ情報は、現実空間の情報をある程度削ぎ落としたものになります。そこで、画像だけではなく、画像が生成されるまでのシーン中の光の物理現象も考慮することで、よりリッチなパラメータから画像を理解できます。

CVの研究は①のみで行われるイメージが強いかもしれませんが、実際は②や③の知識も重要です。今回は「②光学機器の動作原理」に着目した研究を紹介したいと思います。

プロジェクタの投影画面を指先で操作できる
タッチセンシング技術を開発

~直接触れずに空中で指示する応用も実現可能~
どこでもタッチディスプレイ化に期待

http://www.naist.jp/pressrelease/2021/08/008181.html

今回紹介するのは、壁や床に投影したプロジェクタ映像に対してタッチ操作ができるように、タッチセンシングを実装した研究です。

当然ながら、壁や床にはセンシング機能はありません。そのため、本研究ではカメラで撮影した画像を使って、コンピュータに指のタッチ位置を「理解」してもらいます。 具体的な流れは以下の通りです。

① 画像から指を見つける
② 指が面にタッチしているかどうかを判別する
③ 指がどの部分にタッチしているかを判別する 

CV研究では、画像から手を検出する技術がすでに存在します。google社のmediapipeなどが有名です。ただし、用途がプロジェクタ映像へのタッチセンシングとなると一筋縄ではいきません。たとえば、

映像をタッチする手にも映像が投影されるため、「皮膚の色」「指の輪郭」といった、手に関する大事な視覚的特徴が失われる
じゃんけんの映像など手の画像が投影されたとき、コンピュータは本物の手と映像中の手の区別が難しくなる
1枚の画像では、指が実際にタッチしているのか、それとも空中に浮いているのか、判別が困難である

などといった課題があります。そのため、今回の問題設定だと、実物の手を検出するのは非常に難しいタスクとなります。これを近年のトレンドで解決しようとすると、深層学習など複雑なアルゴリズムを駆使してコンピュータに画像処理を頑張ってもらうなどが挙げられます。一方で本研究では、撮影システムを工夫してシンプルな画像を生成することで、コンピュータに簡単な問題を渡すというアプローチを取りました。  以下の画像をご覧ください。


左側2つはカメラで普通に撮影した画像、右側2つは本研究で撮影した画像です。(a)と(c), (b) と(d)は同じシーンを撮影しています。見ての通り、本研究のアプローチでは指だけが撮影されており、投影映像や周囲の背景は撮影されません。また、左側2つでは指がタッチしているかしていないかを判別するのは難しいですが、右側2つでは容易に判別することができます。これは撮影システムの設計を工夫することで実現されました。


本研究では、カメラの撮影システムを工夫することで、上の図における赤いエリアだけを撮影します。撮影エリアを赤いエリアに限定することで、指が面にタッチすると指の一部が写り、指がタッチしていなければ指は写らない、という撮影をすることができます。指がタッチしているときには指の一部だけが撮影され、それ以外は何も写らないという画像を撮影することで、指を検出するための画像処理がとても簡単になりました。

今回は概念的な説明に留めましたが、具体的にどうやって赤いエリアだけを撮影するのか詳しく知りたい方は、本研究に関する論文をご覧ください。

https://ieeexplore.ieee.org/abstract/document/9495800

また、最初に説明したように、CV研究は画像処理だけでなく、物理学やハードウェア設計からのアプローチも存在します。光メディアインタフェース研究室では、いずれのアプローチでも研究を行っています。もし興味があれば、オープンキャンパス、スプリングセミナー、サマーセミナー、いつでも見学会、インターンシップなどさまざまな制度が用意されていますので、ぜひご活用ください。

著者紹介

辻茉佑香

光メディアインタフェース研究室にて博士前期課程修了。現在、同研究室の博士後期課程2年生。

生徒の手もとが見える遠隔授業システムの実現|ソフトウェア設計学

ソフトウェア設計学研究室 助教の平尾俊貴です。本研究室では、ソフトウェアやソフトウェアを含むシステムの開発・設計を支援する技術についての研究を実施しています。特に、ソフトウェアに関するデータ(ソースコードや開発履歴など)の分析、開発プロセスや設計情報の解析、SDN(ソフトウェアディファインドネットワーク)を中心とした仮想化システム基盤構築技術、ソフトウェアアナリティクス(より適切な意思決定のためにソフトウェア開発の現状把握の深掘りを助けるためのデータ分析)、HPC(ハイパフォーマンスコンピューティング、スーパコンピュータを用いた大規模な科学技術計算)などです。詳しく知りたい方は、本研究室HP(https://sdlab.naist.jp/)をご覧ください。

今回は、ソフトウェア設計学の技術や考え方を応用して社会実装しているプロダクトである『C2Room』と、私の学生である福本君が研究している『コーディングルールを理解したコード補完システム』を御紹介します。

生徒の手もとが見える、遠隔授業システムC2Room

新型コロナウイルスの感染拡大に伴い、遠隔教育の需要は急速に増加しました。EdTech(エドテック:教育×テクノロジー)業界の市場規模は、2023年までに約3,000億円まで成長する見込みです。あらゆる教育機関(学校、学習塾、企業研修など)では、一般的なビデオ会議ツール(Zoomなど)を活用して、遠隔地からライブ配信の授業を実施してきました。遠隔教育は感染対策だけでなく、場所を問わず平等な教育を受けられるため、世界的に需要が加速しています。
 遠隔授業が抱える共通の課題として、生徒の状況(手もとの動き、理解度など)を遠隔で把握することが難しく、十分な指導が行き届かないことが挙げられます。躓いている生徒を早期に支援することが難しく、結果的に各生徒間で学習格差が生じます。これが教育業界全体での喫緊の課題になっています。
 この課題を解決できるプロダクトとして、遠隔授業システム「C2Room」を奈良先端大で開発しました。本システムは、いつでもどこからでも生徒の手もとが見える授業支援システムです。例えば生徒100人のノートが一画面でリアルタイムに見ることができます。生徒と指導者の画面があり、各生徒はタッチペンで問題を解きます。そして、指導者はクラス全員の生徒の解答内容をリアルタイムで画面上から見ることができ、遠隔授業でも生徒の手もとを把握することができ、より細かな遠隔指導を実現することが可能になります。

システムのイメージ図
システムのイメージ図

 このプロダクト自体は、教育業界で現場指導者らが抱えるリアルなニーズに着目してるため、大々的にソフトウェア設計技術を披露しているものではありません。しかしながら、ソフトウェア設計学で重要視しているデザインセンスという概念は常に開発工程で取り入れており、時代と共に変化する開発技術を広く適応できる柔軟な設計にしております。また、生徒の学習過程で発生するデータを解析して、生徒の進捗をより効率よく管理できる技術なども派生的に生み出しており、実証的な研究へと発展しています。

コーディングルールを理解した、コード補完システム

コード補完とは、皆さんのスマートフォンにもあるIMEの入力補完と似た機能で、よりプログラミングに特化した機能です。コード補完はプログラマのタイプミスを防いだり開発速度を向上させる効果があり、実際にプログラマがプログラミング中に最も高い頻度で使う機能です。

IDEのコード補完機能

従来のコード補完は開発プロジェクトに存在するソースコードを解析して、ソースコードに登場する単語やクラスの構造をIDEが把握し、その情報に基づいて入力中の文字からプログラマが入力したい単語を推定する機能が一般的でした。一方で、近年の機械学習(AI)の発達に伴って従来のコード補完より賢い、プログラマとAIが共創してプログラムを完成させるようなコード補完を目指して、機械学習を活用したコード補完が研究されています。

我々はコード補完の精度をより高めるために、プロジェクトに合わせたコード補完の手法を模索しています。OSSでは複数人のプログラマが共同でプログラムを書くため、無秩序なソースコードを書かないようにするためのルール(コーディング規約、アーキテクチャ)が存在します。例えばプログラムに登場する変数やクラスなどの名前の付け方やどういった構造でクラスを設計するかが決められています。また、いくつかの定数や関数はプロジェクトのあらゆるソースコードから繰り返し使われるものも存在します。このようにプロジェクトごとにソースコードに固有の特徴があります。一方で従来手法は、様々なプロジェクトから集められた大量のソースコードを用いて学習されているため、実際のプロジェクトで使用する際に、そのプロジェクトの特徴を考慮して補完することができません。

そこで我々は、ドメイン適応という手法を使ってプロジェクトに特化したコード補完ができるモデルを作成します。ドメイン適応とは最終的に学習させたいデータを学習させる前に、より広汎なドメインから作成した大規模なデータセットを使って学習させる手法です。この2段階の学習によってモデルがある程度の汎用的な知識を持った状態で対象ドメインのデータの学習をするので、特にデータセットが少なくても学習させることができます。

例えば以下の図において、実プロジェクトであるSpring Frameworkのコードの2行目Assertに続くの部分(つまり<X>)を補完するとします。従来手法や我々の手法を用いた場合、共通してNull値をチェックする関数を補完することができました。ただし、従来手法では「isNotNull」という関数を、我々の手法では「notNull」という関数を補完しました。一見どちらも正しい様に見えますが、Spring Frameworkではコーディング規約で「notNull」という関数を使ってヌルチェックをするというルールがあるため、我々の手法の方がよりプロジェクトに合わせた補完を行っていました。このように、開発者が参加するプロジェクトのルールに則したコード補完を実現することで、ソフトウェア開発効率の向上に貢献しています。

コード補完の例

著者紹介

平尾俊貴(ひらお としき)

平尾 俊貴

奈良先端科学技術大学院大学 博士(工学)。日本学術振興会 特別研究員DC1 採用。ソフトウェア品質管理プロセスの自動化に関する研究に従事。機械学習、ビッグデータ分析、プログラム解析、及び自然言語処理が研究領域。世界大学ランキング上位のMcGill大学(カナダ)で訪問研究員として、機械学習とビッグデータ分析技術を活用したソフトウェア開発支援システムを共同開発。 その後、アメリカに渡り、世界4大産業用ロボットメーカー ABB Group(2020年度 従業員数:10万5千人、売上規模:2.9兆円)にてソフトウェア研究者として、数多くの産学連携プロジェクトを牽引。 ABB社の双腕型ロボットYuMiを活用して工場生産ラインの自動化に向けた研究などが顕著。 ソフトウェア業界で世界的に権威のある国際会議ICSEやFSE、海外論文誌TSEなどで研究成果を数多く発表した実績。特任助教及び(株)dTosh 代表取締役として、現在は数多くの グローバルな産学連携事業を牽引。Virginia Commonwealth University (アメリカ)、University of Waterloo (カナダ)などと連携し、数多くの企業をデジタル変革する研究支援を実施。

福本 大介(ふくもと だいすけ)

奈良県桜井市出身。奈良工業高等専門学校を卒業後、奈良先端科学技術大学院に入学し、ソフトウェア設計学研究室に配属。現在、博士前期課程2年。2021年度のGeiotを受講し、複数のビジコンやハッカソンで入賞(JPHACKS2021 / Best Hack Award・Best Audience Award・スポンサー賞、立命館大学学生ベンチャーコンテスト2021 / 優秀賞・スポンサー賞)。プログラミングの支援に興味があり、深層学習を用いたコード補完の研究に従事。

快適なロボットとのインタラクションを目指して | インタラクティブメディア設計学研究室

インタラクティブメディア設計学研究室助教の澤邊太志です。本研究室では、コンピュタで作られた情報を実世界に重ねあわせて表示する拡張現実間(AR)技術を中心としつつ、VR(バーチャルリアリティ)、CV(コンピュータビジョン)、CG(コンピュターグラフィクス)、HCI(ヒューマンコンピュータインタラクション)、HRI(ヒューマンロボットインタラクション)について幅広く研究しています。詳しく知りたい方は、本研究室HP(https://imdl.naist.jp/ja/prospective/)をご覧ください。今回は、私が関わっているHRIのロボットと人のインタラクションに関する研究を、3つご紹介します。

1. 快適自動走行:XRモビリティープラットフォーム

一つ目の研究は、快適な自動走行車(自律移動ロボット)を実現することを目的とした、自動走行車と人のインタラクション研究です。自動走行化することによって、従来運転手だった人も、搭乗者の一人となります。自動走行レベル5では、運転手を必要とせず、走行エリアも限定されずにどんな場所の道路でも自動運転で走行が可能な状態となり、より自由な空間が生まれると考えられています。しかしその一方で、自動走行車と私たち利用者の意思疎通が難しくなり、その結果、恐怖心や不安感などの精神的なストレス増加や乗り物酔い増加につながります。そこで私たちは、快適化知能(コンフォート・インテリジェンス)という、安全性や効率性だけでなく、人の快適性をも考慮した、新しい知能を作る研究をしています。その研究では、精神的要因であるストレスや生理的要因である酔いを対象に、その不快要因の推定や解析、軽減手法などの提案を行い、より快適な自動走行車の実現を目指しています。

2. 快適なコミュニケーションパートナーロボット

二つ目の研究は、快適なコミュニケーションパートナーロボットを実現することを目的とした、ロボット(物理的ロボットやVR/ARアバタ)と人のインタラクション研究です。最近では、一人暮らしの若者や独居高齢者が増加していること、またコロナ禍ということより、以前よりも人と接することが難しくなってきています。そんな中、人との遠隔コミュニケーションや見守りという観点から、パートナーのような存在であるロボットのニーズが高まっています。パートナーになるためには、ロボットと人の信頼感が重要となってきますが、メカメカしい見た目のロボットや、カメラやセンサがいっぱい付いたロボットとのコミュニケーションは、やはり楽しさや面白さに欠け、継続的に利用するというのが難しくなります。そこで、私たちは、すでに生活の一部となっているような媒体(例えば、TVやゲームなど)を利用した対話ロボットによるインタラクション研究や、信頼感構築や継続意欲向上のための人の心理学的な知見(例、オペラント条件づけ)をもとにしたARアバタのインタラクション研究などを通して、信頼感を構築できるロボットインタラクションの研究を行なっています。

3. 快適なマルチモーダルタッチケアロボット

三つ目の研究は、快適なタッチケアロボットを実現することを目的とした、ロボットと人のインタラクション研究です。触れるということは、とても重要なことで、心を落ち着かせることができ(タッチケア)、人を幸せな気持ちにさせることができると医学的に分かっています。しかし、コロナ禍の影響で人と物理的に接することがより難しくなってきている現在、遠隔からでも人に触れて、安心感や幸福感を与えることができるケアロボットのニーズが高まっています。私たちは、快適なタッチケアのインタラクション研究を通して、触覚のインタラクショだけでなく、視覚や聴覚を含む五感に対して、マルチモーダルなインタラクションを行うことで、人の快適性を向上させるタッチケアロボットの研究を行なっています。

上記以外のテーマでも、様々な視点からロボットと人の快適なインタラクション研究を行なっています。少しでも興味がある方は、一度サイトをご覧ください。是非一緒に快適なロボットに囲まれた世界を作りましょう。

著者紹介

澤邊 太志(さわべ たいし)

大阪生まれ、オーストラリア育ち、立命館大学のロボティクス学科を卒業後、奈良先端科学技術大学院大学(NAIST)にて博士前期・後期課程を修了。博士(工学)。同大学ポスドクを経て、助教。博士課程時に大学発ベンチャーとして、㈱アミロボテック(https://www.amirobo.tech/)を大学の寮で設立し、京都のテック企業としても活動。HRIやVR分野にて、人とロボットの快適なインタラクション研究に従事し、研究基礎技術の応用化のためのアプリ開発等も行う。
🔗 Webサイト: https://drmax.mystrikingly.com/

光の投影による現実世界の拡張 | インタラクティブメディア設計学研究室

インタラクティブメディア設計学研究室の助教の藤本雄一郎です。インタラクティブメディア設計学研究室では、コンピュータで作られた情報を実世界に重ねあわせて表示する拡張現実感(AR)技術を中心としつつ、VR(バーチャルリアリティ)、CV(コンピュータビジョン)、CG(コンピュータグラフィクス)、HCI(ヒューマンコンピュータインタラクション)、HRI(ヒューマンロボットインタラクション)について広く研究しています。今回は、私の主な研究の一つである、空間型拡張現実感(Spatial Augmented Reality、SAR)の研究について、ご紹介します。

「AR」という技術はポケモンGOなどのゲーム分野で既に広く普及していますが、ご存知の通り、これらはスマートフォンやタブレットを使用しています。また、最近ではMicrosoftのHoloLensなどの頭に被る・かけるディスプレイ(ヘッドマウントディスプレイ、スマートグラス)を使用したARも実用化され始めています。しかし、これらとは別に第3のAR(?)が存在します。それが、プロジェクタを使用する「SAR」です。

SARは、対象物や環境に対してプロジェクタ光を当てることで、その見た目を変化させたり、情報を提示したりする技術の総称です。SARの最大のメリットとして、ユーザがデバイスやセンサを持ったり装着したりしなくてよいことが挙げられます。建物などに対する「プロジェクションマッピング」をご覧になったことがある方は多いかもしれませんが、これも、SARの一つであると言えます。他には、ディズニーランドなどのテーマパークのアトラクションの中でも視覚効果として数多く採用されています。

マイナーなようで、実は意外と使われているSAR、この分野で、私が行った研究を三つほど駆け足で紹介します。

1.  柔軟物体への投影

一つ目は、私が奈良先端大の博士後期課程学生だった2013、2014年ごろの少し古い研究です。当時、ほとんどのSARは、建物外壁や部屋の壁面など、動かず、かつ形が変化しない物体を対象としていました。特にプロジェクションマッピングでは、事前に対象物の形状を把握しておくことで、それにピッタリと合うように投影すべき映像を変形させる必要があります。あらかじめ、対象物の位置や形状が分かっている場合、この変形処理は、事前に一度行えば良いため、技術的には比較的容易です。

それに対し、この研究では、人が着ている衣服(布)のように位置や形状が変化する対象に対して、投影を行える技術を提案しました。まず、人の目に見えにくいインクを用いて、ドットパタンを布の全体にあらかじめ印刷しておきます。このドットパタンは一見すると、どれも同じに見えるものの、実は、微小領域単位で見ると、他の箇所には同じ配置が存在しないように、布全体に対して配置されています。そのため、赤外カメラでそれを観測することで、布の移動や形状の変化を即座に認識することができるのです。

図1:柔軟物体への投影。(上)シリコンシートの例、(下)Tシャツ型の布の例

2.  食品の見た目の変化

次に、2017、2018年頃に行った研究を紹介します。居酒屋やカフェなどで食べ物の写真を撮った際に、より美味しそうに、より魅力的に見せるために、色味や明るさをスマホのアプリなどで加工することは広く行われてますが、それを現実世界で行いたい、と考えた研究です。

まず、様々な食品(サンプル)に対し、光の当て方を変化させた様々な画像を用意し、クラウドソーシングで、人が「美味しそうだと感じる度合い」データをたくさん収集しました。そのデータをもとに、プロジェクタの光投影により、食べ物の色味や明るさ、ハイライトなどの見た目を変化させるSARシステムを作成しました。被験者実験により、通常の環境光よりも、食べ物をおいしく見せる投影光条件が多くの食べ物に存在することを示しました。

この技術は、レストランなどの店先で食品サンプルに対して使用することで、販促に利用できると考えています。ゆくゆくは、任意の料理に対して最適なパラメータを自動で算出する研究を行いたいのですが、これは道半ばで止まっています。

図2:食品の見た目の変化。(上)元の見た目、(下)より美味しそうに見えるような光を投影した見た目

3.  明所での投影

最後に 2021年に始めた最新の研究を紹介します。遅ればせながら、ようやくNAIST Edgeの本旨に沿ってきましたので、少し長めに説明します。

従来のほとんどのSARは、夜の屋外や、電気を消した屋内など、暗い場所で使用されていました。もちろん、暗い環境の方が投影光が綺麗に見える、ということが理由の一つですが、他にも、明るい領域ではプロジェクタの位置合わせ(カメラなどによる計測を伴う事前準備)が困難となる、という別の技術的問題がありました。後者を解決すれば、明るい環境でも投影が行えるようになり、SARの応用範囲が広がるのでは?と考え、この研究を始めました。

一般的に、この位置合わせには、まずプロジェクタとカメラの各画素の対応関係を高い精度で求める必要があります。しかし、環境中の光が強いと、カメラのダイナミックレンジの問題(普通のカメラは、明るい場所と暗い場所を両方一度に綺麗に撮影することが難しい)から、この対応関係取得が難しくなります。

そこで、この研究ではイベントカメラという特殊なカメラを使いました。普通のカメラでは各ピクセルにて、光の入射量に応じた値を、画像として出力しますが、イベントカメラでは「光の量が一定以上変化したピクセルの場所」と「変化の方向(明るくなった or 暗くなった)」と「変化が起きた時間」だけを出力します(つまりカメラといいつつ、いわゆる画像は出力されません)。一見するとこれは普通のカメラにも劣っているように見えますが、この特殊な構造が、実は、極めて小さな遅延、人の目とほぼ同等の広いダイナミックレンジ、小さなコントラスト変化を敏感に取得可能、などの上記の問題に適した特性を生み出しています。

この研究では、この特性を利用した対応関係取得方法を提案することで、かなり明るい屋内での安定した投影を実現しました。応用先の一例としては、テニス(屋内コート)、アイスホッケー、体操などの訓練や観客への情報提示が挙げられます。

今後は、上記の遅延が小さいという特性を活かし、非常に高速に動作する対象物に投影できるような技術を研究していきたいと考えています。

図3:明所での投影。イベントカメラを用いたSARによる明るい屋内での投影例

さて、今回は、駆け足でSARの三つの研究をご紹介しました。他のARと比較して、あまり知られていないSARについて、この記事を読んでいただいた方に少しでも興味を持っていただけたなら幸いです。一緒に研究したい、という方もお待ちしています。

著者紹介

藤本 雄一郎(ふじもと ゆういちろう)

兵庫県加古川市出身。大阪大学で学士、奈良先端科学技術大学院大学で修士・博士(工学)を取得。その後、東京農工大学の助教を経て、2019年より奈良先端科学技術大学院大学 助教。SARの他に、AR/VRによる各種作業支援・訓練の研究に従事。プロジェクタだけでなくHMD(ヘッドマウントディスプレイ)もよく使う。
🔗 Webサイト: http://yfujimoto.cfbx.jp/

常に表示されている映像から受ける影響について考える | サイバネティクス・リアリティ工学研究室

サイバネティクス・リアリティ工学研究室で助教をしております磯山直也です。サイバネティクス・リアリティ工学研究室では、バーチャルリアリティに関する研究を主軸としつつ、人とコンピューターが適切に・便利に・快適に・安全に・楽しく寄り添いつつ生活できることを目指して研究を行っています。詳しくはこちらをご覧ください。早速ですが、こちらの記事ではバーチャルリアリティではなく、ウェアラブルコンピューティングに関する研究の紹介を致します。

私はウェアラブルコンピューティングに関する研究を行っているのですが、その中でもウェアラブル機器に表示された映像が人に与える影響について着目しています。

ウェアラブルコンピューティング環境では、コンピューターやセンサーなどを人が身につけた状態で生活することで、人がシステムから様々な恩恵を受けることができます。ウェアラブルコンピューティング環境で使用される機器の代表的なものにスマートグラスというものがあります。スマートグラスには様々な種類があるのですが、本記事では、ディスプレイが使用者の目の前に配置され、使用者はいつでも・どこでも視覚的な情報を見られるものを指すこととします。実際に販売されているスマートグラスとしては、Google社のGlass Enterprise Edition 2、Vuzix社のBlade、エプソン社のMOVERIO、ウエストユニティス社のInfoLinker3などがあります。記事を書いていたら、2021年8月にdocomoがGoogle社のGlass Enterprise Edition 2を発売するというニュースが飛び込んできたので楽しみですね。下図で装着しているのはVuzix社のM300です。

Vuzix M300

スマートグラスでできること

スマートグラスにはAndroid OSが搭載されているものが多く、スマートフォンの画面が目の前に置かれているような状態になります。スマートフォンのように機器を手に持たなくても、電車や歩行中でも視覚的な情報を見ることができます(もちろん、歩きスマホのような問題について考えることも大事です!!)。満員電車でも映画を見たりすることがスマートフォンよりも容易に可能です。手に機器を持たなくてもスマートグラスを操作できる仕組みも数多く研究されていますが、この記事では触れません(操作用の機器だけで長い記事になってしまいそうなので…)。

スマートグラスには加速度センサーやジャイロセンサー、GPSなどが搭載されているため、スマートグラス上のシステムは使用者が何をしているのか、どこ居るのかなどが認識できます。そのため、使用者の状態や位置に応じた情報を提示できます。例えば、「使用者が駅に近づいてきたら今の時刻と次の電車の出発時刻を提示」「使用者が休憩を始めたら先程まで見ていた動画の続きを自動で再生開始」「ランニングやサイクリング時に現在の速度を提示」「料理中に手順に合わせて自動でレシピを遷移」などが可能になります。

以上のように、スマートグラスは様々な使用方法があります。私の研究では、スマートグラスを使用する際には、スマートフォンを使用する際とは大きく環境が異なることに着目し、その特徴を活かした新しい使用方法や問題について扱っています。

常に情報を見るということ

さて、話は少し脱線しますが、人は見たもの・意識したものから行動や思考に影響を受けることが知られています。例えば、プライミング効果は、先行する刺激が後続の刺激に対する処理を促進もしくは抑制する効果として知られています。乗り物に関する会話をしていた後に「飛ぶものといえば?」と聞かれた際に、普段であれば鳥や雲と答えていたかもしれないのに、「飛行機」と答えやすくなるような現象です。単純接触効果は、特定のものに接する回数が増えるほど、それに対して好印象をもつようになる効果です。テレビCMなどでもこの効果が利用されています。アンカリング効果は、先に与えられた数字や条件が基準となって、後の情報に対する判断や行動に影響を与えられる効果です。店舗におけるポップで安売りを表示する際に元の価格を提示するのも、この効果が使用されています。ここまでに挙げた例以外にも人は様々な影響を受けています。

スマートグラスの話に戻りますと、スマートグラスの使用者は、何気なく・無意識に近い状態で画面を見ることがあります。その他の特徴として、何度も画面を見る・長時間同じ映像を見る・他の作業をしながら見る・何かをする直前に画面を見るなどが考えられます。上述したような効果はスマートグラス上に提示された視覚情報からも、使用者に対して与えられると考えられますが、これまでに調べられてきた効果よりも、強い効果が与えられる,あるいは,効果の弱まりが早い、などの異なる効果になる可能性があります。特定の映像を見ていると、元気が出てくる良い効果もあり得ますし、元気が無くなる悪い効果もあり得ます。そこで私は、スマートグラス上に提示される情報によって人はどのような影響を受けるのか、どのように活用できるのか、に関して研究を行っています。

以降では、これまでに研究した内容を二つ紹介したいと思います。

気になるものの変化

スマートグラス上には様々な情報を表示できます。しかし、使用者にとって見た方が良い情報ばっかり表示されていると、使用者が表示される情報を「全て見ないとっ!!」ってなってしまい、疲れちゃうなーと考えました。そこで使用者が特にスマートグラスを必要としていないときに、見なくても良いけど、見たら何かしら良い効果が得られる情報を表示できると良いな、と考えました。

人は、趣味に関連するような興味ある情報でも実世界上で多くの情報を見落としています。そこで、上述したプライミング効果をスマートグラスに表示した映像によって生起させることで、使用者が実世界上にある興味対象の情報を見落としにくくなるのではないかと考えました。

かなり小規模な実験だったのですが、スマートグラス上にサッカーの映像を表示した被験者は実世界上のサッカー関連の情報に、野球の映像を表示した被験者は野球関連の情報に気づきやすくなっていました。

より詳細にこの効果を調べるために、被験者が気になるものの変化について調査を行いました。被験者には、スマートグラスを使用して、散歩中に気になったものの写真を撮ってきてもらいます。この際に、被験者を3グループに分け、それぞれのグループに対して、カメラを起動するボタンのアイコンが「建物」「自然」「乗物」のいずれかの写真が表示されるようにしました。結果として、被験者は実験の目的を知らなかったのですが、「建物」の写真を見ていたグループは建物関連の写真を多く撮影して、「自然」の写真を見ていたグループは自然関連の写真を多く撮影していました。このように、スマートグラス上に表示した映像によって、使用者が気になるものに変化があることが確認できました。

作業速度の変化

スマートグラスを利用することで、使用者は何か違う作業に入る直前まで特定の映像を見ていられます.そこで、職場へ行くまでの道中に見ていた映像によって、職場へ着いた際にスムーズに仕事を始められないか・仕事の速度が上げられないかと考えました。

実験では、スマートグラス上で再生する動画の速度を変化させたり、スマートグラス上に表示する人のアニメーションの走る速度を変化させたりしました。そして、見た後の被験者のタスクを行う速度に変化が無いか、を調査しました。実験の結果、通常より速い速度で再生されていると考えられる動画やアニメーションを見てからだとタスクを行う速度も上がり、遅い速度を見た後だとタスクを行う速度が遅くなることが確認できました。

今回の得られた結果では少し変化する程度でしたが、今後より強く影響の与えられる映像について探っていきたいと考えています。また、タスクが遅くなることにも着目し、休憩前に特定の映像を見ることでリラックスしやすくならないか、ということも調査していく予定です。

※ 本研究は2021年春に修了した長谷川くんが頑張ってくれました。長谷川くん、ありがとう。

今後の展望

今後、スマートグラスは一般に普及すると信じているのですが、その際には広告媒体として大きく注目されることが想像できます。特定の商品だけが購入されやすくなることを避けるように、使用ガイドラインを作成する必要があります。そのガイドラインのためにも多くの影響について明らかにしておくことが重要であると考えています。しかし、そのような禁止事項を増やすだけでは苦しくて、楽しくも無いので、便利な使い方に関してもどんどんと提案していきたいと考えています。まだ研究できていないので、具体的な案をここでは書きづらいですが、「初対面の人に会う前に、その人の顔を事前に表示し続けておくことで、いざ会ったときにリラックスして話せるようになる」「その日に食べた昼食を表示し続けることによって食べたことが記憶に残りやすくなり、お腹が減りにくくなる」などの利用ができたら良いなと考えています。

著者紹介

磯山 直也(いそやま なおや)

2015年に神戸大学で博士(工学)を取得後、同年に青山学院大学の助教に着任。2017年に神戸大学の特命助教に着任した後、2019年から奈良先端科学技術大学院大学にて助教として勤務。ウェアラブルコンピューティング・ユビキタスコンピューティング・エンタテインメントコンピューティング・バーチャルリアリティの研究に従事。
🔗 Webサイト: http://dr-iso.com