ユビキタス社会の実現に向けて

1991年にMark Weiserによって,どこにでも偏在するという意味のラテン語「ユビキタス」という言葉が情報通信の世界を象徴する言葉として使われてから,20年以上の月日が経ちました.その間に,インターネットは,電気や水道といったライフラインと同じくらい我々の生活に浸透し,必要不可欠なものとなっています.そして,昨今のスマートフォンの本格的な普及は,さらにユビキタスを現実のものにしようとしています.

ユビキタスとは,多くの意味を含んでおり,コンピュータそのものが偏在するという意味であったり,それらを繋ぐネットワークがどこにでもあるという意味であったり,そうしたものが普及した社会そのものを指すこともあります.NAISTのユビキタスコンピューティングシステム研究室は,2011年に発足した若い研究室で,我々の生活におけるあらゆる事象をユビキタス化することを目指して研究を進めています.

ユビキタスなサービスを実現する上で重要なことは,そのサービスが利用者にとって有益か否かということです.より的確なサービスを提供するためには,ユーザがどういう状態(コンテキストと呼ぶ)で,何を求めているのかをコンピュータが認識する必要があります.研究では,この認識精度をいかにして向上させ,コンテキストアウェアネスの高いシステムを構築できるかを追求しています.

そして,このコンテキスト認識において,キーとなっているのが,昨今普及著しいスマートフォンです.スマートフォンは,大型のタッチパネルを備えてアプリをインストールできる携帯,あるいは小さなコンピュータと一般的には考えられていますが,我々の研究領域では,その中に搭載されたさまざまなセンサに注目が集まっています.代表的なセンサは,GPSや加速度センサですが,それ以外にも照度センサ,近接センサ,気圧センサ,ジャイロセンサなど種々のセンサが搭載されています.震災後は,放射能センサを搭載した端末も登場しています.また,WiFiやBluetoothといった通信モジュールやマイクなどもセンサとして活用する研究も多数発表されています.

ユビキタスコンピューティングシステム研究室でも,このスマートフォンを活用したコンテキスト認識の研究を行っていますので,代表的な研究成果を紹介したいと思います.

まず1つ目は,スマートフォンのタッチパネルをセンサとして活用したコンテキスト認識です.仕組みの前に,どんなことが可能になるかという例を示したいと思います.

overview

・タッチエリアからユーザの利き手を理解し,利き手に最適化された使いやすいUIに
・利き手と反対で使っているということから,食事中などのより詳細なコンテキストを認識
・タッチ操作のスキルを測定し,ユーザの修練度に応じて変化するUIに
・親指の長さから男女を識別し,性別に応じた情報の提供
・タッチ操作から快活度やストレスなど内面的な状態を推定

このようにこれまでの加速度センサやGPSなどでは把握できなかったコンテキストを認識できる可能性を感じています.ただ,Androidのアプリケーションを作成したことがある人なら,ピンとくるかもしれませんが,タッチ操作というのはアプリケーションごとに分離されていて,グローバルに取得すること自体が難しいという問題があります.

そこで,タッチ操作をアプリケーションに関係なくすべて取得するシステムの開発から着手しました.この研究は,新M1が夏から始めた研究ですが,なんと半年もたたずに国際会議に採録された上,その会議でBest Poster賞を受賞するという快挙でした.国内でもベストポスター賞を受賞しており,順調な滑り出しで,今後先に述べた夢のある応用例をいくつ実現できるか楽しみにしているところです.

研究室では,基本的に学生が主体的にテーマを考え,それに対して教員とディスカッションを重ねて,絞り込んでいくというスタイルを取っています.また,対外発表をエンカレッジしていますので,イケルと思った研究は,学年に関わらず,M1からどんどん発表していきます.この研究も新M1が夏から取り組み,半年間で,国内会議3回,海外会議1回もの発表をしています.実装も伴うため,かなり忙しくなりますが,どんどんチャレンジしていく人は大歓迎です.

2つ目は,このようなスマートフォンを用いたセンシングを普及させるための仕組みについても研究しています.ユーザの端末を使ってセンシングすることをユーザ参加型センシングと呼び,1つの大きな研究テーマとなっているのですが,実用化という点では,本当にユーザがボランティアでセンシングに協力してくれるのか懐疑的です.センシングに対してお金を支払うことでユーザを獲得することもできるのですが,ユーザの端末を使うことで低コストで大きなエリアをセンシングするという目的と相反してしまいます.そこで,研究室では,ゲーミフィケーションと呼ばれる心理的満足度を取り入れ,金銭的対価を最小化しつつ,ユーザの参加率を改善する仕組みについて研究をしています.

naistphoto

実際に,研究室内でこのシステムを実験して,ゲームを楽しみつつ,お小遣いをゲットした学生さんもたくさんいました.私も200円ほどもらいました.研究室旅行で訪れた台湾でも,海外の実験として,このシステムを使いながら,台湾をセンシングするということもしました.

3つ目の研究は,こうした参加型センシングでも,過去にネット上に蓄積された情報を用いた研究です.特にFlickrやTwitterなどのソーシャルメディア上に蓄積されたデータを利用しており,ソーシャルセンシングとも呼ばれています.研究室のM1が開発したPhorecは,Flickrに蓄積された情報を分析し,アマチュアカメラマンをサポートするシステムです.撮りたいと思う写真をクリックすると,時間,季節,天気,位置,カメラセッティングといった情報を提供してくれます.このアプリは,種々のアプリケーションコンテストで高い評価を受けており,各種メディアにも取り上げられています.開発した学生は数十万の賞金でフルサイズカメラを手に入れたとか.

 

4つ目の研究は,スマートフォンを使った心拍数の推定という研究です.最近,健康維持を目的として,ウォーキングをする人が増えています.しかしながら,普段運動しない人が急に運動すると思わぬ体調不良を起こすこともあります.そこで胸に装着する心拍計などが販売されています.しかしながら,このような心拍計は,価格的にも装着の煩雑さからも普及に至っていません.そこで,考えたのがスマートフォンのセンサを駆使して,それだけで心拍数を推定できないかという研究です.このシステムでは,人の体格や普段の運動状況に加えて,地理情報(坂道なのか平坦なのか,どれくらいの傾きなのか)を考慮したモデルを作成することで,この人がこの道をこの速度で歩いたらこれくらいの心拍になるはずであると推定しています.この推定が案外うまくいったこともあり,この研究は,昨年,難関国際会議Ubicompに採択されました.

研究室では,このような心拍数だけではなく,睡眠や空腹度,健康ダイエット支援,レシピ支援など人間の生体情報を絡めたスマートライフの研究も重点的に行なっています.そして,その実験環境として,NAISTキャンパス内に,本当の家を作ってしまいました(笑 それがスマートハウスです.

smarthouse

スマートハウスには,住人の位置を正確に補足可能な位置センサや電力センサ,温度や湿度を計測できる環境センサ,ドアの開閉センサや蛇口センサなど,実際の生活環境に多くのセンサが埋め込まれています.これらのセンサはすべて無線で連携していて,常時,住宅内に設置されたホームサーバに生活者のライフログとして蓄積されていきます.

このスマートハウスでは,以下の様な研究に取り組んでいます.
・コンテキストに応じたレシピ推薦システム
・見守りに必要なセンサ数の最小化
・電力消費と人間行動の自動的な関連付け
・ピーク電力削減に向けたゲーミフィケーション
・快適な昼寝支援システム
・空腹度推定システム

このようにユビキタスコンピューティングシステム研究室では,未来のユビキタス社会の実現を目指し,我々の生活の1つ1つをコンピュータやセンサ,ネットワークの力でインテリジェントにしていく研究をしています.研究室名に,「システム」とあるように,単なる理論やシミュレーションに終わらずに,システムとして動くものを作るところまでを推奨しています.なので,手を動かすのが好き,プログラミング大好きを募集しています.

最後になりましたが,私の個人的な方針で,月1回以上研究室イベントを開催することをミッションとしています.幸い,ノリのいい子たちが集まってくれて,ひっじょーに,楽しい研究室となっています.この様子は,学生Blogにちらほら登場しているので,こちらも読んでみてください.

長くなりましたが,ユビキタスコンピューティングシステム研究室をよろしくお願いします.見学や質問は随時受け付けています.

文責:准教授 荒川 (ara@is.naist.jp)

大規模システム管理研究室 ― Hadoop の投機的実行数は何故4なのか?―

大規模システム管理研究室では,未来の大規模超並列分散コンピューティング環境のための要素技術やビッグデータ解析に関する研究と,それらの応用として大災害に対するリスク管理やサービス・マネージメントに関する研究を行っています.今回は莫大な規模のサーバマシンから構成されるクラウド・コンピューティングに関するスケジューリング問題を通して研究成果の一端をご紹介します.

クラウド・コンピューティング環境

クラウド・コンピューティングは,莫大な数のサーバマシンを接続して分散コンピューティングを提供する計算環境の総称です.サーバ環境はデータセンター内に構築され,デスクトップPCからタブレットPC,モバイルフォンといった多様な端末がクライアントマシンとしてクラウド・コンピューティングサービスを利用しています.

クラウド・コンピューティングを提供するデータセンターでは,普及品レベルのサーバを増やして処理を並列化することにより,処理性能の向上を実現しています.このようなアプローチをスケールアウトと呼び,現在のクラウド・コンピューティングを支える基盤技術として普及しています.

scaleout_systemスケールアウト型コンピューティング・システム

クラウド上で実行されるキーワード検索やビッグデータ解析のような処理では,巨大なタスクを複数のサブタスクに分割し,多数のワーカと呼ばれるサーバマシン上で処理を行う,いわゆる大規模分散並列処理が行われます.Google のMapReduce やオープンソースの Hadoop が大規模な分散並列処理を行うソフトウェアフレームワークとして大変有名です.

キーワード検索を例に取ってみると,非常に大きいサイズ,例えば1TB (=1000GB) のファイルに含まれるキーワードを検索するとき,1台のマシンで検索するよりも,ファイルを1000台のマシンに等分割保存して1台あたり1GBの部分ファイルを検索する方が,探索にかかる時間は単純に1000分の1になります.(並列化のための前処理時間は並列台数が大きくなると増大しますが,それよりも処理時間の短縮効果が大きいときには有効です.)

落伍者の問題とバックアップ型スケジューリング

莫大な数のサーバマシンで並列処理を行うときに問題となるのは,マシン性能のばらつきです.またハードウェアの故障も,マシンの台数が100台,1000台と多くなってくると,無視できない問題になってきます.並列処理ではすべてのサブタスクの処理が完了してタスク全体の処理が完了となります.このような処理では,最も遅いサーバマシンが全体の処理時間を決定することに注意しましょう.この問題は落伍者の問題 (Issue of Stragglers) として知られています.大規模分散並列処理では,マシン性能のばらつきやハードウェアの故障にも柔軟に対応してタスクを高速に処理するスケジューリングが重要な役割を担っています.

ここで簡単な例として4台のサーバで並列処理を行うことを考えてみましょう.

cloud_scheduling

二つのタスク・スケジューリング戦略

次の二つの戦略を考えます.

  • 戦略A (上図左側)

タスクを4分割し,4台のサーバで並列処理を行う.4台のサーバの処理すべてが終了した時点でタスク全体の処理が完了.

  • 戦略B (上図右側)

タスクを2つのサブタスクに分割し,1つのサブタスクをオリジナルサーバとバックアップサーバの2台で処理をする.オリジナル処理とバックアップ処理で,早く終わった方の結果を採用する.

戦略Aと戦略Bでは,どちらの方がクラウド・コンピューティングでは有利でしょうか?

まず全部の処理が完了するまでの処理時間を考えましょう.1台のサーバでタスク全体を処理するのにかかる時間を1とすると,戦略Aではタスクを4分割しているので1台当たりの処理時間は1/4,うまくいけば1/4程度の処理時間でタスクを完了することが可能です.

一方の戦略Bでは,タスクを2分割しているので1台当たりの処理時間は1/2,うまく処理が行われても1/2の処理時間がかかります.タスク全体の処理時間の短縮を目指す立場からすると,戦略Aの方が分割数が多い分,効果的に時間を短縮できそうです.

次に4台のサーバの内,1台が故障した場合を考えてみましょう.戦略Aでは4台のサーバの処理結果が返ってこないと処理が終了しませんから,故障の場合はタスク処理を完了することができません.一方,戦略Bでは2台に同じ処理をさせていますから,1台が故障した場合でもタスク全体の処理を完了できます.つまり,戦略Bは単純な分割・並列処理と比べて故障に耐性があることがわかります.

それではCPUの性能差や負荷状況によって処理時間にばらつきがある場合,どちらの戦略の方が有利でしょうか?

この問題を考えるためには,戦略Aや戦略Bによるタスクの処理メカニズムを確率的に分析する必要があります.簡単に説明すると,この問題は,複数の確率変数列の最大値がどのような分布に従うかという問題に帰着し,数理的に解析を行うと戦略Aや戦略Bのタスク処理時間の分布を導くことができます.この分析を行った結果,いろいろと面白いことがわかってきました.

まずサーバの処理時間のばらつきが大きければ大きいほど,戦略Bの効果が高いことがわかりました.しかもばらつきが大きいときは並列処理を行うサーバの台数を100台,1000台と増やすほど戦略Bがより効果的になることも判明しました.さらに,ハードディスクの応答が遅くなるなどの中途半端な故障によって処理時間が極端に長くなるような場合には,戦略Bのバックアップ型スケジューリングが効果的であることが明らかになりました.

実装に関する面白い結果として,一つのサブタスクを処理するサーバ数は3台から4台あれば十分であること,5台以上は処理時間がそれほど改善されないことがわかりました.Hadoop では,タスク処理の失敗を見越して他のサーバにタスクを振り直す投機的実行という機能がありますが,この投機的実行の最大回数はデフォルトでは4と設定されています.このデフォルトの値は,分析を通じて得られた結果と合致しており,このような根拠の下で投機的実行の最大回数が設定されていることを改めて認識した次第です.

ここではタスクの処理時間についての話題を紹介しましたが,クラウド・コンピューティングで重要な問題の一つに,データセンターが莫大に消費する電力をどのように削減するか,という問題があります.消費電力という観点から見るとパフォーマンスがよいとされた戦略Bは,サーバを稼働させる時間が全体的に多くなるためにあまりよい戦略とは言えません.クラウド・コンピューティングではタスク処理時間と消費電力量がトレードオフの関係にあり,そのためタスク処理時間を短縮しつつ消費電力量も削減するジョブ・スケジューリング法が重要な研究テーマとなっています.

 大規模クラウド・コンピューティング実験システムと始動する研究プロジェクト

大規模システム管理研究室の大きなニュースとして,大規模分散並列処理実験システムがこの度導入されました.HP の MoonShot と呼ばれるシステムがベースになっていて,カートリッジ型サーバマシンを1シャーシで45台収納,1ラックに3シャーシを搭載した高密度型サーバクラスタシステムです.当研究室では全135ノード中100台を専有し,Hadoopが稼働する分散並列処理システムとして実験用に使用します.

実験設備写真

 大規模クラウド・コンピューティング実験システム

 このシステムを使って以下の実験やアプリケーションの構築を行っていく予定です.

  • モバイルクラウド実装プロジェクト

クラウド・コンピューティング環境とタブレット端末を高度に連携させたモバイル情報収集分析プラットフォームを構築し,コンテンツデリバリや大規模分散メモリキャッシング,MapReduce型アプリケーション,特に大規模非構造データに対する知識獲得処理を行うアプリケーションを開発します.

  • スケールアウトクラウド実測プロジェクト

Hadoop環境において,大規模分散並列処理の性能を実測によって評価を行います.具体的には,ノード数がスケールすることによる処理性能の改善効果やノードの性能をばらつかせることによる処理性能の劣化度合い,タスクスケジューリング方式の性能評価を実機で行う予定です.

  • 省電力エネルギー制御プロジェクト

大規模データセンターの電力消費量を抑えつつタスク処理を効率的に行う電源管理スケジューリングを開発します.例えばタスクの到着パターンに適応した電源管理法やタスクの優先クラスによるスケジューリング,サーバ群レベルの電源管理法について検討していきます.

このシステムを使って私たちと一緒に未来のクラウド・ワールドを研究開発していきませんか.

ネットワークシステム学講座2013

ネットワークシステム学講座は、信号処理をひとつのキーワードに、ワイヤレス通信やセンシング、組み込みシステムといった、いつでも・どこでも・何でもが繋がるユビキタスネットワークのための基盤技術の実現と評価に関する研究を行っています。 情報科学研究科の中では比較的物理層に近い研究分野です。 また全体としてのシステムを考える研究が多く、自分の研究が成功したらこんなことができる!というのがイメージしやすい、と現M1の自分は考えています。 それではネットワークシステム学講座の2013年を振り返ってみたいと思います。(M1金子)

2013年6月29日、龍谷大学ともいき荘にて、IEEE MTT-S関西チャプター主催の第6回マイクロ波英語発表会に本研究室より、Md Salik Parwez、松田勝志、丸山拓起、万耕、金子裕哉が口頭発表を行い、 金子裕哉がBest Presentation Awardを受賞しました。

mtts01

本研究室は国内、国際を問わず学会発表へ積極的に参加しています。この英語発表会は国内開催ですが、国際学会への参加の為の練習として英語で行われています。 また、運営をIEEE MTT-S Kansai ChapterのWakaTe Committeeという学生委員会が行なっており、委員会に所属する本研究室のM2学生が座長を務めました。

(M1金子)この発表会でBest Presentation Awardを頂くことができました。英語の発表会もアワードを頂いたのも初めてでしたが、大学院へ来るといろいろな発表の機会があるのだなあと感じました。またこの発表会での英語プレゼンの経験を活かしてこの秋には国際学会へ参加することができました。

ここで発表したテーマは「A Study of the Model of Meteor Burst Communication Channel with Exponential Decay」(流星バースト通信路指数減衰モデルの検討)といい、実はこの奈良先端大に来る前、いわゆる学部時代(僕は高専専攻科出身なので専攻科時代)の研究テーマです。ネットワークシステム学講座に配属されてからのゼミで学部時代の研究テーマを紹介した際に先生に興味を持っていただけたことと、この英語発表会が新規性などより今後国際学会へ参加していくための練習としての意味合いが強いということだったので参加させてもらいました。そういうわけなので来年度新しく来る学生の方も研究テーマによっては参加できると思いますのでぜひ発表してみてください。今いる研究室でなく学部時代の研究テーマを発表することになったとき、なんとなくですが初めて自分個人のテーマとして責任を持てたように思えます。さらに学部時代のテーマにも関わらずありがたいことにネットワークシステム学講座の先生から発表内容にご指導をいただけたので受賞できたと思います。

奈良先端に来ると、学部時代のテーマとは違うテーマを持つことになると思います。僕のように通信関係で共通した部分があるテーマを持つことになるかもしれませんし、全く異なる分野に興味を持って研究を行おうという人もいると思います。いずれにしても、色々な分野の知識を持っていると強みにもなると思いますし、話を聞いていて面白い分野というのが増えて学会に行った時に講演の目次を見るのが楽しくなります。前に行っていた研究で使った知識や手法が今やっている研究でも役に立ったり、同じ分野の研究についてその分野の人とは違った見方ができたりということもあると思います。自分の研究の履歴や持っている知識のベースといったものが自分の味になっていくんだなというのが奈良先端へ来て感じたことの1つです。何事にも興味を持ってアンテナを伸ばしていきたいと思います。

2013年7月02日、IEICE, IEEK, ECTIが主催する国際会議ITC-CSCC2012において、本研究室の博士後期課程1年のDiego Javier Reinoso ChisaguanoがThe 2012 Best Paper Awardに選出されました.2013年7月2日に韓国で表彰式が行われました.

8月6日から8月8日の3日間、SSH(スーパーサイエンスハイスクール)が実施され、東大寺学園中学の学生さんが参加しました。 地上デジタル放送の受信用アンテナの作成に取り組み、実験を行いました。

ssh01

 

8月19日から25日の1週間、降雨レーダーに関する研究実験を行うため、フィリピンのアテネオ大学を訪れました。

ateneo02

 

9月4日から9月6日の3日間、タイのサムイ島で開催された国際会議ISCIT2013で本研究室より博士後期課程1年のdiego Javier Reinoso Chisaguanoが口頭発表を行いました。

9月14日から9月28日の2週間、本研究室より木谷竜也が湖南大学(中国)へ短期留学に行きました。

Hunan2_s

私はネットワークシステム学講座M2の木谷竜也と申します。私は2013年9月14日から9月28日まで中国の湖南大学に短期留学をしてきました。湖南大学とNAISTは協定を結んでいて1年毎に互いの大学の学生の短期交換留学を行っています。主な研究プロジェクト内容はワークショップで互いの研究紹介を行った後、別々の研究室へと配属され現地の学生とペアになりプロジェクト研究を行う形でした。ただ、この交換留学は短期ということもあり、研究を行うことだけが主な目的ではなく英語で学生の交流を図ることも目的とされているので気軽に参加することもできます。ただ、がっつり海外大学で研究を行ってみたい人には物足りないかもしれません。実際、2週間の実施内容の割合は研究紹介なども含めた研究を50%、現地学生との観光などの交流が50%でした(あくまで2013年実施内容)。私が配属された研究室は現研究室の分野とは異なるものだったので、1対1で互いの研究の基本的なことから細かく英語で議論をすることは英語の議論に臆さなくなるという意味でもいい経験になりました。海外への留学に少し迷っている人は行ってためにならないことはきっとないので、海外の奨学金留学生や研究機関のインターンへ是非応募してみてください。修士卒業に限った場合、時間のあるM1に少し長期の留学・インターンに行くことをお薦めします。

 

タイより留学生のWithawatさんが博士後期課程で研究室に来られました。

10月22日から24日の3日間インドネシア・バリ島で行われた国際会議ICE-ID2013にて本研究室より万耕、木谷竜也、沖修平、金子裕哉が口頭発表を行いました。当国際会議で博士前期課程2年木谷竜也がBest Paper Awardを受賞しました。

bali01

 

M1金子:初めて国際学会で発表しました。自分の発表は練習ができるのでまだ何とか曲がりなりにも形にはなっていた(と思いたい)のですが、当然質問も英語ですから、質問を聞き取って意図を理解して英語で答えるというのがやはり大変でした。ですが質問がもらえたというのは自分の研究に興味を持ってもらえたということと、一応は自分の英語が通用したということだと思うのでその点は嬉しく感じました。こういう経験があると英語の勉強のやりがいも出てくるというものです。

もちろんメインは学会参加なのですが、異国の食事や観光が楽しめるというのも醍醐味なのではないかと感じました。

 

 

11月12日から15日の4日間、沖縄で開催された国際会議ISPACS2013にて本研究室よりRyan Padernaが口頭発表を行いました。

11月16日(土)に2013年度山本研・山口研・岡田研合同同窓会が開催されました。

11月19日から22日の4日間、イギリス・マンチェスターで行われたIEEE EMS2013にて本研究室よりMd Salik Parwezが口頭発表を行いました。

 

12月3日にICEIC ワイドバンドシステム研究会(WBS)にて本研究室より博士前期課程1年の沖修平がポスター発表を行いました。

12月21日にIEEE AP-S Kansai Chapter and IEEE MTT-S Kansai Chapter 合同若手技術交流会2013にて本研究室より博士前期課程2年の牛少博と博士前期課程1年の三好崇之がポスター発表を行いました。

1月23日から24日にマイクロ波・ミリ波フォトニクス研究会 (MWP)にて本研究室より博士前期課程1年の金子裕哉が口頭発表を行いました。

1月29日から30日に映像情報メディア学会 研究会にて本研究室より博士前期課程2年の牛少博が口頭発表を行いました。

 

いかがでしょうか、ネットワークシステム学講座の様子が少しでも伝わっていればと思います。

Neural Decoding of Visual Imagery during Sleep

In April 2013, a paper about decoding dreams from the neural activity patterns during sleep, has been published on Science Magazine*1. The research group of Dr. Horikawa has presented that it is possible to read out what the experiment participants saw in their dreams using the neural signals. These neural signals are gathered by utilizing fMRI (functional magnetic resonance imaging) method, which observes the activities of the participants’ brains. And this time, we would like to post on NAIST Edge the content of the interview with the first author of the paper, Dr. Horikawa Tomoyasu.

photo1_edited

*1) T. Horikawa, M. Tamaki1, Y. Miyawaki, and Y. Kamitani. Neural Decoding of Visual Imagery During Sleep. Science 3 May 2013: Vol. 340 no. 6132 pp. 639-642.
http://www.sciencemag.org/content/340/6132/639.abstract

Dr. HORIKAWA Tomoyasu is a researcher at Department of Neuroinformatics, ATR Computational Neuroscience Laboratories. After graduating from the Department of Psychology, Faculty of Letters, Arts and Sciences, in Waseda University, he continued his study at Computational Neuroscience Laboratory (Co-operating laboratory in Nara Institute of Science and Technology). Now his major is to develop neural information decoding.

* The interview was conducted in Japanese at NAIST, then translated into English.
Interviewer: Kazuki Miyahara+
English Translation: Chu Bao Trung+
English-language Editing: Maricris Marimon+
Photo: Yuttakon Yuttakonkit+
+) Staffs of Volunteer Students for Publicity (VSP)

 

Question: At first, please tell us about the reason why you pursued the research field that studies our brains.

Dr. Horikawa: In my undergraduate school, I studied about psychological statistics in the Faculty of letters. From that time, I had interests in the research topics of Cognitive psychology, such as memory, vision, etc.  In addition, I read some books written by Oliver Sacks*2, Ramachandran*3, Steven Pinker*4 and got excited about the relations of consciousness, mind and brain hence, I decided to study about neuroscience.

I realized that it’s difficult to know about minds no matter how hard I try to research on neurophysiology. While I was really confused, I heard about the idea of neural computational theory and the neural information decoding. Neural information decoding is a method to read out neural information based on statistical analysis of neural activities. This is intensively researched by Professor Kamitani Yukiyasu (the 4th author in the paper, supervisor). The idea of using statistical method to scientifically study our brain matched both my interests and what I studied before, and I found it really interesting hence I decided to choose this field.

*2) Oliver Sacks: Physician and professor of neurology at the NYU School of Medicine. The author of “Awakenings,” “The Man Who Mistook His Wife for a Hat,” “An Anthropologist on Mars,” etc.
*3) Vilayanur S. Ramachandran: Director of the Center for Brain and Cognition and Distinguished Professor with the Psychology Department and Neurosciences Program at the University of California, San Diego. The author of “Phantoms in the Brain’’ etc.
*4) Steven Pinker: Harvard College Professor and Johnstone Family Professor in the Department of Psychology at Harvard University. The author of “The Stuff of Thought: Language as a Window into Human Nature,” etc.

Q: I see. So, you have found a match between your interests and research work during your undergraduate in the field of computational neural science. By the way, could you share some overview of the research results?

Horikawa: Okay. In this paper, we measured activities of brains during sleep, then, analyzed the patterns and based on that, we succeeded in reading out dreams. Dream is a subjective phenomenon which happens during sleep. Since a dream is only visible for the person who dreams and can be forgotten quickly, it is thought to be very difficult to do any objective analysis. However, by the method we used in this research, it turned out to be possible to make objective estimation on such a subjective thing like dream. I think it is extremely useful to dive deeply into functional roles of dream, such as the relation between dream and learning.

In our experiment, we repeated the following procedure. We used fMRI to measure the neural activities during sleep and then woke up the participants. We asked them to tell about the dream that they had. Next, we built a pattern recognition model to predict about the things that are seen during awakening using neural activity patterns. These neural activity patterns are derived from showing different things to the participants. Applying this model to the neural activities during sleep, we have succeeded to predict visual contents of dream with high precision.

Furthermore, based on this research result, we also know that there are common neural activity patterns generated by seeing a dream and by seeing a real image.

“The video shows decoded contents during sleep, followed by a report from the subject describing what they saw.” (ATR)

Q: In Advanced Telecommunications Research Institute International (ATR), where you are working now, has made some achievements in reconstructing images based on human neural activity patterns*5. Is your current research related to this?

*5) Y. Miyawaki, H. Uchida, O. Yamashita, M. Sato, Y. Morito, H. C. Tanabe, N. Sadato, Y. Kamitani. Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders. Neuron 10 December 2008: Vol. 60, Issue 5, pp. 915-929.

Horikawa: It’s a little bit different. In the previous research, they used neural activity patterns of seeing real pictures to reconstruct black and white contrast pattern image of size 10×10 pixels from the participants’ visual cortical activities. Before this research, only more than 10 categories of information can be decoded, however, through the research of reconstruction based on visual images, theoretically, it can achieve to read out about 2 to the power of 100 patterns. This was an innovative point of the previous research.

In fact, this research about dream decoding still has not reached to being able to reconstruct the picture that a person sees in his dream. We tried to reconstruct visual image from neural activities during sleep, but we only got random black and white images of size 10×10 pixels, and that was not enough to know about any specific feature of a dream. Therefore, similar to the researches so far, we study to see if it’s possible to know from neural activities during sleep about the categories of dreams, which is chosen and decided in advance. At the beginning, we tried to recognize very rough categories, living things and not living things, which are shared among the testers. But finally, we are able to recognize about 20 categories of objects and scenes for each participant, such as “car,” “male,” “street,” based on reports about dreams of the participants.

Q: I see. We know that the method used in this research is useful for reading out dreams, is it possible to use it in other fields?

Horikawa: I think this method is not only useful for reading out dreams, but also can work well for studying about spontaneous neural activities, or diagnosing neural diseases like hallucination.

Q: I see. It really can be applied widely. By the way, when did you start this research?

photo2_edited

Horikawa: I was in my first year in the master course, about 5 years ago. My supervisor, professor Kamitani, has thought of doing research about reading dreams. Also my lab-mate, Ohnuki, who entered the same time with me in NAIST was interested in studying about dreams decoding. Given all of these, the research has started.

I still remember that at first stage, data collection was not as we expected, Ohnuki and researcher Dr. Miyawaki (the 3rd author in the paper) have worked very hard for building basics, such as, effective dream reports collecting method, participants’ sleep status deciding method, so on.

Ohnuki graduated in his 2nd year of the master course, so as a substitution, I joined the research project.

I was mainly responsible for analyzing data from fMRI. Dr. Tamaki (the 2nd author), who joined from the end of the 2nd year did sleep experiments and collected the data. Dr. Miyawaki did both data collection and analysis. That was how we casted. From the 3rd year, thanks to Dr. Tamaki, we can know whether a participant is already sleep or still awake from the collected data of brain waves as well as the time that a dream starts. Then we were able to get data effectively. So the data related to sleeps have been collected from 3rd year to 4th year. After that, in the end of try and fail cycles, we got results which can guarantee our capability of reading out dreams from the data. And in the spring of the 4th year, the result converged hence we wrote the paper about it.

Q: So this paper appeared in Science Magazine. What was the most difficult thing you faced during your research?

Horikawa: From the point of view of the research project, one of the biggest problems was to collect brain measured data during sleeps. I did not have such deep relation to this problem. The main contribution were from the co-researchers, Dr. Tamaki and Dr. Miyawaki. Thanks to Dr. Tamaki, we were able to confirm sleep status of the participants and effectively collect much information of dream reports. Consequently, I think to get appropriate data was really an important thing in this research.

I was deeply responsible for verifying whether or not the collected data relates to the dream, and I worked very hard for that.

Generally, I think the difficulty of analyzing data about living things is there is no guarantee to know if the collected data is really appropriate. From the beginning, I and Dr. Miyawaki were responsible for the analysis, because we did not know if we got useful result. Analysis was like searching in the dark, and to know whether there is appropriate date included in the collected data is an almost endless chain of trial and errors.

The research result was only something quite obvious. There are common neural activity patterns from a dream and when a participant sees a real image, however to achieve the result perfectly, we have tried very hard without knowing whether the analysis method or the collected data is bad. When we try to do various analyses, maybe we can get some useful statistical data. It is believable that one can get very useful result by chance when tried various analysis methods. Hence, it took much effort to confirm if it is really useful result.

Q: I see. So, what did you care about the most in doing research?

Horikawa: It is related to what I said before, the thing that I specially cared about is to not tell “lies” which seem to be good result made randomly. It is quite obvious, for instance, when we try 100 analysis methods, even there is no useful information, there may be still about 5 ones with statistical good results. However, this important research got extensive cares, and we cannot report lies. While we analyze data, there are many effects, which can lose the generality, to the results from outsides. We tried to avoid things like that, and tried to always do analysis in various conditions to confirm the significance of the results. It was really troublesome to not be fooled by the data.

Q: Lastly, could you talk about your future research goals and directions?

Horikawa: After publishing the research result, we got more feedbacks from general people than we thought. Through this research work, I found the importance of doing the research, which can be appreciated and said “How come such a result can be done,” by the people who even don’t care about science. I’m not sure if it is good to always do research on general level that everyone can understand, but I would like to do research that everybody, even don’t have interest in science can find it interesting.

This time, thanks to many people, especially my co-researchers, Dr. Tamaki, Dr. Miyawaki, Professor Kamitani, the paper was published in Science Magazine. However, it was also the chance for me to see my lack of experience. Hence, in the future, my goal is to do a research that is more interesting than the research about dreams this time, so that, if someone hears my name, will not say “Ah, that is the person who can read out dreams.”

Q: We are looking forward to your researches in the future. Today, thank you very much for spending time for the interview.

—————————————
How was that? Maybe in the near future we can create “dream observing device,” which was described in SF’s writings such as “Galaxy railway 999.” In the interview this time, besides the research, we also know how the research was started. I think it was very interesting interview for not only the people who are aiming at becoming a researcher in neurosciences but also others. Please wait to see NAIST Edge next time.

ソフトウェア工学研究室2013

ソフトウェア工学研究室では、ソフトウェア開発に関わる様々な問題を研究しています。幅広い問題に取り組むため、国内外の研究者との連携に力を入れています。そんなソフトウェア工学研究室の2013年を振り返ってみます。

5月

3月14日から5月20日には、カセサート大学(タイ)のJirayus Jiarpakdeeさんがインターンシップにやってきました。オープンソースソフトウェア開発のリリースと開発者のサポートについて研究し、インターンシップ成果報告会では、「When Should We Move to the Next Version?」というタイトルで発表しました。写真は小笠原研究科長からインターンシップ修了証書を受け取るJirayusさんです。辛いものが苦手でビールが大好きなJirayusさんは、いつも元気いっぱいでした。Jirayusさんは帰国後インターンシップでの成果等が認められ、見事に国費外国人留学生(大使館推薦)に選ばれました。2014年10月に本学へ入学予定です。また一緒に研究できる日が楽しみです。

6月

6月18日から8月21日には、ミネソタ大学(アメリカ)のErik S. SteinmetzさんがJSPSサマープログラムでやってきました。Erikさんは囲碁の研究をしています。コンピュータ将棋はかなり強くなりましたが、囲碁はまだまだ発展中のようです。四国八十八夜を全て巡ったほどの日本好きで、日本語もお上手でした。

6月5日から16日には、本研究室博士前期課程2年の中川尊雄さんが共同研究で九州大学へ行ってきました。中川さんは、脳血流を計測してプログラム理解行動を定量化する研究をしています。この共同研究の成果は、ソフトウェア工学の基礎ワークショップで発表しました。

7月

7月10日から12日に開催された、マルチメディア、分散、協調とモバイル(DICOMO2013)シンポジウムで、本研究室博士前期課程2年の林宏徳さんが「OSS開発における一般開発者の協調作業と不具合の再修正に関する一考察」という発表を行い、最優秀プレゼンテーション賞(301件中4件受賞)、優秀論文賞を受賞しました。

8月

6月24日から8月30日まで、カセサート大学(タイ)から2013年第2期のインターンシップとして、Natthakul PingclasaiさんとRattamont Teekavanichさんがやってきました。Natthakulさんは、ソフトウェア開発プロジェクトで作成される大量の課題リポートをバグとそれ以外(機能追加やドキュメント更新依頼など)に自動的に分類する研究をしました。Rattamontさんは、課題レポートから修正すべきソースコードを特定する研究をしました。インターンシップ成果報告会でもしっかり発表を行い、修了証書を受け取りました。どちらの研究もその後国際会議で発表しました。

9月

9月13日から12月14日までの3か月間、本研究室博士前期課程2年のChakkrit Tantithamthavornさんが、今年(2013年)に本校と学術交流協定を締結したクィーンズ大学(カナダ)へインターンシップとして訪問しました。Chakkritさんはインターンシップ期間中にソフトウェアの欠陥混入箇所を自動特定するための研究を行い、国際会議論文を執筆しました。現在も共同研究は進行中です。

9月17日から10月1日まで、九州大学から大阪陽さんがインターンシップにやってきました。大阪さんは、インターンシップ期間中に、オープンソースソフトウェア開発でのパッチ採択の実情調査を研究しました。今後もこの内容で共同研究をしていきます。

10月

10月28日に、本研究室助教の伊原彰紀先生が共同企画したMSRアジア・サミットが京都で開催されました。MSR(Mining Software Repositories)とは、多様かつ大量にあるソフトウェア開発データのリポジトリから有用な知見を発掘することを目指す、近年ホットな研究分野です。この分野で活躍する若手の研究者に講演してもらうMSR スクール・アジアというイベントを本研究室が中心となって毎年開催しています。今年は、10人のトップ研究者を招待するMSRアジア・サミットというイベントを初めて開催し、70人以上の参加がありました。多くのトップレベルの発表を聴くことができる大変貴重な機会になりました。本研究室の学生は前準備から発表まで大活躍してくれました。

11月

11月28日から29日に開催された、グループウェアとネットワークサービス ワークショップ 2013(GNWS2013)で、本研究室博士前期課程2年の林宏徳さんが「OSS開発におけるレビュアー間の合意形成の分析」という発表を行い、ベストペーパー賞を受賞しました。

11月28日から30日に開催された、ソフトウェア工学の基礎ワークショップ FOSE 2013で、本研究室博士前期課程2年の内垣聖史さんが「学習データ計測時期による欠陥モジュール予測精度の比較」という発表を行い、IEEE Computer Society Japan Chapter FOSE Young Researcher Award 2013を受賞しました。

12月

12月2日にタイで開催された、International Workshop on Empirical Software Engineering in Practice 2013(IWESEP2013)で、本研究室博士前期課程1年の尾上紗野さんが「A Study of the Characteristics of Developers’ Activities in GitHub」という発表を行い、Best Student Paper Awardを受賞しました。また、昨年本研究室へインターンシップに来ていたJohn Boaz Leeさん(アテネオ・デ・マニラ大学,フィリピン)が「Patch Reviewer Recommendation in OSS Projects」という発表を行い、Best Presentation Awardを受賞しました。

 

12月2日から18日まで、アリゾナ大学(アメリカ)のChristian Collbergさんが滞在されました。Christianさんはセキュリティの専門家で、セキュリティの研究もしている本研究室准教授の門田先生を訪ねて来られました。初めての日本を堪能されていたようです。

12月1日から12月31日までの1か月間、本研究室博士前期課程1年の坂口英司さんが、オウル大学(フィンランド)へインターンシップとして訪問しました。坂口さんはインターンシップ期間中に欠陥予測のモデル構築に関する研究を行い、現在も継続して共同研究を進めています。

ソフトウェア工学研究室の最新情報はこちらから
http://se-naist.jp/
https://www.facebook.com/selabnaist