研究室概要

2014年2月に向川教授が着任し，新たに「光メディアインタフェース研究室」をスタートさせました．この研究室では，カメラで撮影された情報をもとにシーンを理解するコンピュータビジョンの中でも，特に光学解析を中心に取り扱っています．光源から出た光は，シーン中で反射・屈折・散乱等の光学現象を繰り返し， カメラや我々の眼に届きます． 我々人間は眼で見ただけで， 物体表面の状態がツルツルしているのかザラザラしているのかといった表面の荒さだけではなく， 重いのか軽いのかといった質量や， 金属なのかプラスチックなのかといった材質に関する物理情報， さらには安っぽいのか高級感があるのかといった感性に関わる情報も感じ取っています． つまり，光線はシーンに関する貴重な情報を運ぶ媒体と考えることができます． 光線の伝播を解析する基礎研究を土台に，人間と機械が光を媒体としてシーンに関する情報を共有できる新しいインタフェースの実現を目指しています．

2014年4月には博士前期課程の学生5名がメンバに加わり，また6月には久保助教が着任し，和気あいあい一丸となって研究室を立ちあげてきました．まだまだ小さい研究室ですが，大阪大学，九州大学，早稲田大学，広島大学などとも一緒に共同で研究を進めています．また，いくつかの企業とも共同研究が始まりました．

立ち上げ直後の研究室のため，アドバイスをくれる先輩たちが居ない中でも，第1期の学生たちが協同でCICP2014 (Creative and International Competitiveness Project) のプロジェクト「写ラナインです（余計なモノが）」を進めました．その成果を電気関係学会関西連合大会で発表し，映像情報メディア学会関西支部優秀論文発表賞をいただきました．また，先日のCICP成果報告会でも最優秀賞をいただきました．今回はそのプロジェクトの内容についてご紹介します．

プロジェクト紹介：「写ラナインです（余計なモノが）」

ほとんどの方が観光やスポーツ観戦に出かけると，その思い出を写真として記録するのではないでしょうか．最近では，スマートフォンやPCで，写真の加工やSNSへの共有を行うなど，楽しみ方が新たに広がっています．写真を撮るという行為は，もはや文化として根付いていると言ってよいでしょう．さて，この写真撮影ですが，せっかくの良いシーンだったのに，ピンぼけや映り込みなどによって失敗してしまい，写真が台無しになってしまった，なんてことはないでしょうか．今回私たちは，そんな失敗を解決するようなシステム，その名も「写ラナインです（余計なモノが）」を開発しました．

ディジタルカメラで撮影された画像というのは，いわゆる2次元のデータとして記録されますが，撮影対象となるシーンは，もちろん2次元ではありません．次元が落ちているということはすなわち，画像データになった時点で，多くの情報が欠落したデータになってしまいます．そこで，我々のシステムでは，カメラを平面上で移動させることによって，シーンを2次元の画像データとしてではなく，4次元光線空間と呼ばれるデータとして，シーン中の「光線の」情報を記録します．画像よりもリッチな光線空間を取得することによって，通常のカメラでは不可能な，新たなイメージングが可能となります．以下で私たちのシステムが可能とした，新たなイメージングについてご紹介します．

画素ごとにフォーカス合わせ

実は通常のカメラを用いた場合でも，条件によっては，ただ撮影するだけでシーン中の不要物体を除去することができます．その条件というのは，例えば，開口の大きなレンズを用いて，消したい不要物体が手前にある場合などです．レンズの開口が大きいほどフォーカスが合う位置が狭くなるのですが，そのことをうまく利用すると，不要物体（ブラインド）を大きく「ピンぼけ」させることができ，あたかもブラインドが無くなってしまったかのようなシーンを撮影することが可能となります（図1）．

図1：「ピンぼけ」によるブラインド除去．中：レンズ開口を小さくした場合と，下：レンズ開口を大きくした場合の撮影画像

しかしながら，先ほど述べたような制約が必要になるため，一般的な不要物体の除去を行うことはできません．

そこで，このような現象に着想を得て，光線空間の情報から，1画素ごとにフォーカス位置を決めるようにできるアルゴリズムを開発しました．1画素ごとにフォーカス位置を決めることができるため，図2に示すように，注目する物体にはフォーカスを合わせてくっきりと，柵などの不要な物体は，大きくピンぼけさせて消してしまうことが可能となります．

図2 通常撮影(上)と，柵だけを「ピンぼけ」させた画像（下）

なおこの成果は，電気関係学会関西連合大会で発表を行い，映像情報メディア学会関西支部優秀論文発表賞を受賞しました．

光線の取捨選択・リフォーカス

図3のように，動物から来た光線だけを選択し，写したくない柵から来た光線だけを選択し，捨ててしまうことで，不要な柵を除去した画像を生成することができます．

図3 (a)：観測したすべての光線を用いて画像化， (b)：柵からの光線(左図赤色の光線)を除去して画像化

さらに，光線空間を用いることでLytro(https://www.lytro.com)のように，ユーザが好きな位置にフォーカスを合わせ直すことが可能となります．

デモンストレーションのために作成したソフトウエアを図4に示します．ソフトウエアの左側に表示されている画像が通常のリフォーカス，右側に表示されている画像が，柵からの光線を除去したリフォーカス画像です．下のスライダを移動させることによって，任意の位置にフォーカスを合わせることができるようになります．

図4 スライダ調整で後ろの物体にフォーカスを合わせた場合（上）と，同様に前の物体にフォーカスを合わせた場合（下）

オープンキャンパスでのデモンストレーション

2015年3月7日に行われたオープンキャンパスにて，これらの成果をデモ実演いたしました．図5は，「写ラナインです」のデモセットの写真です．

図5：デモセット

手前が光線空間を取得するための装置で，その奥に見えるのが，撮影シーンに見立てたジオラマです．デモ時には，ジオラマ上の緑の網の除去を行いました．

デモ時には，たくさんの方に足を運んでいただき，光線空間の取得によるイメージングについて知っていただくことができました．また，様々な方から驚きの声を頂戴できたのが印象的でした．さらに，本プロジェクトは，オープンキャンパス参加者からの最多得票により本年度CICPの最優秀プロジェクトに選ばれました．

図6：最優秀賞！

今後も「光」をテーマとして，驚きと楽しさを感じていただけるような研究を進めていきたいと思います．
（M1 三原）

おわりに

2015年3月に舩冨准教授が着任し，2015年度の新入生受け入れに向けて，着々と準備を進めています．4月には新たなメンバを受け入れ，ようやく2学年が揃った研究室になります．これから，光メディアインタフェース研究室が本格始動します．今後の活動に，どうぞご期待ください！

My name is Patanamon Thongtanunam. I’m a first-year Ph.D student of Software Design and Analysis Laboratory (SDLAB) in NAIST.  Recently, I have a great opportunity to visit Queen’s University in Canada for 9 months (from September 2014 to April 2015). This internship is supported by NAIST Global Initiatives Program 2014. Today, I am pleased to share my experience of my internship on NAIST Edge.

Queen’s university is a public research university located in the peaceful city of Kingston, Ontario, Canada. Similar to Nara, Kingston is a city that close to many famous cities such as Toronto, Montreal, and Ottawa. The university is also located near the lake Ontario, which is one of the five great lakes of North America. Therefore, it would be no doubt that the view and the weather in summer time is really nice but I still have to say that the winter season here is extremely cold :)

During my internship, I am doing research under supervision of Professor Ahmed E. Hassan of Software Analysis and Intelligence Laboratory (SAIL) at Queen’s University. The main research topic of SAIL is to investigate approaches and create techniques to support practitioners who are producing, maintaining and evolving in large scale software systems. Since the research area of SAIL is similar to my current research studies in SDLAB, it is not so difficult for me to extend my research under the same topic. In my opinion, SAIL is a highly-active research laboratory in software engineering. Every SAIL’s student enthusiastically does high-impact research and publish their research in the top venues. This environment encourages me to be more energetic as well. Moreover, SAIL is a multi-cultural working environment. There are many visitors from Japan, Brazil, and Singapore working in SAIL. It’s a good chance  to connect people not only from Canada but also from other countries around the world. Interestingly, SAIL is located in a house instead of a building!! This is quite surprised me as you know that NAIST’s laboratories are often in buildings. Working in a house is a kind of new experience for me. I think that it makes me feel like I am working at my home rather than working in an office.

Although NAIST gives us valuable knowledge and research skills, we can open our vision in other aspects as well as globalize our thinking system by collaborating with other people and doing internship abroad. During my internship at SAIL, I have learned how do they work and think, which is a good example that I should follow and improve myself. I wish that I can share my experience more when I come back to NAIST.

Last but not least, I would like to thanks to my supervisors, Iida-sensei and Ichikawa-sensei who always kindly support and give me this great opportunity. I would like to thanks to NAIST Global Initiatives Program 2014 for their financial support as well. Without them, I would not be able to gain this precious experience.

Thank you very much.

3Dプリンタを活用した電動義手－「Finch」と「リアル電動義手（仮）」

何らかの理由により手を失った方は，手の機能を代替する義手を使用します．当研究室では，3Dプリンタを活用した2種の電動義手を開発しています．一つは「Finch」と呼ばれる電動義手で，対向に配置された3指によって高い作業性を実現するものです．もう一つは，「リアル電動義手（仮）」と呼ばれる電動義手で，市販の装飾義手（把持機能はないが外観がリアルな義手）の外観のまま，簡易な把持機能を付加した義手です．いずれも3Dプリンタをフルに活用して，人体とのインタフェースであるソケットも含めて開発しています．

3Dプリンタで義手を開発するメリットは，1)ユーザが少ない義手でも少量から製作できる，2)3DCADを用いて自由度の高い設計ができる，3)短時間で試行錯誤できる，4)少量ならば金型を作るよりも安い，5)サイズ変更が容易，6)一か所で製作可能，8)部品が壊れてもすぐに再製作が可能，9)設計データを共有しやすいなど，多数あります．

反面，強度面や安全性での懸念はあります．ただし，3Dプリンタの性能向上は日進月歩であり，強度が高く人体との接触を考慮した安全な材料を使用できる機種も現れてきていますので，これらの課題は徐々にクリアされるでしょう．また，既存の補装具としての扱いが制度上難しいなどの課題もありますが，これも3Dプリンタ有用性が認知されるにつれて状況は変わってくると思っています．3Dプリンタを活用した支援機器がユーザに届く日まで，根気よく開発を行っていきます．

3Dプリンタと市販デバイスを利用した安価な見守りデバイス

日本は世界的に見ても高齢化が最も進んでいる国の1つであり，加齢や疾患による要介護者数の増加が大きな問題となっている．特に運動機能の低下による転倒や転落はより大きな身体的ダメージを引き起こす要因となるため，転倒転落の観測や解析が研究されている．医療機関や福祉施設などにおける転倒転落防止においては，転倒転落が発生する可能性の高い単独行動，すなわちベッドからの離床を検出することが重要であると考えられている．

現状では，患者の衣服とベッドをクリップ型のセンサで繋ぎ離床を検出するシステムや，ベッド上に圧力センサを多数敷き詰めて離床や危険状態を検知するシステムなどが利用されている．しかし，クリップ型センサでは患者がセンサを外してしまい離床検出が出来なかったり，接触型センサでは寝返りなどの別の動作で反応してしまったりと誤作動が多いという問題が残っている．また，患者やベッドに物理的に取り付けるセンサでは衛生面や耐久性，設置にコツが必要であるなどの問題などが残されている．

一方，患者に非侵襲なシステムとして非接触型のセンサを用いた患者見守りシステムへの期待が高まっており，いくつかの製品が提案されている．これらのシステムでは離床だけでなく患者の姿勢なども計測可能であるため，より多くの情報が取得可能であるが，次のような問題を抱えている．

1. 初期設定やベッド移動に伴う機器調整など導入・運用に手間がかかる．
2. 従来のシステムに比べて高価である．
3. 患者の映像を取り扱う（何をしているかわかってしまう）ためプライバシーの問題がある．

本研究では，医療機関や福祉施設などにおける実用化を目指した高信頼な見守りシステムの開発を目的としている．我々はこれまでに，ベッドからの離床を高い信頼度で検出することを目的とした低価格でメンテナンス性の高い見守りデバイスの開発を行っている．これまで，市販のハードウェアを組み合わせることによって誰でも低価格にデバイスの構築が可能であることを示し，ソフトウェアをコンポーネント思考で開発することによってメンテナンス性が高く，ベッド位置の変化などに頑健なアルゴリズムを提案している．

今後も動作検出アルゴリズムの改良やデバイスの改善を続けていく予定である．

Hello, I’m Takamitsu Matsubara, an assistant professor in the Intelligent System Control Laboratory. We study on system control, machine learning, reinforcement learning, intelligent robotics, signal processing, and sensing intensively. This article introduces some of our research topics by two PhD students.

If you are further interested in details, please visit our lab’s website: http://genesis.naist.jp/?lang=en

Lorlynn Asuncion Mateo (D1): 
Originally from the Philippines, I moved to Japan to join the Intelligent System Control laboratory of NAIST as a research student about 3 years ago. From there, I entered and finished the Master course, then proceeded to enter the doctoral course immediately after graduation. Currently, I am a first year doctoral course student in the said laboratory, undertaking theoretical research on two-degree-of-freedom (2DOF) control.
Initially, my chosen research theme gained much attention in control engineering because of its interesting conception in the biological field. Several years back, Kawato et al. established that biological motor control is achieved by the brain and central nervous system by using a 2DOF structure with a learning law. In this structure, a feedforward (FF) mechanism makes use of feedback (FB) error to achieve accurate motion. This scheme is popularly known as feedback error learning (FEL). To illustrate, a simple figure below shows how the human body functions using this 2DOF structure. In the figure, the controlled object is the pair of limbs used to achieve the motor task, e.g. grabbing an item. Feedback control can be achieved with the help of human vision, while the inverse model and learning law are considered in the human brain. What’s interesting is, deviating from the biological perspective, this idea for adaptive control is very promising and can be applied to any other type of control problem, as done in a lot of existing literature on the subject.

In my PhD study, we design 2DOF control schemes for single-input, single-output (SISO) and multi-input, multi-output (MIMO) plants (model of controlled object). It is known in control theory that the 2DOF configuration enables us to design independently FB and FF control laws for stabilization and response shaping, respectively. FEL is promising in the sense that FF control is tuned on-line and hence can give good response without modeling. For instance, in an experimental work by a former student of our laboratory, an FEL scheme was applied for motion control of a two-link manipulator to write different one-stroke characters. Below, the figure on the left shows the numerical simulation result for writing “8”, while the photo on the right shows the experimental result using the two-link manipulator.

Some FEL schemes turned out to be effective under certain assumptions on the plant; however, if the plant model is plagued by finite zeros, then the conventional scheme cannot overcome the difficulties involved, i.e., risk of over-parameterization and consideration of non-commutative matrix multiplication. This is where my research topic comes in. We propose 2DOF control schemes to deal with the presence of finite zeros in the plant.

Under the guidance of Prof. Kenji Sugimoto, we have published several articles addressing the said topic. One proposed approach is the use of Polynomial Matrix Fractional Representation from the modeling of the MIMO plant to the derivation of the control law to address the presence of finite zeros. Evaluation of the proposed approach is then done via numerical simulation. Based on the evaluation, results prove that the proposed approach is effective and successfully treats the difficulties mentioned above. Aside from this example, other studies, such as the treatment of SISO plants with zeros, are also currently being studied. After evaluating the performance of these feedforward learning schemes, evaluation via experimentation will be explored. One possible application is for vibration control of a flexible link manipulator (shown below) for accurate position control.

Yunduan Cui (D1):
My PhD life in Intelligent System Control Laboratory (ISC lab), NAIST started from October 2014. After finishing Master course, I chose NAIST as my next step because it is a top research university in Japan，that provides me a wonderful research environment. Now I am enjoying challenging research and interesting laboratory life in the peaceful campus every day. My research focuses on develop a new Reinforcement Learning algorithms applicable for high-dimensional and complex robotic systems.

What is Reinforcement Learning? Imaging that we hope one robot to throw a baseball to the target without knowing how to control it. In Reinforcement Learning, we let the robot throw the ball according to its current knowledge (motor skill) firstly (it is obvious that the ball cannot hit the target at the beginning), then we tell the robot how good its performance is (the closer to the target, the better performance) and let it updates its knowledge. In the next iteration, the robot tries to throw the ball again and determine its actions according to the new knowledge. Following this way, after several iterations, the robot will be able to get a quite good knowledge to throw the baseball to the target. This is an overview of RL for robotic systems: making a robot to discover an optimal behavior through trial and error interactions with its environment autonomously.

Unlike conventional control methodologies, we do not tell the robot how to do but teach it how to learn by itself. The robot tries to explore an unknown world and learn how to take the action that avoid punishment and get more reward. This process looks like some real animals’ behaviors very much and therefore help us to discover artificial intelligence in a nature way. Thanks to the new advanced machine learning theories and the improved computation ability, RL technologies are progressively popular and practical. They have been applied in more and more complex robotics systems in recent years and had very impressive performance.

In our lab, RL is applied in several challenging tasks with complex robot systems. Different high dimensional robots are trained by RL to solve problems that may be very difficult for other control methods. For examples, helping people put on their cloth, learning something’s shape though touching and even playing table tennis with real people and improving its performance by learning opponents’ behaves.

RL also provides us a possible way to let the robot to “understand” the real world and therefore becomes more intelligent. Such an amazing feature attracts me so much and encourage me to be a PhD student in NAIST. What we are doing is to make the robot acts like a real animal but not only a cold machine. During my doctor course here, I hope to learn how to be a real researcher with a deep understanding of this field and then make some contributions to it.