Category: 未分類

In April 2013, a paper about decoding dreams from the neural activity patterns during sleep, has been published on Science Magazine^*1. The research group of Dr. Horikawa has presented that it is possible to read out what the experiment participants saw in their dreams using the neural signals. These neural signals are gathered by utilizing fMRI (functional magnetic resonance imaging) method, which observes the activities of the participants’ brains. And this time, we would like to post on NAIST Edge the content of the interview with the first author of the paper, Dr. Horikawa Tomoyasu.

^*1) T. Horikawa, M. Tamaki1, Y. Miyawaki, and Y. Kamitani. Neural Decoding of Visual Imagery During Sleep. Science 3 May 2013: Vol. 340 no. 6132 pp. 639-642.
http://www.sciencemag.org/content/340/6132/639.abstract

Dr. HORIKAWA Tomoyasu is a researcher at Department of Neuroinformatics, ATR Computational Neuroscience Laboratories. After graduating from the Department of Psychology, Faculty of Letters, Arts and Sciences, in Waseda University, he continued his study at Computational Neuroscience Laboratory (Co-operating laboratory in Nara Institute of Science and Technology). Now his major is to develop neural information decoding.

 

Question: At first, please tell us about the reason why you pursued the research field that studies our brains.

Dr. Horikawa: In my undergraduate school, I studied about psychological statistics in the Faculty of letters. From that time, I had interests in the research topics of Cognitive psychology, such as memory, vision, etc.  In addition, I read some books written by Oliver Sacks^*2, Ramachandran^*3, Steven Pinker^*4 and got excited about the relations of consciousness, mind and brain hence, I decided to study about neuroscience.

I realized that it’s difficult to know about minds no matter how hard I try to research on neurophysiology. While I was really confused, I heard about the idea of neural computational theory and the neural information decoding. Neural information decoding is a method to read out neural information based on statistical analysis of neural activities. This is intensively researched by Professor Kamitani Yukiyasu (the 4th author in the paper, supervisor). The idea of using statistical method to scientifically study our brain matched both my interests and what I studied before, and I found it really interesting hence I decided to choose this field.

^*2) Oliver Sacks: Physician and professor of neurology at the NYU School of Medicine. The author of “Awakenings,” “The Man Who Mistook His Wife for a Hat,” “An Anthropologist on Mars,” etc.
^*3) Vilayanur S. Ramachandran: Director of the Center for Brain and Cognition and Distinguished Professor with the Psychology Department and Neurosciences Program at the University of California, San Diego. The author of “Phantoms in the Brain’’ etc.
^*4) Steven Pinker: Harvard College Professor and Johnstone Family Professor in the Department of Psychology at Harvard University. The author of “The Stuff of Thought: Language as a Window into Human Nature,” etc.

Q: I see. So, you have found a match between your interests and research work during your undergraduate in the field of computational neural science. By the way, could you share some overview of the research results?

Horikawa: Okay. In this paper, we measured activities of brains during sleep, then, analyzed the patterns and based on that, we succeeded in reading out dreams. Dream is a subjective phenomenon which happens during sleep. Since a dream is only visible for the person who dreams and can be forgotten quickly, it is thought to be very difficult to do any objective analysis. However, by the method we used in this research, it turned out to be possible to make objective estimation on such a subjective thing like dream. I think it is extremely useful to dive deeply into functional roles of dream, such as the relation between dream and learning.

In our experiment, we repeated the following procedure. We used fMRI to measure the neural activities during sleep and then woke up the participants. We asked them to tell about the dream that they had. Next, we built a pattern recognition model to predict about the things that are seen during awakening using neural activity patterns. These neural activity patterns are derived from showing different things to the participants. Applying this model to the neural activities during sleep, we have succeeded to predict visual contents of dream with high precision.

Furthermore, based on this research result, we also know that there are common neural activity patterns generated by seeing a dream and by seeing a real image.

“The video shows decoded contents during sleep, followed by a report from the subject describing what they saw.” (ATR)

Q: In Advanced Telecommunications Research Institute International (ATR), where you are working now, has made some achievements in reconstructing images based on human neural activity patterns^*5. Is your current research related to this?

^*5) Y. Miyawaki, H. Uchida, O. Yamashita, M. Sato, Y. Morito, H. C. Tanabe, N. Sadato, Y. Kamitani. Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders. Neuron 10 December 2008: Vol. 60, Issue 5, pp. 915-929.

Horikawa: It’s a little bit different. In the previous research, they used neural activity patterns of seeing real pictures to reconstruct black and white contrast pattern image of size 10×10 pixels from the participants’ visual cortical activities. Before this research, only more than 10 categories of information can be decoded, however, through the research of reconstruction based on visual images, theoretically, it can achieve to read out about 2 to the power of 100 patterns. This was an innovative point of the previous research.

In fact, this research about dream decoding still has not reached to being able to reconstruct the picture that a person sees in his dream. We tried to reconstruct visual image from neural activities during sleep, but we only got random black and white images of size 10×10 pixels, and that was not enough to know about any specific feature of a dream. Therefore, similar to the researches so far, we study to see if it’s possible to know from neural activities during sleep about the categories of dreams, which is chosen and decided in advance. At the beginning, we tried to recognize very rough categories, living things and not living things, which are shared among the testers. But finally, we are able to recognize about 20 categories of objects and scenes for each participant, such as “car,” “male,” “street,” based on reports about dreams of the participants.

Q: I see. We know that the method used in this research is useful for reading out dreams, is it possible to use it in other fields?

Horikawa: I think this method is not only useful for reading out dreams, but also can work well for studying about spontaneous neural activities, or diagnosing neural diseases like hallucination.

Q: I see. It really can be applied widely. By the way, when did you start this research?

Horikawa: I was in my first year in the master course, about 5 years ago. My supervisor, professor Kamitani, has thought of doing research about reading dreams. Also my lab-mate, Ohnuki, who entered the same time with me in NAIST was interested in studying about dreams decoding. Given all of these, the research has started.

I still remember that at first stage, data collection was not as we expected, Ohnuki and researcher Dr. Miyawaki (the 3rd author in the paper) have worked very hard for building basics, such as, effective dream reports collecting method, participants’ sleep status deciding method, so on.

Ohnuki graduated in his 2nd year of the master course, so as a substitution, I joined the research project.

I was mainly responsible for analyzing data from fMRI. Dr. Tamaki (the 2nd author), who joined from the end of the 2nd year did sleep experiments and collected the data. Dr. Miyawaki did both data collection and analysis. That was how we casted. From the 3rd year, thanks to Dr. Tamaki, we can know whether a participant is already sleep or still awake from the collected data of brain waves as well as the time that a dream starts. Then we were able to get data effectively. So the data related to sleeps have been collected from 3rd year to 4th year. After that, in the end of try and fail cycles, we got results which can guarantee our capability of reading out dreams from the data. And in the spring of the 4th year, the result converged hence we wrote the paper about it.

Q: So this paper appeared in Science Magazine. What was the most difficult thing you faced during your research?

Horikawa: From the point of view of the research project, one of the biggest problems was to collect brain measured data during sleeps. I did not have such deep relation to this problem. The main contribution were from the co-researchers, Dr. Tamaki and Dr. Miyawaki. Thanks to Dr. Tamaki, we were able to confirm sleep status of the participants and effectively collect much information of dream reports. Consequently, I think to get appropriate data was really an important thing in this research.

I was deeply responsible for verifying whether or not the collected data relates to the dream, and I worked very hard for that.

Generally, I think the difficulty of analyzing data about living things is there is no guarantee to know if the collected data is really appropriate. From the beginning, I and Dr. Miyawaki were responsible for the analysis, because we did not know if we got useful result. Analysis was like searching in the dark, and to know whether there is appropriate date included in the collected data is an almost endless chain of trial and errors.

The research result was only something quite obvious. There are common neural activity patterns from a dream and when a participant sees a real image, however to achieve the result perfectly, we have tried very hard without knowing whether the analysis method or the collected data is bad. When we try to do various analyses, maybe we can get some useful statistical data. It is believable that one can get very useful result by chance when tried various analysis methods. Hence, it took much effort to confirm if it is really useful result.

Q: I see. So, what did you care about the most in doing research?

Horikawa: It is related to what I said before, the thing that I specially cared about is to not tell “lies” which seem to be good result made randomly. It is quite obvious, for instance, when we try 100 analysis methods, even there is no useful information, there may be still about 5 ones with statistical good results. However, this important research got extensive cares, and we cannot report lies. While we analyze data, there are many effects, which can lose the generality, to the results from outsides. We tried to avoid things like that, and tried to always do analysis in various conditions to confirm the significance of the results. It was really troublesome to not be fooled by the data.

Q: Lastly, could you talk about your future research goals and directions?

Horikawa: After publishing the research result, we got more feedbacks from general people than we thought. Through this research work, I found the importance of doing the research, which can be appreciated and said “How come such a result can be done,” by the people who even don’t care about science. I’m not sure if it is good to always do research on general level that everyone can understand, but I would like to do research that everybody, even don’t have interest in science can find it interesting.

This time, thanks to many people, especially my co-researchers, Dr. Tamaki, Dr. Miyawaki, Professor Kamitani, the paper was published in Science Magazine. However, it was also the chance for me to see my lack of experience. Hence, in the future, my goal is to do a research that is more interesting than the research about dreams this time, so that, if someone hears my name, will not say “Ah, that is the person who can read out dreams.”

Q: We are looking forward to your researches in the future. Today, thank you very much for spending time for the interview.

—————————————
How was that? Maybe in the near future we can create “dream observing device,” which was described in SF’s writings such as “Galaxy railway 999.” In the interview this time, besides the research, we also know how the research was started. I think it was very interesting interview for not only the people who are aiming at becoming a researcher in neurosciences but also others. Please wait to see NAIST Edge next time.

ソフトウェア工学研究室では、ソフトウェア開発に関わる様々な問題を研究しています。幅広い問題に取り組むため、国内外の研究者との連携に力を入れています。そんなソフトウェア工学研究室の２０１３年を振り返ってみます。

５月

３月１４日から５月２０日には、カセサート大学（タイ）のJirayus Jiarpakdeeさんがインターンシップにやってきました。オープンソースソフトウェア開発のリリースと開発者のサポートについて研究し、インターンシップ成果報告会では、「When Should We Move to the Next Version?」というタイトルで発表しました。写真は小笠原研究科長からインターンシップ修了証書を受け取るJirayusさんです。辛いものが苦手でビールが大好きなJirayusさんは、いつも元気いっぱいでした。Jirayusさんは帰国後インターンシップでの成果等が認められ、見事に国費外国人留学生（大使館推薦）に選ばれました。２０１４年１０月に本学へ入学予定です。また一緒に研究できる日が楽しみです。

６月

６月１８日から８月２１日には、ミネソタ大学（アメリカ）のErik S. SteinmetzさんがJSPSサマープログラムでやってきました。Erikさんは囲碁の研究をしています。コンピュータ将棋はかなり強くなりましたが、囲碁はまだまだ発展中のようです。四国八十八夜を全て巡ったほどの日本好きで、日本語もお上手でした。

６月５日から１６日には、本研究室博士前期課程２年の中川尊雄さんが共同研究で九州大学へ行ってきました。中川さんは、脳血流を計測してプログラム理解行動を定量化する研究をしています。この共同研究の成果は、ソフトウェア工学の基礎ワークショップで発表しました。

７月

７月１０日から１２日に開催された、マルチメディア、分散、協調とモバイル（DICOMO2013）シンポジウムで、本研究室博士前期課程２年の林宏徳さんが「OSS開発における一般開発者の協調作業と不具合の再修正に関する一考察」という発表を行い、最優秀プレゼンテーション賞（３０１件中４件受賞）、優秀論文賞を受賞しました。

８月

６月２４日から８月３０日まで、カセサート大学（タイ）から２０１３年第２期のインターンシップとして、Natthakul PingclasaiさんとRattamont Teekavanichさんがやってきました。Natthakulさんは、ソフトウェア開発プロジェクトで作成される大量の課題リポートをバグとそれ以外（機能追加やドキュメント更新依頼など）に自動的に分類する研究をしました。Rattamontさんは、課題レポートから修正すべきソースコードを特定する研究をしました。インターンシップ成果報告会でもしっかり発表を行い、修了証書を受け取りました。どちらの研究もその後国際会議で発表しました。

９月

９月１３日から１２月１４日までの３か月間、本研究室博士前期課程２年のChakkrit Tantithamthavornさんが、今年（２０１３年）に本校と学術交流協定を締結したクィーンズ大学（カナダ）へインターンシップとして訪問しました。Chakkritさんはインターンシップ期間中にソフトウェアの欠陥混入箇所を自動特定するための研究を行い、国際会議論文を執筆しました。現在も共同研究は進行中です。

９月１７日から１０月１日まで、九州大学から大阪陽さんがインターンシップにやってきました。大阪さんは、インターンシップ期間中に、オープンソースソフトウェア開発でのパッチ採択の実情調査を研究しました。今後もこの内容で共同研究をしていきます。

１０月

１０月２８日に、本研究室助教の伊原彰紀先生が共同企画したMSRアジア・サミットが京都で開催されました。MSR（Mining Software Repositories）とは、多様かつ大量にあるソフトウェア開発データのリポジトリから有用な知見を発掘することを目指す、近年ホットな研究分野です。この分野で活躍する若手の研究者に講演してもらうMSR スクール・アジアというイベントを本研究室が中心となって毎年開催しています。今年は、１０人のトップ研究者を招待するMSRアジア・サミットというイベントを初めて開催し、７０人以上の参加がありました。多くのトップレベルの発表を聴くことができる大変貴重な機会になりました。本研究室の学生は前準備から発表まで大活躍してくれました。

１１月

１１月２８日から２９日に開催された、グループウェアとネットワークサービス ワークショップ ２０１３（GNWS2013）で、本研究室博士前期課程２年の林宏徳さんが「OSS開発におけるレビュアー間の合意形成の分析」という発表を行い、ベストペーパー賞を受賞しました。

１１月２８日から３０日に開催された、ソフトウェア工学の基礎ワークショップ FOSE 2013で、本研究室博士前期課程２年の内垣聖史さんが「学習データ計測時期による欠陥モジュール予測精度の比較」という発表を行い、IEEE Computer Society Japan Chapter FOSE Young Researcher Award 2013を受賞しました。

１２月

１２月２日にタイで開催された、International Workshop on Empirical Software Engineering in Practice 2013（IWESEP2013）で、本研究室博士前期課程１年の尾上紗野さんが「A Study of the Characteristics of Developers’ Activities in GitHub」という発表を行い、Best Student Paper Awardを受賞しました。また、昨年本研究室へインターンシップに来ていたJohn Boaz Leeさん（アテネオ・デ・マニラ大学，フィリピン）が「Patch Reviewer Recommendation in OSS Projects」という発表を行い、Best Presentation Awardを受賞しました。

 

１２月２日から１８日まで、アリゾナ大学（アメリカ）のChristian Collbergさんが滞在されました。Christianさんはセキュリティの専門家で、セキュリティの研究もしている本研究室准教授の門田先生を訪ねて来られました。初めての日本を堪能されていたようです。

１２月１日から１２月３１日までの１か月間、本研究室博士前期課程１年の坂口英司さんが、オウル大学（フィンランド）へインターンシップとして訪問しました。坂口さんはインターンシップ期間中に欠陥予測のモデル構築に関する研究を行い、現在も継続して共同研究を進めています。

ソフトウェア工学研究室の最新情報はこちらから
http://se-naist.jp/
https://www.facebook.com/selabnaist

はじめに

今回は、ロボティクス研究室を紹介したいと思います。我々はスタッフ5名、学生27名で使えるサービスロボットを実現すべく、日夜研究に励んでいます。研究の興味が近い人が集まって3つのグループを作っているので、各グループから1人ずつ記事を書いてもらっています。記事を読んでロボティクスや研究に興味が出たら、オープンキャンパスやいつでも見学会で見学に来てください！（助教　池田　篤俊）

ビヘイビアグループ

私は中学の頃、数学や理科、技術が好きだったこともあり、ものづくりに興味をもったため高専に進学しました。私は高専と大学の中で工学の知識をつけていくうち、次第にロボットに興味を持つようになりました。大学院ではロボットに関わる研究がしたいと思い、研究室を探す中で見つけたのが、このロボティクス研究室でした。

現在、私はこの研究室で下の写真にある多脚のロボットを使って、様々な地形で歩行させる研究をしています。ロボットはこれから介護や探査など色々な場面で使用されるようになると思います。例に挙げた探査などでは特に、人が入り込むのが難しい場所でのロボットの使用が予想されるので、私の研究では、どんな環境でロボットを使用するのかわからなくてもロボットはしっかり進める、そういった技術の開発を目指しています。

ロボティクス研究室には現在3つのグループがあり、私はその中の、主にロボットの行動生成に関する研究を行っているビヘイビアグループに所属しています。ビヘイビアグループでは下の写真にあるようなロボットたちを使用して、ヒューマノイドロボットの歩行に関する研究や人とロボットがふれあう場での安全に関する研究、受付案内ロボットの研究など、ロボットの行動生成に関する様々な研究が行われています。他のグループにもそれぞれ異なる特色があるため、ロボティクス研究室全体では、ロボットに関する幅広い研究が行われています。そのため、ロボットやセンサなどの設備がかなり充実していると思うので、ロボットの研究がしたいという方にはおもしろい研究室なのでは、と思います。

「ロボットについて研究がしたいけどロボットに詳しくない」といった方でも、研究室に配属されてからプログラミングの入門やロボットのプログラミング実習など、先輩や先生方のサポートを受けながら研究に必要な知識・技術を学ぶ機会がしっかり用意されています。またそれ以外にも人材育成プログラム（IT3）のRTコースを受講することで、チームでのシステム開発や研究所見学など、更に特別な経験を積むことができるようになっています。

ところで、ロボティクス研究室では研究だけでなく、夏季の研究室旅行や研究室内のスポーツ大会などイベントも色々行われています。日々の研究の息抜きにこうしたイベントも楽しむことで、同期や先輩・後輩、先生方と充実した2年または5年間を過ごせるのではないでしょうか？

　　　　

（左から，多脚ロボット，HRP-4，アクトロイド）

 ヒューマンモデリンググループ

ヒューマンモデリンググループのことについて質問形式でグループ内のM1とM2に回答を頂きました。

Question 1何を研究しているグループですか？

SU: 　ロボットをバリバリ動かすのではなく人を測って研究しているのが特徴的です。ロボット系、情報系というよりは少し医学的な要素をはらんだ珍しい研究グループだと思います。担当の先生や先輩方とも研究について親身にディスカッションして頂けるので、楽しくよく理解しながら研究に取り組むことができます。

KO: 　名前の通り、人の運動や感覚等を科学的に解明してモデリングする研究を主に行っています。まったくロボットをやらないわけではなく、研究に必要になれば、ロボットを動かすこともあり、他のグループに比較すると解析することが多いグループだと感じます。後、3Dプリンターを使用して自分で設計した治具を簡単に作製することができ、研究と同時にものづくりもできるグループだと思います。

Question 2ロボティクス研究室に入ったきっかけは？

OH: 　ロボティクス研究は、HRP-4、NAO、HIROといった様々なヒューマノイドロボットを保有しており、ロボットに関する研究をするには最適な環境であるという印象を受けました。また、研究室内教育も充実しており、関連知識の補充やロボット実機演習などが行われていることから、本研究室では最先端のロボット研究ができることを確信し、配属先を決定しました。

SA: NAISTのいつでもオープンキャンパスに参加、入学後の研究室見学でいろいろな研究室を回り多くの先輩、先生方からお話をお聞きしたが、ロボティクス研究室が一番やりたい研究ができそうだったから。

Question 3: ロボティクス研究室に入ってから一番印象的な思い出は何ですか？

IS: 　一番印象強かったのは毎日必ず誰かが研究をしているというところでした。 僕は高専専攻科出身かつ研究室の特色で卒論締め切り等ではないと後輩含め休日に研究室に行かなくても良かったため今まで休日は一人で研究していることがほとんどでした。 ですが、ロボティクス研究室では休日でもかならず誰か一人は研究室で研究しており、驚きを感じました。 今ではそれが当たり前に感じています。
KA: 　医師との共同研究の成果を日本整形外科学会基礎学術集会で発表したことはとても印象に残っています。多くの医師の前での発表はとても緊張しましたが、貴重な経験をさせて頂きました。

Question 4: 現在取り組んでいる研究内容を紹介してください。

M2

KA: 　私は人間の足部アーチ変形について研究しています。足部アーチとはわかりやすくいうと土踏まずのことで、体重による衝撃荷重の緩和など重要な役割を果たしています。足部アーチを調べるために、臨床の現場ではレントゲン画像を用いられていますが、レントゲン画像は静止画像のため、動作解析には適しません。そこで、私は光学式モーションキャプチャを用いた足部アーチ変形の3次元解析手法について現在、研究しています。

KO: 　人が物を把持したり操作したりする際に指先において起きる滑りを計測する研究を行っています。人が得ている触覚情報を定量化する技術は、ロボットのセンシング技術だけでなく、スポーツ分野の把持動作解析等にも応用が可能で多様なアプリケーションが期待できます。現在は、指先腹部の皮膚変形と滑りの関係について解析を行っています。

M1:

IS: 　やりたかったリハビリや福祉工学系の研究で現在、下肢の初期段階のリハビリを支援するシステムの開発を行う予定です。

OH: 　筋電による手の動作認識

SA: 　装飾義手を切断者の意思に従って動かすことができるようにするための義手の内部機構の設計開発を行っている。具体的には、指の受動的な屈曲動作のためにトーションバネを、能動的な伸展動作のためにワイヤ・アクチュエータを義手の内部に組み込むことを想定している。

SU: 　指の柔軟性を利用した操りに関する研究をしています。解析的にアプローチをするのではなく、人を測ることでロボットハンドを動かす技術にしようとしているのが特徴です。ロボットハンドをよりよく動かし、人と同じような操りをすることができることを目指しています。

インタラクショングループ

・自身の研究について

僕はこの研究室で「人間の動作と環境構造を用いた3次元セマンティックマップの生成」に関する研究をしています。「人間の動作」と「３次元の環境」の２つの情報を組み合わせ、空間をカテゴライズすることで、そこが人間にとって何を行う場所なのかを認識することを目指しています。こうして得られた認識結果をロボットに与えてあげることで、将来はオフィスなどの人間が共存する環境における自律移動ロボットサービスへの応用が考えられます。

・ロボティクス研究室について

「気が利く人」は、相手が何をして欲しいのかを相手の振る舞いや置かれている状況から察して行動してくれます。ロボットもこんな風に気配りができるようになればおもしろい、それを自分で実現したいという思いがありました。「インタラクショングループ」では、センサーで計測したデータから意味のある情報を取り出し、人とロボットのインタラクションに役立てようという目的で研究しています。計測システムは研究の目的によって様々なものがあり、面白い例としては自動車に３次元の距離センサーを載せてNAIST構内を定期的に巡回して計測している学生もいます。

・研究以外で学べること

ロボティクス研究室の学生はそれぞれに割り当てられた係の仕事があります。僕は研究室内での飲み会やスポーツイベントの企画・運営をするイベント係をしていました。時には先生や学生からダメ出しを受け、気配りのできるロボットを作ろうと勇んで来たのに、本人が気配りできていないと痛感することもありました笑。もちろん大学院生なので研究第一ですが、今後社会で活躍していく上で周囲と協調しながら物事を企画・運営していく能力は必要なことなので、研究以外にも学ぶことがたくさんある環境だと実感しています。

M1歓迎会の様子

 

 

世界中の人々の間に大きく立ちはだかる言葉の壁は、この10年の技術革新で低くなりつつあります。その技術の名は「機械翻訳」で、人間の言葉を翻訳し、異なる言語で綴られた言葉でも理解できるようにしてくれます。今回の記事は機械翻訳の中で特に音声を入力とする「音声翻訳」についての話です。

音声翻訳を正確に行うために、３つの技術が必要になります。話された内容を正確に読み取り、コンピュータが理解できるテキストに変換してくれる「音声認識」、その内容を異なる言語へ翻訳する「機械翻訳」、そしてテキストを再び音声へと変換する「音声合成」です。この全ての技術は計算機が開発されてすぐにコンピュータの有用な応用先として取り上げられてきましたが、人間の言葉は複雑で、なかなか現実的な精度に及びませんでした。しかし、インターネットの普及によるデータの大規模化や、統計的な処理法の発展により、この１０年で精度が劇的に改善され、ようやくある程度使えるようになってきました。

NAISTの知能コミュニケーション研究室では、音声認識、機械翻訳、音声合成の基礎技術開発に取り組んでいます。例えば、音声認識では単語の発音を正確に推定して発音辞書の正確性を図る研究、機械翻訳では文の構造を考慮して日英翻訳のような語順の異なる言語の間の翻訳精度向上を図る研究、音声合成では様々な声質を生成する柔軟性を保ちながら合成音声の質向上を図る研究などが行われています。しかし、今回の記事では、精度だけでなく、音声翻訳を違う観点から見つめた研究を２つ紹介します。

同時性の高い音声翻訳

以下の動画は自動音声翻訳の一例です。

http://www.youtube.com/watch?v=0WL3KUv51t4

言葉は正確に伝えられていますが、話し始めてから実際の翻訳結果が出てくるまでに多くの時間がかかることも分かります。これを実際の人間の通訳者の様子を写した以下の動画と比べてみましょう。

ここで、顕著な違いとして見受けられるのは、実際の人間の通訳者は発話の終わりを待たずにすぐに通訳を開始していることです。しかし、これをするために高度な技術が必要となります。特に、日本語と英語のような語順の大きく異なる言語の間の翻訳なら、翻訳を開始するのが早すぎると、正確な翻訳を行うための情報を得ないうちに翻訳の精度が低下する恐れがあります。逆に、開始が遅すぎると聞いている人に取って余分な待ち時間が発生します。

そこで、我々が注目したのは、いかにこの訳出するタイミングを判定するかです。実際の翻訳データや通訳データから、どの単語が現れたら翻訳が開始できるか、どの単語が現れたら次の入力を待った方が高い精度が実現できるかを判断する仕組みを作成しました。そして、その結果を実際にシステム上に実装し、以下のように適切なタイミングを判断して翻訳を進めることのできる同時音声翻訳システムを構築しました。以下は提案してきたシステムのデモです。

仕組みの詳細について、日本音響学会の論文や音声研究で最大の国際会議InterSpeechの論文などで発表しています。また、この研究の続きで、実際の通訳者に習って翻訳システムを作成する研究も行っており、更に高性能かつ素早い訳出を極めていこうと思っています。

声質の翻訳

海外から日本へと輸入された映画を考えてみよう。その映画の内容を日本語へ翻訳する方法として、「字幕」と「吹き替え」があります。どちらを好むかは個人差がありますが、今回の話は吹き替えを考えます。吹き替えの映画を聞いた際、声優の声は映画のイメージに合わせて選ばれ、更に声優は場面に合わせて感情のこもった声で話します。しかし、吹き替えの声優の代わりに、俳優の声を従来の音声翻訳システムにかけてみたとしましょう。仮に100%の翻訳精度が実現できたとしても、出てくるのは元の俳優とは程遠い、無味乾燥な声質になります。

そこで、我々が研究で着目したのは、声の強調、感情、イントネーションなどの非言語情報を翻訳することです。手法として採用したのは、音声認識の段階で、発生された言葉自体とともに、声のさまざまな特徴量を認識し、線形回帰やニューラルネットという機械学習の技術を用いて相手言語に翻訳することです。研究はまだ初期段階ですが、以下の例のように、入力された声の強調を音声翻訳の出力に反映させるのに成功しています。

仕組みの詳細について、日本音響学会の論文や音声翻訳に関する国際会議IWSLTの論文などで発表しています。これからは、声の強調だけでなく、イントネーションや韻律、個人性まで反映して行こうと思っています。

Are you curious on what the students were thinking when they first enrolled in NAIST? Also, do you want to know about their thoughts on their current research activities?

Hi, I’m Kiminao Kogiso. I am working in the Intelligent System Control Laboratory as an Assistant Professor. This article presents the concerns of four of our active students in our laboratory. They openly share their experiences and the things that excite them during their stay in NAIST. Hopefully, these personal views will be helpful for the potential students who want to enroll in NAIST.

 

Maricris Cuison Marimon(D3):

I always have this idea of Japan being a very futuristic country. This country has successfully pioneered in the production and advancement in robots, cars and electronic gadgets. People who want to be leaders in these fields, try to expose themselves by undertaking further studies in Japan. Since this is the current trend and this is what I wanted to do, I decided to pursue my doctorate studies here. I was very fortunate that I was given a golden opportunity to study in NAIST. Indeed, NAIST did not disappoint my high expectations of Japanese universities. NAIST has provided me the knowledge and exposure to be a learning researcher. The faculty are immensely engaging and supportive; and the facilities and environment are highly conducive for students and researchers. Also, the students and researchers are given the autonomy to do their chosen research topics. I think these are the important factors that led NAIST to be a leader in the research arena. I am hoping that my experience and credentials here in NAIST will be able to help me in my career towards the energy and environment industry.

 

Dasiuke Tanaka (D1):

My student life in NAIST started three years ago. There were two reasons why I selected here as my graduate school. First is that this laboratory is working on the research topic that I am interested in. Second reason is that the college of technology I came from does not have a graduate school. I was looking forward to enter the university but at the same time, I was anxious because my background is slightly different from this laboratory’s research and also, I don’t have many acquaintances in NAIST.

However, my worries didn’t last. I came to realize that everybody was new to the school. Everyone was experiencing the same situation as I was since NAIST doesn’t have an undergraduate school. It gave me the confidence to start making new friends and acquaintances. I think I was blessed to be with my lab mates especially my batchmates. We sometimes became rivals and at the same time, good friends. I am still good friends with them now.

The professors of this laboratory are respectable. I am now studying about an environment recognition scheme based on machine learning methods. Though this research topic is slightly different from the one that I started, I value this change since this research will be a future integration of control theory and machine learning. Since the professors in this laboratory are experts in these fields, I am fortunate and pleased to do research under their supervision.

After graduation, I would like to be involved with this kind of research work. This laboratory has professionals from various fields, therefore, I have a lot of opportunities to learn from them. This will help me to become a great researcher someday.

 

Yoichiro Masui (M2):

I wanted to study control engineering because I got interested in this topic when I studied it during Technical College. My initial plan before I got into NAIST was to acquire a master’s degree and then, find a job. However, during my master course program, I became more interested in advancing my knowledge in control engineering hence this motivated my decision to enter the doctoral course for control engineering. Currently, I have no immediate plans on what to do after doctoral course, however, it is my desire to become a competent researcher in the field of control engineering in the future. With this, I believe the doctor course program will enhance my knowledge, writing and speaking abilities as a researcher.

 

Kentaro Urabe (M1):

“NAIST has only graduate schools.” This fact surprised me when I knew it. Originally, I wanted to research a new engineering topic that is different from what I studied in my previous university. Since I have very few friends who knew about NAIST, I attended an off-campus school information session as soon as I knew the session venue. The session gave me an impression that NAIST is difficult to enter since it requires a short essay and an interview and it is highly competitive. However, I successfully passed it and I think I am so lucky!

There are lots of things that surprised me when I entered NAIST. First, I saw many people carrying their personal laptop computers. Most of the students check slides on their laptops during classes and some read papers outdoors. Next, atmosphere of NAIST is unique because it is a small and compact campus. At first, I felt that the atmosphere was tasteless because I thought a prestigious university should be prosperous and lively. Now, I feel it is better because NAIST is a good environment for me to tackle research activities. There are many international students in the campus hence I have a lot of opportunities to talk to them in English. Also, there seem to be many students who are studying and researching very hard and their enthusiastic attitude towards studying are shared with other students, which is why I choose here to study and research.

I am really happy to be able to join the research activities in NAIST. I want to contribute to the society by applying the knowledge I gained here in NAIST. Even if I begin my work career in a different area, I believe that what I have experienced here in NAIST will be useful and helpful to me in the future.

 

We are looking forward to seeing you and to researching with you in NAIST. Thanks!