月: 2013年12月

世界中の人々の間に大きく立ちはだかる言葉の壁は、この10年の技術革新で低くなりつつあります。その技術の名は「機械翻訳」で、人間の言葉を翻訳し、異なる言語で綴られた言葉でも理解できるようにしてくれます。今回の記事は機械翻訳の中で特に音声を入力とする「音声翻訳」についての話です。

音声翻訳を正確に行うために、３つの技術が必要になります。話された内容を正確に読み取り、コンピュータが理解できるテキストに変換してくれる「音声認識」、その内容を異なる言語へ翻訳する「機械翻訳」、そしてテキストを再び音声へと変換する「音声合成」です。この全ての技術は計算機が開発されてすぐにコンピュータの有用な応用先として取り上げられてきましたが、人間の言葉は複雑で、なかなか現実的な精度に及びませんでした。しかし、インターネットの普及によるデータの大規模化や、統計的な処理法の発展により、この１０年で精度が劇的に改善され、ようやくある程度使えるようになってきました。

NAISTの知能コミュニケーション研究室では、音声認識、機械翻訳、音声合成の基礎技術開発に取り組んでいます。例えば、音声認識では単語の発音を正確に推定して発音辞書の正確性を図る研究、機械翻訳では文の構造を考慮して日英翻訳のような語順の異なる言語の間の翻訳精度向上を図る研究、音声合成では様々な声質を生成する柔軟性を保ちながら合成音声の質向上を図る研究などが行われています。しかし、今回の記事では、精度だけでなく、音声翻訳を違う観点から見つめた研究を２つ紹介します。

同時性の高い音声翻訳

以下の動画は自動音声翻訳の一例です。

http://www.youtube.com/watch?v=0WL3KUv51t4

言葉は正確に伝えられていますが、話し始めてから実際の翻訳結果が出てくるまでに多くの時間がかかることも分かります。これを実際の人間の通訳者の様子を写した以下の動画と比べてみましょう。

ここで、顕著な違いとして見受けられるのは、実際の人間の通訳者は発話の終わりを待たずにすぐに通訳を開始していることです。しかし、これをするために高度な技術が必要となります。特に、日本語と英語のような語順の大きく異なる言語の間の翻訳なら、翻訳を開始するのが早すぎると、正確な翻訳を行うための情報を得ないうちに翻訳の精度が低下する恐れがあります。逆に、開始が遅すぎると聞いている人に取って余分な待ち時間が発生します。

そこで、我々が注目したのは、いかにこの訳出するタイミングを判定するかです。実際の翻訳データや通訳データから、どの単語が現れたら翻訳が開始できるか、どの単語が現れたら次の入力を待った方が高い精度が実現できるかを判断する仕組みを作成しました。そして、その結果を実際にシステム上に実装し、以下のように適切なタイミングを判断して翻訳を進めることのできる同時音声翻訳システムを構築しました。以下は提案してきたシステムのデモです。

仕組みの詳細について、日本音響学会の論文や音声研究で最大の国際会議InterSpeechの論文などで発表しています。また、この研究の続きで、実際の通訳者に習って翻訳システムを作成する研究も行っており、更に高性能かつ素早い訳出を極めていこうと思っています。

声質の翻訳

海外から日本へと輸入された映画を考えてみよう。その映画の内容を日本語へ翻訳する方法として、「字幕」と「吹き替え」があります。どちらを好むかは個人差がありますが、今回の話は吹き替えを考えます。吹き替えの映画を聞いた際、声優の声は映画のイメージに合わせて選ばれ、更に声優は場面に合わせて感情のこもった声で話します。しかし、吹き替えの声優の代わりに、俳優の声を従来の音声翻訳システムにかけてみたとしましょう。仮に100%の翻訳精度が実現できたとしても、出てくるのは元の俳優とは程遠い、無味乾燥な声質になります。

そこで、我々が研究で着目したのは、声の強調、感情、イントネーションなどの非言語情報を翻訳することです。手法として採用したのは、音声認識の段階で、発生された言葉自体とともに、声のさまざまな特徴量を認識し、線形回帰やニューラルネットという機械学習の技術を用いて相手言語に翻訳することです。研究はまだ初期段階ですが、以下の例のように、入力された声の強調を音声翻訳の出力に反映させるのに成功しています。

仕組みの詳細について、日本音響学会の論文や音声翻訳に関する国際会議IWSLTの論文などで発表しています。これからは、声の強調だけでなく、イントネーションや韻律、個人性まで反映して行こうと思っています。

Are you curious on what the students were thinking when they first enrolled in NAIST? Also, do you want to know about their thoughts on their current research activities?

Hi, I’m Kiminao Kogiso. I am working in the Intelligent System Control Laboratory as an Assistant Professor. This article presents the concerns of four of our active students in our laboratory. They openly share their experiences and the things that excite them during their stay in NAIST. Hopefully, these personal views will be helpful for the potential students who want to enroll in NAIST.

 

Maricris Cuison Marimon(D3):

I always have this idea of Japan being a very futuristic country. This country has successfully pioneered in the production and advancement in robots, cars and electronic gadgets. People who want to be leaders in these fields, try to expose themselves by undertaking further studies in Japan. Since this is the current trend and this is what I wanted to do, I decided to pursue my doctorate studies here. I was very fortunate that I was given a golden opportunity to study in NAIST. Indeed, NAIST did not disappoint my high expectations of Japanese universities. NAIST has provided me the knowledge and exposure to be a learning researcher. The faculty are immensely engaging and supportive; and the facilities and environment are highly conducive for students and researchers. Also, the students and researchers are given the autonomy to do their chosen research topics. I think these are the important factors that led NAIST to be a leader in the research arena. I am hoping that my experience and credentials here in NAIST will be able to help me in my career towards the energy and environment industry.

 

Dasiuke Tanaka (D1):

My student life in NAIST started three years ago. There were two reasons why I selected here as my graduate school. First is that this laboratory is working on the research topic that I am interested in. Second reason is that the college of technology I came from does not have a graduate school. I was looking forward to enter the university but at the same time, I was anxious because my background is slightly different from this laboratory’s research and also, I don’t have many acquaintances in NAIST.

However, my worries didn’t last. I came to realize that everybody was new to the school. Everyone was experiencing the same situation as I was since NAIST doesn’t have an undergraduate school. It gave me the confidence to start making new friends and acquaintances. I think I was blessed to be with my lab mates especially my batchmates. We sometimes became rivals and at the same time, good friends. I am still good friends with them now.

The professors of this laboratory are respectable. I am now studying about an environment recognition scheme based on machine learning methods. Though this research topic is slightly different from the one that I started, I value this change since this research will be a future integration of control theory and machine learning. Since the professors in this laboratory are experts in these fields, I am fortunate and pleased to do research under their supervision.

After graduation, I would like to be involved with this kind of research work. This laboratory has professionals from various fields, therefore, I have a lot of opportunities to learn from them. This will help me to become a great researcher someday.

 

Yoichiro Masui (M2):

I wanted to study control engineering because I got interested in this topic when I studied it during Technical College. My initial plan before I got into NAIST was to acquire a master’s degree and then, find a job. However, during my master course program, I became more interested in advancing my knowledge in control engineering hence this motivated my decision to enter the doctoral course for control engineering. Currently, I have no immediate plans on what to do after doctoral course, however, it is my desire to become a competent researcher in the field of control engineering in the future. With this, I believe the doctor course program will enhance my knowledge, writing and speaking abilities as a researcher.

 

Kentaro Urabe (M1):

“NAIST has only graduate schools.” This fact surprised me when I knew it. Originally, I wanted to research a new engineering topic that is different from what I studied in my previous university. Since I have very few friends who knew about NAIST, I attended an off-campus school information session as soon as I knew the session venue. The session gave me an impression that NAIST is difficult to enter since it requires a short essay and an interview and it is highly competitive. However, I successfully passed it and I think I am so lucky!

There are lots of things that surprised me when I entered NAIST. First, I saw many people carrying their personal laptop computers. Most of the students check slides on their laptops during classes and some read papers outdoors. Next, atmosphere of NAIST is unique because it is a small and compact campus. At first, I felt that the atmosphere was tasteless because I thought a prestigious university should be prosperous and lively. Now, I feel it is better because NAIST is a good environment for me to tackle research activities. There are many international students in the campus hence I have a lot of opportunities to talk to them in English. Also, there seem to be many students who are studying and researching very hard and their enthusiastic attitude towards studying are shared with other students, which is why I choose here to study and research.

I am really happy to be able to join the research activities in NAIST. I want to contribute to the society by applying the knowledge I gained here in NAIST. Even if I begin my work career in a different area, I believe that what I have experienced here in NAIST will be useful and helpful to me in the future.

 

We are looking forward to seeing you and to researching with you in NAIST. Thanks!

2011年3月11日，東北地方をマグニチュード9の大地震が襲い，太平洋沿岸を中心に高い津波が観測され，東北地方から関東地方の太平洋沿岸では大きな被害が出ました．日本は，4つのプレートが接する場所に位置しており，世界有数の火山国です．従って，このような大規模な自然災害は，将来また日本のどこかで発生すると考えられます．我々は，日頃から大規模な災害に対して十分に備えておく必要があります．

大規模災害や大事故では，医療従事者の人数，救急車の数，医療機関の収容能力といった医療資源の数を上回る傷病者が発生し，指揮・救援・医療系統の混乱が引き起こされます．その結果，二次三次の被害として「避けられた死」が少なからず発生します．多数の傷病者が発生した際，救命の優先順位を決めるために，トリアージという手順が定められ，用いられています．これは，患者の容体を，歩ければ「緑」，呼吸可能であれば「黄」，呼吸できないまたはショックの兆候があれば「赤」，人工呼吸しても呼吸しなければ「黒」といった基準で分類し，色の順に患者を病院に輸送するものです．

現在使用されているトリアージタグ

現在，トリアージは上の写真のような紙でできたタグを用いて行われていますが，紙のタグだと，重傷者の居場所が分からないことや，重症度を4段階にしか判定しないため，同じ色のタグでも重症度に違いがあり，搬送順を決めるのが難しいという課題があります．また，タグをつける作業は，微妙な状況を瞬時に判断する必要があり，医師にとっても大変な仕事です．本研究室では，紙のタグの代わりに無線通信機能を内蔵した電子トリアージタグを用いてトリアージを円滑に進めるための研究を行っています．

電子トリアージタグ

電子トリアージタグは，各種センサを内蔵し，患者一人一人の脈拍や呼吸数・血中酸素濃度といったバイタルサインをリアルタイムで測定し，無線ネットワークを通して監視することを可能にします．これにより，患者の容体の急な変化（クラッシュ症候群等）にも対応できます．100人の患者のうち，１時間で10人の病状が悪化すると言われており，患者の様子を見て回る医療スタッフの数を減らすことができます．

電子トリアージシステムのスクリーンショット

本研究室では，上の写真のように，被災地において素早く360度パノラマ写真を撮影・合成し，電子トリアージタグから収集された患者のバイタルサインを，この上に重ねて表示することで，直感的に患者の位置や容体を見ることのできるシステムを構築しました．このシステムにより，患者の容体や位置を即座に特定し，直感的に把握することが可能になります．

このような先進的な救命救急に対する取り組みが各国で行われていますが，情報機器を救命救急活動に利用する際には，デバイスがネットワークにつながっていないと機能を十分に発揮することはできません．

東日本大震災では，各種ライフラインが寸断され，情報通信インフラにも甚大な被害が発生しました．ライフラインの復旧までには１か月以上を要しています．地上の通信インフラが利用できない場合でも，衛星経由の通信は可能です．しかし，室内からの信号を屋外で一度中継し，衛星まで送る必要があります．本研究室では，無線通信機能を持った小型の中継装置をバルーンに搭載し，建物の周囲に配置し，建物の内部を無線ネットワークでカバーする研究を行っています．本研究では，建物の構造を考慮し，信号を中継するデバイスの数を最小化する配置をすばやく正確に算出するための新しい電波減衰モデルを提案しました．

バルーンによる建物包囲型無線ネットワーク

非常時における，無線通信中継ノードの設置方法として，建物内に入って逐一ネットワークノードを配置していくパンくず法が従来から提案されています．しかし，救助隊が，救助活動を行いつつ，同時にノード配置も行う必要があり，本研究室で提案したように，建物外から室内をカバーすることで，ネットワークの設置を救助活動と並行して素早く行うことができます．

また，提案した手法では，建物内の任意の箇所と，複数の中継装置間の電波強度を保証することができます．これにより，電波強度と電波減衰モデルを用いて，中継機器までの距離を知ることができ，三辺測量の原理を用いて，建物内部の，建物内の救助隊の位置を知ることができます．

本研究室では，実際にバルーンにデバイスを搭載し，研究棟の建物を使用して，電波強度を測定する実験を行っており，提案手法の有効性を確かめています．

実験風景

デバイスは，建物の周囲に，10個以上配置する必要があり，建物の形状や内部構造に応じてその位置を調整する必要があります．また，デバイスを配置できない個所の制限なども考慮しています．このような複雑な最適化問題に対して準最適解を求めるため，提案した手法では，遺伝アルゴリズムを用いています．遺伝アルゴリズムは，自然界における生物の進化の仕組みを模倣した，組み合わせ最適化問題に対する最適化手法です．一つの解候補を個体とみなし，解を染色体として符号化します．個体（染色体）のペアに対し，交差オペレータを適用することで，それらの子供に相当する新たな個体を作り出します．この際，一定の確率で突然変異を起こすことで，今までとは違った特徴を持つ個体を生成します．また，各個体がどれだけ優れているか（どれだけより最適に近いか）評価し，最適に近い個体ほど生き延びる可能性を増やす（淘汰）ことで，解を選別します．このような操作を繰り返し適用することにより，個体群全体を進化させ，より適応度の高い解を発見します．

遺伝アルゴリズムは，新幹線N700系の先頭車両の形状を設計するのにも使われており，非常に複雑な組み合わせ最適化問題に対する近似解を導き出すのに適しています．

ソフトウェア基礎学研究室では，遺伝アルゴリズムの他にも，色々なテクニック駆使して，実社会で起こりうる重要な問題をモデル化し，それに対する実用的な解法を提案する研究を行っています．また，上記で紹介したほかにも，高度交通システム・車車間通信やビデオ配信などモバイル通信に関する研究を行っています．

是非一度研究室にお越しください．お待ちしています．