「ビッグデータ」を活用した手術支援 - 生体医用画像研究室

CTやMRIなどの医用画像データは、今やどこの病院でも診断や治療経過の確認のために日常的に取得されていますが、通常手術や治療が終わるとそのまま病院のデータベースに保存され、その後はほとんど使われる機会がありません。また、手術前の血液検査やさまざまな生体計測データ、あるいは手術計画データ、術後のリハビリテーション記録などの多くのデータも同様に、一回限りの使用でお蔵入りとなってしまうのが現状です。

本記事では、私たちの研究室(生体医用画像研究室)で佐藤嘉伸教授の指揮のもと、現在進めている多くの研究プロジェクトの一つの例として、このような再利用される事のない過去の大量の医療関連データ(医療ビッグデータ)を、手術の支援のために活用するシステムの開発について紹介します。このプロジェクトは、平成26年10月に科学技術振興機構(JST)戦略的創造研究推進事業「さきがけ」に採択されました(研究領域:ビッグデータ統合利活用のための次世代基盤技術の創出・体系化、研究課題名:統計学習と生体シミュレーションを融合した循環型手術支援、研究代表者:大竹義人准教授)。

Googleが開発した、膨大な数の検索データからインフルエンザの流行を予測するアルゴリズムや、大量の消費者の航空券の購入価格のデータをもとに、これから買いたいチケットの最安値の時期を予測するシステムなど、ビッグデータは日常生活の中で、広く利用されるようになってきました。これらのシステムでは、個人がインフルエンザに感染するメカニズムや航空券の価格が決定されるメカニズムといった、個々の複雑な現象の全てを解明する事なしに、集積されたデータから直接結果を予測します。このようなシステムを実現している技術は機械学習と呼ばれ、提示されたデータをもとに、機械が法則性を「学習」し、そこで学んだ知識を「予測」に役立てるという仕組みです。結果が分かれば理由は要らない、という新しいパラダイムといえます。このようなデータからの「学習」と「予測」は日常生活で人間が常に行っている作業ですので、このビッグデータの考え方の応用分野は非常に多岐に及びます。

一つの例として、私たちは手術に着目しました。手術中は、術者は五感の全てを使って計測したさまざまなデータ(目で観察して得られる情報、組織を切っているメスからの反力などの触覚、あるいは匂いなど)と、過去に行ってきた手術の経験や患者の病歴、術前に行ったCT検査、血液検査などの「知識」をもとに、現在の患者の状態(出血の度合いや取り残したガンの範囲など)を「予測」し、最善な結果を得るためには次にどのような手術を行うべきかを判断しています(図1)。一方で、このような過去のデータから人体を理解しようという考え方とは逆に、コンピュータシミュレーションの世界では、分子や細胞レベルでの振る舞いをシミュレーションする事で、その集合体である人体全体の振る舞いを理解しようという試みがあります。コンピュータの処理速度の向上により、かなり大きな規模のシミュレーションが可能になってきていますが、人体全体を完全な形でシミュレーションし、手術の結果を予測する事ができるようになるにはもう少し時間がかかりそうです。
Fig1
図1 カテーテルを用いた手術の様子。術者はカテーテルから手元に伝わる感触とX線画像から、カテーテル先端の位置を想像しながら手術を進めます。心臓などの柔らかい臓器はX線画像には写らないため、経験や技術を要する難しい手術です。

そこで、私たちが進めているアプローチは、個々の微細構造の機構全てを解明する代わりに、人体全体を大きな一つのシステムとして捉え、このシステムに関する属性データ(性別、年齢など)と加えられた入力(手術、治療)、およびそれに起因して起こる結果(患者の状態、反応)を数多く集積したデータをもとに、人体というシステムの振る舞いを「学習」する、というアプローチです。これは、先に示したGoogle検索データからのインフルエンザの流行予測などのような、大量のデータに基づいて「理由」を解明することなく結果を予測するビッグデータのアプローチに近いものです。例えば当研究室の横田太研究員は、たくさんの過去のCT画像データからいろいろな臓器の形のばらつきを学習することで、新しい患者の臓器形状を、ノイズの多い画像や少ない計測データから予測する研究を行っています。(図2)。


図2 あらかじめ収集したたくさんの被験者の三次元画像(CT画像)から対象の臓器(左図:骨盤、右図:肺)の形状のばらつきを解析した結果。下側の図は、ばらつきの大きな方向に臓器を変形させて表示した様子。

わたしたちが対象としている手術の一つに、心臓カテーテルを用いた心筋焼灼術(心筋組織を小さく焼き切る手術)があげられます。この手術では、二方向のX線動画像(図3左)を参照しながら、カテーテルという細いチューブを太ももの付け根などから挿入し、血管を通って手術対象である心臓まで到達させます。そして、このチューブに針や電極などの手術器具を挿入して治療を行います。この手術を困難にする一番の要因は、心臓の動きです。拍動している心臓内部の目的の部位に正確に針を刺すためには、心臓の動きを「予測」しなければなりませんが、心臓はX線画像には辺縁がかすかに写るだけで、その内部構造を見る事ができません。そのため、術者は、挿入したチューブを持っている手元の感触と、X線画像に写る針の位置やわずかに写る心臓の辺縁の動きから、心臓の三次元的な動き(図3右)を予測し、その動きに合わせて自身の手を動かしながら目標を定め、動きが一番少なくなった瞬間に針を刺します。また、心臓の壁の柔らかさやその動き方は、患者の年齢や性別、疾患程度や体質など、さまざまな要因によって変わってきますので、熟練した術者は過去の経験からこれらの要素も考慮して、手術を進めます。
Fig3
図3 心臓の三次元形状の自動推定。術者が頭の中で行っている過去の患者データからの学習と形状の推定を、コンピュータを用いて自動的に行います。

そこで、この非常に難易度の高い手術を支援するために私たちが開発しているのは、患者の心臓の三次元的な動きとそれに対する針の位置を可視化する、手術ナビゲーションシステムです。手術ナビゲーションは近年、整形外科や脳外科などのような、手術対象が大きく変形しない(剛体に近い)臨床領域では高精度に実現されていますが、対象の変形を予測する事ができていないため、心臓や肝臓などの柔らかい組織では、精度が低下するという課題があります。博士課程三年生の福田紀夫君は前立腺手術の支援のため、術中にリアルタイムに計測される超音波の二次元画像が患者の前立腺全体のどの部分を撮影している画像なのかを、画像に写っている情報だけから(余分な計測機器を必要とせずに)高精度に推定し、術者に提示することのできる新しいタイプの手術ナビゲーションシステムを開発しています。(図4)


図4 前立腺手術用超音波ナビゲーションシステム。術中にリアルタイムに得られる二次元の超音波画像が患者の前立腺全体のどの部分を撮影している画像なのかを、余分な計測機器無しに、画像に写る情報だけから高精度に推定することの出来るシステム。

このシステムでは現在は、前立腺の術中の変形が十分に小さいことを仮定していますが、より高精度なナビゲーションを実現するためには、前立腺の微小な変形を予測する事が必要となります。そこで、私たちは、上で示したような熟練医が頭の中で行っている「学習」をコンピュータで行うことで心臓や前立腺の変形をリアルタイムに予測し、心臓カテーテル手術や前立腺手術をさらに高精度に支援するシステムの実現を目指します。この「学習」をより高精度に行うためには大量の患者に関するデータ、つまり「医療ビッグデータ」が不可欠であり、このために、現在は病院の倉庫に眠ってしまって、再利用される事の少ない膨大なデータベースを用いようというのが今回のプロジェクトです。

生体医用画像研究室では、本記事で紹介した研究以外にも、統計学習を用いた医用画像の領域分け(セグメンテーション)や、位置合わせ(レジストレーション)、あるいは医用画像処理に基づく人体動作の解析など、医用画像を用いた臨床応用システム全般について幅広く研究しています。
ご興味のある方は、研究室のホームページをご覧ください。

Division for Foundations of Software

Division for Foundations of Software led by Professor Minoru Ito in graduate school of information science at Nara Institute of Science and Technology, JAPAN, focuses on the following most innovative and edge-cutting network technologies:

1. Intelligent Transportation Systems (ITS)

ITS Fig.1 An example of ITS system (image is from this website).

ITS aims to provide vehicle-to-vehicle (V2V) and vehicle-to-roadside communications so as to provide safety applications (like avoidance of car crash, notification of obstacles and safety message dissemination),  traffic information (like, position of surrounding cars, car velocity, moving direction) and infotainment services (like games, video viewing, music sharing). For example, when a car got involved in an accident, it can directly communicate with other cars to inform them the accident so that others get alarmed and make corresponding decisions.

2. Mobile Ad Hoc Networks

Mobile ad hoc networks (MANETs) represent a class of important wireless ad hoc networks with mobile users. Since the flexible and distributed MANETs are robust and rapidly deployable/reconfigurable, they are highly appealing for a lot of critical applications , like deep space communication, disaster relief, battlefield communication, outdoor mining, device-to-device communication for traffic offloading in cellular networks, etc.

MANETFig.2 An example of MANETs.

3. Cloud Computing

Cloud computing refers to the delivery of computing services (like software and information) from invisible providers hidden in cloud as illustrated in Fig.3. Instead of possessing one’s own hardware or software for computing task, one just needs to access these computing services from service providers through internet.

 

cloudFig.3 An example of cloud computing (image from wiki).

Regarding the above research topics, we focus on not only network applications that can be implemented directly in daily life, but also  theoretical modeling that reveals the laws underlining network phenomenon that help us to better design network protocols.

Recent Awarded Works in Applications

1. DICOMO2014シンポジウム 優秀論文賞:“GreenSwirl:車両走行効率向上を目指した信号制御および経路案内方式

XuFig.4 GreenSwirl System

研究概要:近年,大都市で深刻な交通渋滞が社会的問題となっている.特に渋滞を引き起こす原因の一つとして非合理的な交通信号サイクルがある.信号制御の技術としてGreenWaveが中国の複数の都市で実験されてきたが,結果は満足できるものではなかった.GreenWaveは一定速度で走行する車両は連続する交差点を常に青信号で通過できる技術である.GreenWaveの問題点として幹線道路のみに生成されるため,対向車線と横断道路の妨害、入口と出口の渋滞などを引き起こしてしまうことが挙げられる.この問題点を解決するために本稿では信号制御方式GreenSwirlおよび経路案内方式GreenDriveを提案する.提案手法では複数のGreenWave道路を渦巻き状に発生させ,GreenDrive案内方式で道路を走行する時間を見積もり,車両の平均走行時間を最小化する.提案手法の性能を評価するために交通流シミュレータSUMOを用いてシミュレーションを行った.ニューヨーク市マンハッタン島の道路網で車両の走行時間短縮効果を計測した結果,従来の手法と比べて提案手法は平均10〜70%程度,平均走行時間が短縮できたことを確認した.

2. DICOMO2014シンポジウム 最優秀プレゼンテーション賞 & 優秀論文賞: “地下街におけるスマートフォンの光を用いた避難誘導方式の提案

研究概要: 停電した地下街では,壁や床等が見えず,避難者は唯一の目印である避難誘導灯を用いて避難することになる.しかし先行研究によると避難誘導灯を利用する避難者は2割程度であることがわかっており,避難誘導の役割を十分に果たしているとは言えない.本稿では,避難者の携えるスマートフォンの発する光(バックライトとフラッシュライト,総じてスマホライトと呼ぶ)を用いた避難誘導方式を提案する.避難者が床を見た際に,避難すべき方向(避難方向)に光の帯が流れるように見えるよう,各スマホライトを制御する手法を取る.すなわち,避難者は光が流れるように見えた方向に避難すればよい.提案するシステムは避難誘導装置と避難者の携えるスマートフォンからなる.避難誘導装置は避難誘導灯にビルトインし,電源は避難誘導灯の蓄電池を利用する.また,避難誘導が必要な状況をスマートフォンに知らせるために,避難誘導装置は無線LANを具備することとする.停電が発生すると,避難誘導装置は,避難誘導アルゴリズムの開始を知らせるパケット(開始パケット)を近隣のスマートフォンにブロードキャストする.開始パケットを受け取った各スマートフォンは,あらかじめ設定されている自律分散型アルゴリズムにしたがって,避難者から見て避難方向に光が流れるように見えるよう,スマホライトを制御する.提案手法を評価するため,避難者の目線による3D動画を用いたシミュレーションを行い,アンケートにより評価した.アンケートの結果,避難者が床を見ることで,光が避難方向に流れるように見えることを確認した.

Recent Achievements in Theoretical Modeling

1. Source Delay in Mobile Ad Hoc Networks

Source delay, the time a packet experiences in its source node, serves as a fundamental quantity for delay performance analysis in networks. However, the source delay performance in highly dynamic mobile ad hoc networks (MANETs) is still largely unknown by now. This paper studies the source delay in MANETs based on a general packet dispatching scheme with dispatch limit f (PD-f for short), where a same packet will be dispatched out up to f times by its source node such that packet dispatching process can be flexibly controlled through a proper setting of f. We first apply the Quasi-Birth-and-Death (QBD) theory to develop a theoretical framework to capture the complex packet dispatching process in PD-f MANETs. With the help of the theoretical framework, we then derive the cumulative distribution function as well as mean and variance of the source delay in such networks. Finally, extensive simulation and theoretical results are provided to validate our source delay analysis and illustrate how source delay in MANETs is related to network parameters.

2. End-to-End Delay Modeling for Mobile Ad Hoc Networks: A Quasi-Birth-and-Death Approach

Understanding the fundamental end-to-end delay performance in mobile ad hoc networks (MANETs) is of great importance for supporting Quality of Service (QoS) guaranteed applications in such networks. While upper bounds and approximations for end-to-end delay in MANETs have been developed in literature, which usually introduce errors in delay analysis, the modeling of exact end-to-end delay in MANETs remains a technical challenge. This is partially due to the highly dynamical behaviors of MANETs, but also due to the lack of an efficient theoretical framework to capture such dynamics. This paper demonstrates the potential application of the powerful Quasi-Birth-and-Death (QBD) theory in tackling the challenging issue of exact end-to-end delay modeling in MANETs. We first apply the QBD theory to develop an efficient theoretical framework for capturing the complex dynamics in MANETs. We then show that with the help of this framework, closed form models can be derived for the analysis of exact end-to-end delay and also per node throughput capacity in MANETs. Simulation and numerical results are further provided to illustrate the efficiency of these QBD theory based models as well as our theoretical findings.

 

 

 

 

 

「隠れ身の術」の実現 – 視覚情報メディア研究室

拡張現実感・複合現実感に関する国際会議International Conference on Mixed and Augmented Reality(ISMAR),および国内の画像の認識・理解シンポジウム(MIRU)で受賞した「隠れ身の術」を実現する研究を紹介します.言葉で説明するよりも,映像を見ていただくのが一番わかりやすいと思いますので,まず以下の映像をご覧ください.

このように,映像中から現実の空間に存在する物体をリアルタイムで取り除きます.このような技術は「隠消現実感(いんしょうげんじつかん)」,英語では「Diminished Reality」と呼ばれており,映像中に仮想物体のCGを合成する「拡張現実感(Augumented Reality)」とは反対に位置付けられる技術です.1つ目の映像で,CGを合成するために用いられる拡張現実感のマーカ(映像中の黒い四角形)を映像中から取り除きつつ,仮想物体のCGを映像に合成することで,現実環境と仮想物体の真の融合を実現しているように,「拡張現実感」と「隠消現実感」を同時に行うこともできます.

実際の利用例としては,1つ目の映像のように,カメラ付きのポータブルゲーム機において,マーカを消しつつキャラクターのCGを合成することで,本当に家の中でキャラクターが動き回っているかのような感覚を味わうことが出来ます.また,1つ目の映像と2つ目の映像の内容を合わせることで,家具の買い替えを考えているときに,古い家具を取り除きつつ,新しい家具のCGを合成することで,実際に家具を買う前に部屋の雰囲気をシミュレーションすることもできます.

では,このような技術はどのようにして実現しているでしょうか?

まさに「隠れ身の術」のようなことをしています.
忍者が隠れる時に,自分のいる場所の背景の模様が描かれた布を自分の前にかぶせることで,後から追ってきた人に,そこには誰もいないかのように認識させるようなシーンを思い浮かべてください.以下のホームページのような感じです.
写真を使って忍者の隠れ身の術のように風景に溶け込むアート

「隠消現実感」でも,映像中で現実物体の上に,背景の画像を上書きしてやることで,まるでその物体がその場にないかのように見せています.

しかし,ここで1つ問題が生じます.あらかじめ取り除きたい物体の背景の画像を撮っておける場合はよいのですが,ある場所に行ってすぐに使いたい場合,そもそも消したい物体が壁に固定されていて,背景の画像を撮ることができない場合があります.
このような場合にはどうすればよいでしょう?

ここで用いられるのが「画像修復」,英語では「Image Inpainting」と呼ばれる技術です.

このように,1枚の写真から不要な物体を取り除き,その周辺に写っている背景と融合するよう,その領域内に画像を作り出す技術です.具体的には,同じ画像中から修復したい領域周辺のテクスチャと類似するテクスチャを探索し,それを修復領域内に合成することで自然な背景を生成しています.これを用いることで,映像中から取り除きたい物体の背景をあらかじめ撮影できない場合でも,自然な背景画像を生成し,利用することができます.

ただし,生成した背景画像をそのまま貼りつけるだけでは不十分です.カメラは動き回りますので,映像中での取り除きたい物体の位置や,背景の模様の見え方が変化します.このとき,少しでも背景の画像の位置ずれが起こってしまうと,明らかにそこに何かがあるのがわかってしまいます.また同様に,時間が経つにつれて環境の照明条件が変化することがあります.このため,生成した背景画像の色合いと現在の周辺の背景の色合いが異なると,違和感が生じます.

ここで,生成した背景画像とその周辺の背景との位置ずれや,色合いの差異が目立たないようにするため,コンピュータビジョンの技術を用います.具体的には,カメラを動かしながら撮影した映像中で特徴点と呼ばれる色や明るさが急激に変化するような箇所を追跡することで,現在カメラがどの場所にあり,どちらの方向を向いているかを計算することができます.また同時に,背景のおおまかな形状も計算することができます.これらの情報を用いることで,できるだけ位置ずれが目立たないよう背景画像を変形します.またこれに加えて,画像修復により背景画像を生成した時の画像と現在の画像との間で明るさや色合いの変化を計算し,生成した背景画像の色合いを調整します.このように背景画像の変形・色調整を行った上で,取り除きたい物体の上に上書きすることで,まるでその物体がその場にないかのような映像を作り出すことができます.

本記事で紹介しました隠消現実感技術以外にも,画像・映像を用いた様々なコンピュータビジョン・映像生成技術を研究しています.
ご興味のある方はぜひ視覚情報メディア研究室のホームページもご覧ください.
http://yokoya.naist.jp/