2D X線画像から 3D 筋骨格構造の体積・密度を予測するための生成 AI / Generative AI for prediction of 3D musculoskeletal structure volume and density from 2D X-ray images

1. Introduction 序章

Generative Artificial Intelligence (AI) has recently offered unprecedented capabilities in synthesizing content that resembles human creativity in various art and language fields. One of the most promising realms where generative AI showcases immense potential is medicine. By harnessing the power of generative AI algorithms, such as generative adversarial networks, healthcare professionals and researchers are empowered to revolutionize various facets of medical practice including diagnostics and personalized treatment strategies. In my work, I leverage the potential of generative AI in medical image analysis to improve the diagnosis of osteoporosis, sarcopenia, and the analysis of the musculoskeletal system. Our work in the Imaging-based Computational Biomedicine (ICB) lab in collaboration with orthopedic surgeons from Osaka University and Ehime University focused on the automated diagnosis of osteoporosis in hip joint patients by automatically measuring the bone mineral density (BMD) with high accuracy. BMD measurement is an important factor in predicting the risk of hip fracture, particularly, fractures at the base of the femur, which is a common incidence in aged societies that has detrimental effects on the patient’s quality of life. In addition, a system for predicting the composition of MSK structures from X-ray images for diagnosis of sarcopenia is under development. In this article, I briefly describe the concepts of both systems, summarize the current results and the future directions.

生成人工知能 (AI) は近年、さまざまな芸術や言語処理の分野で人間の創造性に似たコンテンツを合成する画期的な機能を生み出しています。 生成 AI が最も有望な分野の 1 つは医療です。 敵対的生成ネットワーク（＝Generative Adversarial Network）などの生成 AI アルゴリズムの力を活用することで、医師や研究者は、診断や個別化された治療戦略など、医療行為のさまざまな側面で変革が起きています。 私の研究では、医療画像処理に生成 AIを活用して、骨粗鬆症やサルコペニアを含む、筋骨格系の解析を行っています。奈良先端大の生体医用画像（Imaging-based Computational Biomedicine, ICB）研究室では、 大阪大学および愛媛大学の整形外科医と共同研究で単純X線画像のみから骨密度（Bone Mineral Density, BMD）を高精度で自動的に測定することで、骨粗鬆症の診断を行うシステムを開発しました。 BMD 測定は、特に大腿骨頸部・転子部骨折のリスクを予測する上で重要な要素です。大腿骨の骨折は高齢者で頻繁に発生し、患者の生活の質を低下します。 さらに、サルコペニアの診断のためにX線画像から個別の筋骨格構造の組成（体積と密度）を予測するシステムの開発も進めています。 この記事では、骨密度予測及び筋肉量予測の両方のシステムのコンセプトを簡単に説明し、現在の結果と将来の方向性を展望します。

Fig. 1: Workflow of the proposed system for automated diagnosis of osteoporosis from X-ray images
X線画像からの骨粗鬆症自動診断システム

2. Automated estimation of bone mineral density (BMD) for diagnosis of osteoporosis 
骨粗鬆症の診断のための骨塩密度 (BMD) の自動測定

Traditionally, osteoporosis diagnosis is performed using a specialized BMD measurement device called DXA (Dual-energy X-ray Absorptiometry), which requires relatively large space and could only be performed at large university hospitals and medical facilities, thus having limited accessibility for patients in rural or low-income regions. Additionally, it takes 20 to 30 minutes to take measurements for one patient, as it requires lying in bed in a specific posture to take the image.

従来、骨粗鬆症の診断はDXA（二重X線エネルギー吸収法）と呼ばれる特殊な骨密度測定装置を使用して行われていましたが、この装置は比較的大きな設置スペースが必要なため大学病院や大きめの医療施設でしか実施できず、地方や低所得地域の患者にとってはアクセスが限られていました。 また、ベッドに寝て特定の姿勢で撮影する必要があるため、患者1人当たりの測定には20～30分程度かかります。

Our developed system uses AI to automatically recognize the bone region from CT images, based on paired data of X-ray images (2D images) and CT images (3D images) collected from 315 patients (Fig. 1). We combined this technology with a technique that displays images from CT and X-rays superimposed on each other. Using this method, we have built an AI system that can measure BMD using only X-ray images with almost the same accuracy as DXA or CT-based measurements (Fig. 2). Unlike DXA, X-ray images can be taken in small clinics or mobile examination vehicles, and can be taken while standing, so measurements for one patient can be completed in 1 to 2 minutes. Due to its high measurement accuracy, it can be used not only for screening but also for diagnosis of osteoporosis, as well as for determining the effectiveness of drug treatment for osteoporosis, leading to significantly reduced costs compared to DXA or CT examinations.

今回開発したシステムは、患者315名から収集したX線画像（2D画像）とCT画像（3D画像）のペアデータをもとに構築しました。CT画像からAIにより骨領域を自動認識するシステム（図1）とCT画像とX線画像を位置合わせして重ね合わせて表示する技術、を組み合わせました。 この手法により、X線画像のみでDXAやCTによる測定とほぼ同等の精度でBMDを測定できるAIシステムを構築しました（図2）。 DXAと異なり、X線画像は小規模診療所や移動検査車で撮影でき、立ったまま撮影できるため、患者1人当たりの測定は1～2分で完了します。 測定精度が高いため、スクリーニングだけでなく、骨粗鬆症の診断や骨粗鬆症の薬物治療の効果判定にも利用でき、DXA検査やCT検査に比べて大幅なコスト削減につながります。

This work has been published in 2023 in Medical Image Analysis, one of the most prestigious international journals in medical image engineering, with an Impact Factor of 10.9. In addition, this system has been accepted for deployment by the Japan Agency for Medical Research and Development (AMED), and we are currently working on its commercialization.

この成果は、医用画像工学で最も権威のある国際ジャーナルの 1 つである Medical Image Analysis（インパクトファクター： 10.9 ） に 2023 年に発表されました。 なお、本システムは国立研究開発法人日本医療研究開発機構（AMED）の製品化支援のための事業に採択され、現在実用化に向けて取り組んでいます。

Fig. 2: Representative results of the proposed system. The predicted images (DRRs) could help measure the BMD with almost the same accuracy as DXA and QCT-based measurements.
提案システムの代表的な結果。 予測画像 (DRR) は、DXA および QCT ベースの測定とほぼ同じ精度で BMD を測定するのに役立ちます。

3. Prediction of MSK tissue composition from X-ray images
X線画像からの筋骨格組織組成の予測

Figure 3 shows the overall concept of the proposed framework for MSK decomposition of X-ray images. Using an AI model, similar to the bone density prediction introduced above, it is now possible to decompose X-ray images of bones, muscles, and other organs into projected images of each organ. By obtaining the isolated images of bone parts, the bone density can be measured. In order to train the AI model, training data, including the X-ray images with the corresponding bone segments, are needed. We collected the CT images and the X-ray images from 315 patients and used our previously developed tools for the automatic segmentation (i.e., extraction) of the proximal femur from CT images and aligning the CT and X-ray images to obtain the image pairs required for training.

図 3 は、X 線画像からの 筋骨格の分解のために提案されたフレームワークの全体的なコンセプトを示しています。 上記で紹介した骨密度予測と同様に、AIモデルを活用することで、骨や筋肉などのX線画像を臓器ごとの投影画像に分解することが可能になります。 骨部分の分離画像を取得することで、骨密度を測定することができます。 AI モデルを学習させるには、対応する骨領域を含む X 線画像とCTの学習 データが必要です。 我々は315 人の患者から CT 画像と X 線画像を収集し、以前に開発したツールを使用して CT 画像から大腿骨近位部を自動セグメンテーション (領域抽出) し、CT 画像と X 線画像を位置合わせして、モデルの学習に必要となる画像ペアのデータセットを構築しました。

Fig. 3: Concept of the proposed method for decomposition of X-ray images into MSK structures for bone and muscle density measurements
骨と筋肉の密度測定のために X 線画像を MSK 構造に分解するための提案手法のコンセプト

Figure 4 shows an example for the predictions by the developed decomposition system of a female of 81 years old and a body mass index (BMI) of 20.86 of 2 muscles (gluteus maximus and gluteus medius) and two bones (pelvis and femur). The values in blue are the predicted measurements, whereas those in green correspond with the errors compared with QCT-based measurements. SSIM indicated the similarity with the original images derived from the QCT images, with SSIM=1 indicates highest similarity. The results show that the system could accurately decompose the MSK structures into the constituent parts and estimate the bone/muscle densities.  

図 4 は、2 つの筋肉 (大殿筋と中殿筋) と 2 つの骨 (骨盤と大腿骨) の体格指数 (BMI) が 20.86 の 81 歳の女性において、開発されたシステムでＸ線画像から筋骨格を分離した結果の例を示しています。 青色の値は予測された測定値であり、緑色の値は 正解値（QCTから計測した値）と比較した誤差に対応します。 SSIM は QCT 画像から得られた正解画像との類似性を示し、SSIM=1 は最も高い類似性を示します。この結果は、本システムが 筋骨格構造を構成部分に正確に分解し、骨・筋肉の密度を推定できることを示しています。

Fig. 4: Representative result for the decomposition of X-ray images into MSK structures for bone and muscle density measurements 骨と筋肉の密度測定のための X 線画像の 筋骨格構造への分解の代表的な結果

4. Future Works

The developed systems could achieve high accuracy in the estimation of bone mineral density and bone/muscle decomposition for density estimation from Xray images. The results show potential for introducing the developed systems into clinical applications. These will hold promises for improving the diagnosis of MSK diseases, such as osteoporosis and sarcopenia, for wider populations with reduced costs and risks of ionizing radiation, especially in less developed areas. One potential application is the early prediction of bone fractures or fall risks, that highly diminish the mobility of elderly patients.  In my research, I will continue to explore new avenues for harnessing AI for the improvement of medical procedures and patient’s quality-of-life.

今回開発したシステムは、X線画像からの骨密度推定および筋肉の体積・密度の推定において高い精度を達成することができました。 この結果は、本システムの臨床応用の可能性を示唆しています。本システムにより骨密度測定のコストと放射線被ばくのリスクを軽減することで、より多くの人々が骨粗鬆症やサルコペニアなどの筋骨格疾患のモニタリングを行える環境を整備できると考えています。本システムの将来展望の一つとして、高齢患者の可動性を著しく低下させる骨折や転倒のリスクを早期に予測するアルゴリズムの開発が考えられます。 私の研究では、医療と患者の生活の質を向上させるために AI を活用する新たな道を引き続き模索していきます。

著者紹介/About the author

Yi Gu

生体医用画像研究室にて博士前期課程修了。現在、同研究室のダブルディグリー（フランス・Université Paris-Saclay）博士後期課程2年生。

I obtained my Master’s degree from the Imaging-based Computational Biomedicine lab. I’m currently pursuing my PhD degree in a double degree program (with Université Paris-Saclay, France) at the same lab.

ロボットを活用したコンビニエンスストアの未来に向けて/Toward a future of convenience stores built with robots

立命館大学創発システム研究室の准教授ガルシア・グスタボです。2021年3月末に閉室となったロボティクス研究室（教授：小笠原司副学長）のOBで元スタッフでもあります。数年前からは「NAIST-RITS-Panasonic」のキャプテンも務めています。このチームは、ロボットで現実世界の問題を解決したいという情熱ある研究者・技術者たちで結成され、以下の国際ロボット競技会「Airbus Shopfloor Challenge 2016、Amazon Robotics Challenge 2017、WRS Future Convenience Store Challenge 2018-2022」に積極的に参加しています。

I am Gustavo Garcia, Associate Professor at the Emergent Systems Lab of Ritsumeikan University and an alumnus and former staff of the ci-devant Robotics Lab (NAIST), led by the now retired Prof. Ogasawara. Since a few years back, I am also the captain of team NAIST-RITS-Panasonic, a collective of researchers and engineers driven by the passion for solving real-world problems with robots, and an avid participant in international robotics competitions (Airbus Shopfloor Challenge 2016, Amazon Robotics Challenge 2017, WRS Future Convenience Store Challenge 2018-2022).

今回は、私のチームが提案するロボットを活用した未来のコンビニエンスストアを紹介します。未来と言ってもそう遠くないことを願っていますが、私たちが構想しているコンビニエンスストアではお察し通り、ロボットの店員がいます。そこでは、人間とロボットが自然で、直感的で、円滑なやりとりをしています。ロボットは店舗スタッフの面倒な仕事を助け、客はロボットが作業している間でも自由に欲しい商品を選ぶことができます。これらの技術は、2021年に開催された「Future Convenience Store Challenge（FCSC）2020」で評価され、「商品陳列・廃棄タスク」と「トイレ清掃タスク」で1位を獲得し、総合優勝を飾りました。また、2022年には国際会議IROS2022で「Future Convenience Store Challenge 競技(WRS FCSC Trial Competition@IROS2022)」が開催され、「陳列・廃棄タスク」部門での1位を獲得し、2019 年、2020(2021)年に続き連覇を果たしました。

This time, I would like to introduce the robotics technologies that my team has proposed for building the convenience stores of the (hopefully not that far) future, a future with –yes, you guessed well– some robotic employees. In the envisioned convenience stores, humans and robots interact naturally, intuitively, and harmoniously. Robots help staff with tedious –even unpleasant– tasks, while customers can freely pick the desired products even during the robot operation. We benchmarked these technologies at the Future Convenience Store Challenge (FCSC) 2020 (held in 2021), where we obtained the two 1st places in the Restock/Disposal task and the Restroom Cleaning task, as well as the Overall Winner Prize. In 2022, the Future Convenience Store Challenge (WRS FCSC Trial Competition@IROS2022) was held at the international conference IROS 2022, and we won the first place in the Restock/Disposal task. This is the third time our team has won in this task, following first place in 2019 and 2020 (2021).

チーム紹介/The team

「NAIST-RITS-Panasonic」は、NAIST、立命館大学、パナソニックホールディングス株式会社Robotics Hubのメンバーで構成されています。これまで6代にわたり、多くの研究者や学生、エンジニアが自身のスキルを活かし、熱い思いをもって、数多くのロボット製作に貢献してきました。私たちが製作したロボットは様々な国際ロボット競技会で評価されています。

The NAIST-RITS-Panasonic is formed by NAIST, Ritsumeikan University, and the Robotics Hub of Panasonic Corporation. During the six generations of the team, numerous researchers, students, and engineers have contributed with their talent, dedication, and passion to the creation of numerous robots benchmarked at various international robotics competitions.

チャレンジの様子/The challenge

2017年、経済産業省と国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）は、ロボット技術に関する国際イベントWorld Robot Summit（WRS）の日本開催を決定しました。WRSは、ロボット活用の現在と未来の姿を発信する展示会（WRE）と世界中から集結したチームがロボット技術やアイデアを競う競技会（以下WRC）とで構成されています。WRCのサービス部門では、高齢化で労働力が損なわれているような店舗にイノベーションを起こすきっかけとして、「Future Convenience Store Challenge（以下FCSC）」がスタートしました。

競技の課題は以下の3つのタスクです。

In 2017, METI and NEDO decided to organize an international event about robotic technology called World Robot Summit, with an exhibition track (WRE) and a competition track (WRC), in Japan. Within WRC, in the Service category, the Future Convenience Store Challenge (FCSC) arose as an opportunity to foster innovation and channel it to the ubiquitous stores, whose workforce is compromised by societal aging. The challenge consisted of the following three tasks:

  • 陳列タスク/Restock and Disposal Task

“心は目に従う”といわれます。コンビニエンスストアでは、商品を美しく並べることが、店内を見て回る客へのアピールになります。その一方で、常に鮮度の高い商品を陳列することがリピーターの獲得につながります。この「美しい陳列」と「鮮度管理」は、コンビニエンスストアのスタッフが抱える課題です。というのも、店内を見て回っていた客が意図せずに商品を棚に戻して入れ替えする可能性があったり、賞味期限切れの商品を棚から取り除く必要があったりするからです。店内ではこういったことが日々起きています。

They say that “the heart follows the eyes.” In convenience stores, products arranged in an esthetic fashion are more appealing to browsing customers. On the other hand, finding fresh products always translates into recurring customers. These are two challenges faced by convenience stores’ staff because browsing customers can unintendedly leave put-back products disarranged, and expired products must be removed from the shelves… and this happens every single day.

そこで私たちは、棚にある商品を自律的に整頓し、賞味期限切れの商品を取り除き、新しい商品を補充するロボットシステムを構築しました。ロボットは、アームの付いた可動式のベースと、特注のロボットハンドで構成されています。ロボットはカメラで商品を見て、どのような行動を取るべきかを判断し、起こりうるエラーと復旧策を常に検討します。客がロボットに近づくと、ロボットは動作を停止して後退し、客に商品を選択できるようにします。そして客が立ち去ると、ロボットは人間のスタッフと同様に作業を続けます。

We have built robotic systems to autonomously straighten products on shelves, remove expired products, and restock the shelves with new products. The robot consists of a mobile base with an arm and a custom-made robot hand. The robot uses a camera to look at the products and decide what action to take, always considering the possible errors and the strategies to recover from them. When a customer is close to the robot, the robot halts the operation and retreats to allow the customer to pick the products. Once the customer leaves, the robot continues the task, as a human staff would do.

  • トイレ掃除タスク/Restroom Cleaning Task

トイレ掃除が好きな人はいるでしょうか？もしかしたらいるかもしれませんが、好きだという人以外は、コンビニのレジ仕事の方が良いかもしれません。とはいえ、掃除は日常的に必要な仕事です。

Is there anyone who loves to clean restrooms? Maybe, but for the rest of us, we rather are at the cashier in a convenience store. However, cleaning is a needed, everyday task.

そこで、液体を拭き取り、紙片を吸引し、空のトイレットペーパーの芯や使い捨てのコーヒーカップを自律的に掃除するロボットを作りました。液体が入っている場合は、中の液体をこぼすことなく作業ができます。このロボットは、アーム付きの移動ベースと、特注の3つのロボットハンドで構成されています。ロボットはディープラーニングとカメラの画像からゴミの種類を検出し、最適な道具を選択します。客がトイレを利用したい場合、ロボットは道具を残すことなくトイレから離れます。そして客が立ち去ると、ロボットは清掃を継続します。

We have built a robot that can autonomously clean a restroom by wiping liquids, vacuuming pieces of paper, and removing empty paper rolls and even disposable coffee cups (without dripping the liquid inside!). The robot consists of a mobile base with an arm and three custom-made robot hands. The robot detects the type of garbage using deep learning and images from a camera and selects the most suitable tool. When a customer wants to use the facilities, the robot retreats from the restroom without leaving any tools behind. Once the customer leaves, the robot continues cleaning.

  • 接客タスク/Customer Interaction Task

ニューノーマルが叫ばれる昨今、ロボットによる遠隔操作への期待が高まっています。スタッフと客、客と商品を非接触で橋渡しすることで、ニューノーマルという制約の下でもロボットは重要な役割を果たすことができるのです。 私たちは、店内を案内したり、最新の商品を紹介したり、自然な言葉で対話できるロボットを提案しています。また、アプリで選んだ商品をロボットが遠隔で取り、入口で客が受け取れるようにしました。そして、伝染病対策として広く利用されているアクリル壁越しでも、レーザーマイクを通してスタッフが客の声を聞き取れるようにしました。複合現実感のあるゴーグルを使用することで、スタッフはロボットの状態を観察でき、直感的に素早く情報を共有することができます。さらに、ドラッグ＆ドロップ操作により、プログラミングやロボットの知識がなくても、ロボットの動作をつくったり、カスタマイズしたりできます。こうして究極のコンビニエンスストア体験が実現します。

As the new normal governs in recent years, the potential of robotic distancing seems promising. By bridging staff and customers in a contactless manner, as well as customers and products, robots can play a key role for happiness even under the new-normal restrictions.

We have proposed robots that can usher customers around the store, show them the latest products, and interact with natural language. We have enabled customers to have robots pick up the products selected through an app remotely and receive them at the entrance. Through laser microphones, staff can hear customers behind an acrylic wall, a widely used contagion countermeasure. With mixed reality googles, the staff can monitor the robot’s status and quickly, intuitively share information. Finally, with a drag-and-drop interface, staff without any programming or robotics knowledge can create and customize the robot’s behavior to realize the ultimate convenience store experience.

今後の展開/Future work

私たちのチームはFCSCでロボットをベンチマークし、その過程で複数の優勝を獲得しましたが、自らのビジョンを実現するための追求は、まだまだ続いています。今後は、未知の環境、未知の商品であっても、パッケージやフィデューシャルマーカー（物の位置や向き・大きさを測定するためのマーカー）のない商品を操作し、自然な形で客と対話し、自律的にタスクを計画するプロジェクトを進めていく予定です。

The team has benchmarked the robots at the FCSC, winning multiple first places in the process, but our pursuit of realizing our vision continues. Next, we will further our research project to manipulate products without any packages and fiducial markers (to identify the location, direction, and scale of packages), interact with customers in a natural way, and plan the task autonomously, even in unknown environments and with unknown products.

AIという光が差し込むとともに、スマートでインタラクティブなロボットが活躍するコンビニエンスストアの未来はかつてないほど明るくなっています。

With the luminescence of AI, the future of convenience stores with smart and interactive robots working for happiness has never looked brighter.

著者紹介/About the author

Gustavo Garcia

2013年に奈良先端科学技術大学院大学（NAIST）にて博士前期課程を修了。2016年に同大学にて博士後期課程を修了。博士（工学）。現在、立命館大学創発システム研究室の准教授、NAISTヒューマンロボティクス研究室の客員准教授、パナソニックホールディングス株式会社Robotics Hubのロボティクスコンペティション研究の顧問を務める。大学や企業で研究に従事するかたわら、数多くの研究プロジェクトや国際的なロボット競技会でチームの指揮をとる。専門は、人間にとって安全で効率的なロボット制御、人間とロボットのインタラクション、モバイルマニピュレーション、タスクプランニングなど。

Gustavo Garcia received his MEng and Ph.D. degrees from the Nara Institute of Science and Technology (NAIST), Japan, in 2013 and 2016, respectively. He is currently an Associate Professor in the Emergent Systems Laboratory at Ritsumeikan University and a Research Advisor for Robotics Competitions at the Robotics Hub of Panasonic Corporation. He leads numerous research projects and teams in international robotics competitions. His interests include human-safe and efficient robot control, human-robot interaction, mobile manipulation, and task planning.

脳の情報処理機構に基づいて、人間の行動原理を探求｜計算行動神経科学研究室

計算行動神経科学研究室・特任准教授の田中沙織です。2022年4月からスタートした本研究室では、人間を理解するために、脳の情報処理機構に基づく行動モデルの構築と、実験的手法やデータ駆動的手法による検証によって、人間行動の原理探求を目指しています。詳しい研究内容については、ウェブサイトや研究内容の紹介動画などもご覧ください。

計算行動神経科学研究室Webサイト：

https://xsaori.github.io

日本神経科学学会による市民公開講座シリーズ「脳科学の達人」Youtubeチャンネル：https://www.youtube.com/watch?v=HFonDMjcGp4

本研究室の研究テーマの一つに、人の行動を数理モデルによって記述するという取り組みがあります。例えば、その人の行動を説明できる数理モデルのパラメータなどの特徴と、脳や心理指標といった観測可能な個人特性の間の関係を明らかにすることで、脳やこころの状態を定量的に評価することが可能になります。

今回は、精神疾患の一つである強迫症の数理モデル構築と臨床データでの検証に関する研究を紹介します。

計算論的精神医学（computational psychiatry）

行動や脳の神経活動の背景にある仕組みを数理モデルによって明らかにしようとする研究方法は、「計算論的アプローチ」と呼ばれます。このアプローチでは、私たちが何かを知覚し行動する際に脳が行っている脳神経の信号処理を、ある種の「計算」と捉えて、そのプロセスの計算論モデルを作成します。近年、精神疾患を対象として、この計算論的アプローチを用いることで、検査データなど客観的な指標だけではわからない疾患の仕組みを理解しようとする「計算論的精神医学（computational psychiatry）」が注目を集めています。私たちは、この計算論的アプローチを用いることで、強迫症（強迫性障害）の症状・治療のメカニズム解明を目指しました。

強迫症：不安を伴う繰り返し行動

強迫症は、生涯有病率約2%とよくみられる精神疾患で、強迫観念と強迫行為によって特徴づけられます。強迫観念は繰り返される持続的な思考で、強い不安を伴います。強迫行為は強迫観念によって起こった不安を一時的に軽減するための過剰な繰り返し行動です。代表的な症状としては、「鍵がしっかり閉まっていないことでなにか起こるのではないかと不安に思い（強迫観念）、何回もドアノブを確認する（強迫行為）」などが知られています。治療法として、不安に立ち向かい強迫行為をしないことを練習する行動療法と、抗うつ薬としても知られている「セロトニン再取り込み阻害薬(serotonin reuptake inhibitor: SRI)」による薬物療法があり、これらは治療ガイドラインで第一選択の治療法とされています。しかし、強迫観念と強迫行為が悪循環する強迫症状がなぜ生じてくるのか、行動療法やSRIの投与がどのようにして治療効果を発揮しているのかのメカニズムはよく分かっていませんでした。

強迫症の数理モデル：強迫症状を生み出す強化学習パラメータの同定

そこで、私たちはこのメカニズムを解明するために、なぜ強迫症患者の脳がこの悪循環を「学習」してしまうのかについて、計算論モデルを使って調べました。私たちは、脳が行なっているとされる学習の一つである「強化学習」に着目し、計算論モデルを作成しました。ある個人がどのような行動を身につけやすいかといった特性を表す学習パラメータを、パソコンで実施可能な、簡単な選択課題で計測することができます（下図）。

様々な学習パラメータの組み合わせを用いたコンピューター・シミュレーションや理論的解析を行った結果、どれぐらい過去の行動まで学習に関連付けるかを調整する学習パラメータについて、現在の結果が予想より悪かった場合のパラメータ（ν-）が、予想より良かった場合のパラメータ（ν+）よりも極端に小さい（“アンバランス”、下図の右下の領域）場合、強迫症状（強迫観念と強迫行為の繰り返し）がいつのまにか学習されてしまうことを見い出しました。さらに、この学習してしまった強迫症状は、「強迫観念があっても強迫行為をしない」といった行動療法を行うことによって改善できることも、シミュレーションで見い出すことができました。

実験的手法による検証

次に、計算論モデルから予測された学習パラメータの性質が、実際の強迫症患者において観察されるのかどうかを検証しました。強迫症患者と健常者において選択課題のデータ収集を行い、個々人の学習パラメータを推定したところ、計算論モデルから予測された通り、強迫症患者は健常者と比較してアンバランスな学習パラメータを示すことが分かりました（下図）。

また、これまで治療薬であるSRIがどのようにして強迫症への治療効果を発揮しているのかは解明されていませんでした。そこで、SRIの投与量と学習パラメータのアンバランスさの関係性を調べたところ、治療薬であるSRIの投与量を増やすほど、アンバランスを解消できていることが分かりました。つまり、行動レベルのメカニズムとしては、学習パラメータのアンバランスを解消することによって、治療効果を発揮しているというメカニズムが示唆されました。

臨床的な意義：治療最適化へ

これらの成果は、強迫症状やその治療の根本的なメカニズムの理解において、大きな進展と言えます。臨床的なエビデンスとして、一部の強迫症患者は行動療法での治療がうまくいかないこと（治療抵抗性）が知られています。私たちの研究では、学習パラメータを計測・推定して、より極端なアンバランスが存在する場合、行動療法のみでは治療ができないということも、理論的に導き出すことができました。現状の臨床では、強迫症を治療する際にどの治療法が効果を発揮するかを事前に予測することはできません。今後、私たちの計算論的アプローチを適用し、治療前に学習パラメータを評価することで、行動療法のみでの治療が可能かどうかといった、治療の最適化ができる可能性があります。

研究の広がり：疾患から人間全体へ

また今回の研究において得られた興味深い結果として、健常群にもパラメータのばらつきが観測されたという点があります。健常者でもアンバランスなパラメータのクラスタと、バランスが取れたパラメータのクラスタでは、異なる個人特性を持つことがわかりました。このことから、私たちの研究アプローチにより、疾患患者のみならず、人間全体における個人特性のばらつきとその脳機構を検証することができると期待しています。

そこで最近では、思春期の行動の数理モデル構築と大規模コホートデータでの検証、また日常生活における行動特性と学習パラメータの関係を調べています。

今回紹介した強迫症の数理モデルの研究は、NAISTのプレスリリースでも紹介されていますので、興味のある方はぜひこちらもチェックしてみてください。

http://www.naist.jp/pressrelease/2022/08/009227.html

著者紹介

田中　沙織（たなか　さおり）

博士（理学）。2001年大阪大学理学部物理学科卒、2006年奈良先端科学技術大学院大学情報科学科博士課程修了。 同年カリフォルニア工科大学客員研究員、2007年 (株)国際電気通信基礎技術研究所 (ATR) 脳情報研究所連携研究員、2009年大阪大学社会経済研究所特任准教授、2012年同研究所准教授を経て、2015年よりATR脳情報通信総合研究所・数理知能研究室・室長 (https://bicr.atr.jp/ncd/)。2022年より奈良先端科学技術大学院大学・特任准教授（兼任）。2005年日本神経回路学会論文賞・研究賞・奨励賞、 2008年中山科学振興財団中山賞奨励賞受賞。2018年日本行動経済学会 第1回行動経済学会ヤフー株式会社コマースカンパニー金融統括本部優秀論文賞、2019年神経回路学会優秀研究賞受賞。意思決定の数理モデルと実験的手法を組み合わせた研究アプローチにより、人間の行動原理の探究を続けている。犬が好き。
Webサイト：https://researchmap.jp/xsaori

感情を持つロボットを目指して｜数理情報学研究室

数理情報学研究室の助教の日永田智絵です。数理情報学研究室では、生体やそのインタラクションをシステムとしてとらえ、数理モデルを通してその基本原理を解明し応用する研究をしています。これは、計算学（機械学習）、理学（生命数理）、工学（信号処理）を広くカバーする境界領域研究です。

その研究室の中で私は感情を持つロボットの開発に取り組んでいます。これは感情を実装することを通して、感情のメカニズムを解明するという構成論的アプローチでもあります。本記事では、私の取り組みについて紹介します。

感情とは何なのか？

感情は自身の中にあるモノなのに、何かと言われると説明しがたいものです。実際研究においてもその定義は様々です。私は神経科学者のアントニオ・ダマシオの定義に従い、刺激に対して起こる身体反応を情動、それを認知したものを感情とする定義を用いています。この定義にもあるように、身体は感情においてコア的な重要な役割を持っていると考えられています。近年では、5感などの身体の外からの情報である外受容感覚と内臓などの身体内部からの情報である内受容感覚が統合されることによって感情が作り出されるという考えが有力視されています。

また、感情において重要な側面としては、学習と個体差です。例えば、ブリッジスは幼児は興奮を持って生まれ、そこから徐々に感情を分化させていくという感情分化を提案しています。さらに、リサ・フェルドマン・バレットが感情に指紋はないというように、何かの感情を特定できるような決まった反応はないのだという考えも広まってきています。文化差に関係なく共通であるとしたエクマンの基本6感情はいくつかの反証がなされ、文化差があることが主張されています。このように、感情の学習は、文化を初めとした、様々な環境いわゆる学習データに依存して行われると考えられ、決まった正解のようなモノが存在するわけではないと考えられます。

感情モデル開発

　前述したように、感情は徐々に文化し、学習されるものだと考えられます。その考えのもと、私はこれまでの研究の中でDeep Emotionという感情モデルを開発しました。この感情モデルでは前述した感情分化をシミュレーションすることを目的としています。モデルは既存の概念的な感情モデルから構築されています。外受容感覚と内受容感覚を統合し、行動を出力するモデルとなっています。具体的には外受容感覚として画像を入力として、行動として表情を出力するモデルとなっていて、自身の身体の一定化を報酬として、最適行動を学習していきます。自身の身体を一定化する働きは人間にも備わっており、ホメオスタシスと呼ばれています。モデルは各モジュールを深層学習モデルで実装しています。詳しくは論文を参照してください。本モデルで感情分化のシミュレーションを行った結果、喜び・怒り・悲しみ・ニュートラルの4つが徐々に分化していく様子が観測されました。これはブリッジスの主張する感情分化の快がわかれ、不快が細分化する様子と同様のものでした。本研究はまだ発展途上ですので、今後様々な方向から改善していきます。

モデル概要

今後の展開

現在、プロジェクトとしてはJST ACT-X AI活用で挑む学問の革新と創成にて「感情を持つロボットの開発に向けた情動反応モデルの構築」やJSPS 学術変革領域研究(B)にて「ロボットの嫉妬：嫉妬生成モジュールを用いた統合モデルの構築」などに取り組んでいます。前者はより身体に注目して、人の生体信号を計測し、そのモデル化を実施するプロジェクトです。これによって、ロボットにはない内臓の感覚についての情報を得ることができ、より人に近い感情構造を持つロボットの開発に寄与できます。後者は感情の中でも他者や文化など高次な情報が必要といわれる社会的感情に着目し、マウスやサルの研究者の方とコラボレーションしながら、社会的感情の中でも嫉妬のメカニズムの解明を目指す研究です。私一人の手でできることはほんの少しですが、色々な方とコラボレーションしながら、より広がりをもった研究を実施したいと思っています。

著者紹介

日永田智絵（ひえいだ ちえ）

電気通信大学大学院　博士（工学）。日本学術振興会特別研究員（ＤＣ1）、大阪大学先導的学際研究機構附属共生知能システム研究センター　特任研究員を経て、2020年より奈良先端科学技術大学院大学　先端科学技術研究科情報科学領域　助教。感情発達ロボティクスの研究に従事。

Webサイト：https://www.hieida.com/

光学設計を工夫することによるプロジェクタ映像へのタッチセンシング実装｜光メディアインタフェース研究室

光メディアインタフェース研究室 博士後期課程2年の辻 茉佑香です。

本研究室の研究分野のひとつには、コンピュータビジョン(CV)という分野があります。これは、コンピュータがカメラ画像をいかに「理解」するかという研究分野です。スマホカメラの顔認識や、アプリでの文字認識は、まさにCV研究の賜物ですね。

ところで、CV研究の着眼点は以下のように3つに分けることができます。

① 画像処理アルゴリズム: 撮影した画像に対していかに有効な情報処理を施せるかは、CVにおいて重要なトピックとなります。

② 光学機器(カメラ)の動作原理: どんな風にシーンを撮影して画像を生成するかによって、その後の画像処理も変わってきます。

③ シーン中の光の物理現象: 一般的な画像は、3次元の現実空間を2次元に射影したものです。つまり、画像が持つ情報は、現実空間の情報をある程度削ぎ落としたものになります。そこで、画像だけではなく、画像が生成されるまでのシーン中の光の物理現象も考慮することで、よりリッチなパラメータから画像を理解できます。

CVの研究は①のみで行われるイメージが強いかもしれませんが、実際は②や③の知識も重要です。今回は「②光学機器の動作原理」に着目した研究を紹介したいと思います。

プロジェクタの投影画面を指先で操作できる
タッチセンシング技術を開発

～直接触れずに空中で指示する応用も実現可能～
どこでもタッチディスプレイ化に期待

http://www.naist.jp/pressrelease/2021/08/008181.html

今回紹介するのは、壁や床に投影したプロジェクタ映像に対してタッチ操作ができるように、タッチセンシングを実装した研究です。

当然ながら、壁や床にはセンシング機能はありません。そのため、本研究ではカメラで撮影した画像を使って、コンピュータに指のタッチ位置を「理解」してもらいます。 具体的な流れは以下の通りです。

① 画像から指を見つける
② 指が面にタッチしているかどうかを判別する
③ 指がどの部分にタッチしているかを判別する 

CV研究では、画像から手を検出する技術がすでに存在します。google社のmediapipeなどが有名です。ただし、用途がプロジェクタ映像へのタッチセンシングとなると一筋縄ではいきません。たとえば、

・ 映像をタッチする手にも映像が投影されるため、「皮膚の色」「指の輪郭」といった、手に関する大事な視覚的特徴が失われる
・ じゃんけんの映像など手の画像が投影されたとき、コンピュータは本物の手と映像中の手の区別が難しくなる
・ 1枚の画像では、指が実際にタッチしているのか、それとも空中に浮いているのか、判別が困難である

などといった課題があります。そのため、今回の問題設定だと、実物の手を検出するのは非常に難しいタスクとなります。これを近年のトレンドで解決しようとすると、深層学習など複雑なアルゴリズムを駆使してコンピュータに画像処理を頑張ってもらうなどが挙げられます。一方で本研究では、撮影システムを工夫してシンプルな画像を生成することで、コンピュータに簡単な問題を渡すというアプローチを取りました。  以下の画像をご覧ください。


左側2つはカメラで普通に撮影した画像、右側2つは本研究で撮影した画像です。(a)と(c), (b) と(d)は同じシーンを撮影しています。見ての通り、本研究のアプローチでは指だけが撮影されており、投影映像や周囲の背景は撮影されません。また、左側2つでは指がタッチしているかしていないかを判別するのは難しいですが、右側2つでは容易に判別することができます。これは撮影システムの設計を工夫することで実現されました。


本研究では、カメラの撮影システムを工夫することで、上の図における赤いエリアだけを撮影します。撮影エリアを赤いエリアに限定することで、指が面にタッチすると指の一部が写り、指がタッチしていなければ指は写らない、という撮影をすることができます。指がタッチしているときには指の一部だけが撮影され、それ以外は何も写らないという画像を撮影することで、指を検出するための画像処理がとても簡単になりました。

今回は概念的な説明に留めましたが、具体的にどうやって赤いエリアだけを撮影するのか詳しく知りたい方は、本研究に関する論文をご覧ください。

https://ieeexplore.ieee.org/abstract/document/9495800

また、最初に説明したように、CV研究は画像処理だけでなく、物理学やハードウェア設計からのアプローチも存在します。光メディアインタフェース研究室では、いずれのアプローチでも研究を行っています。もし興味があれば、オープンキャンパス、スプリングセミナー、サマーセミナー、いつでも見学会、インターンシップなどさまざまな制度が用意されていますので、ぜひご活用ください。

著者紹介

辻茉佑香

光メディアインタフェース研究室にて博士前期課程修了。現在、同研究室の博士後期課程2年生。