2D X線画像から 3D 筋骨格構造の体積・密度を予測するための生成 AI / Generative AI for prediction of 3D musculoskeletal structure volume and density from 2D X-ray images

1. Introduction 序章

Generative Artificial Intelligence (AI) has recently offered unprecedented capabilities in synthesizing content that resembles human creativity in various art and language fields. One of the most promising realms where generative AI showcases immense potential is medicine. By harnessing the power of generative AI algorithms, such as generative adversarial networks, healthcare professionals and researchers are empowered to revolutionize various facets of medical practice including diagnostics and personalized treatment strategies. In my work, I leverage the potential of generative AI in medical image analysis to improve the diagnosis of osteoporosis, sarcopenia, and the analysis of the musculoskeletal system. Our work in the Imaging-based Computational Biomedicine (ICB) lab in collaboration with orthopedic surgeons from Osaka University and Ehime University focused on the automated diagnosis of osteoporosis in hip joint patients by automatically measuring the bone mineral density (BMD) with high accuracy. BMD measurement is an important factor in predicting the risk of hip fracture, particularly, fractures at the base of the femur, which is a common incidence in aged societies that has detrimental effects on the patient’s quality of life. In addition, a system for predicting the composition of MSK structures from X-ray images for diagnosis of sarcopenia is under development. In this article, I briefly describe the concepts of both systems, summarize the current results and the future directions.

生成人工知能 (AI) は近年、さまざまな芸術や言語処理の分野で人間の創造性に似たコンテンツを合成する画期的な機能を生み出しています。 生成 AI が最も有望な分野の 1 つは医療です。 敵対的生成ネットワーク（＝Generative Adversarial Network）などの生成 AI アルゴリズムの力を活用することで、医師や研究者は、診断や個別化された治療戦略など、医療行為のさまざまな側面で変革が起きています。 私の研究では、医療画像処理に生成 AIを活用して、骨粗鬆症やサルコペニアを含む、筋骨格系の解析を行っています。奈良先端大の生体医用画像（Imaging-based Computational Biomedicine, ICB）研究室では、 大阪大学および愛媛大学の整形外科医と共同研究で単純X線画像のみから骨密度（Bone Mineral Density, BMD）を高精度で自動的に測定することで、骨粗鬆症の診断を行うシステムを開発しました。 BMD 測定は、特に大腿骨頸部・転子部骨折のリスクを予測する上で重要な要素です。大腿骨の骨折は高齢者で頻繁に発生し、患者の生活の質を低下します。 さらに、サルコペニアの診断のためにX線画像から個別の筋骨格構造の組成（体積と密度）を予測するシステムの開発も進めています。 この記事では、骨密度予測及び筋肉量予測の両方のシステムのコンセプトを簡単に説明し、現在の結果と将来の方向性を展望します。

2. Automated estimation of bone mineral density (BMD) for diagnosis of osteoporosis 
骨粗鬆症の診断のための骨塩密度 (BMD) の自動測定

Traditionally, osteoporosis diagnosis is performed using a specialized BMD measurement device called DXA (Dual-energy X-ray Absorptiometry), which requires relatively large space and could only be performed at large university hospitals and medical facilities, thus having limited accessibility for patients in rural or low-income regions. Additionally, it takes 20 to 30 minutes to take measurements for one patient, as it requires lying in bed in a specific posture to take the image.

従来、骨粗鬆症の診断はDXA（二重X線エネルギー吸収法）と呼ばれる特殊な骨密度測定装置を使用して行われていましたが、この装置は比較的大きな設置スペースが必要なため大学病院や大きめの医療施設でしか実施できず、地方や低所得地域の患者にとってはアクセスが限られていました。 また、ベッドに寝て特定の姿勢で撮影する必要があるため、患者1人当たりの測定には20～30分程度かかります。

Our developed system uses AI to automatically recognize the bone region from CT images, based on paired data of X-ray images (2D images) and CT images (3D images) collected from 315 patients (Fig. 1). We combined this technology with a technique that displays images from CT and X-rays superimposed on each other. Using this method, we have built an AI system that can measure BMD using only X-ray images with almost the same accuracy as DXA or CT-based measurements (Fig. 2). Unlike DXA, X-ray images can be taken in small clinics or mobile examination vehicles, and can be taken while standing, so measurements for one patient can be completed in 1 to 2 minutes. Due to its high measurement accuracy, it can be used not only for screening but also for diagnosis of osteoporosis, as well as for determining the effectiveness of drug treatment for osteoporosis, leading to significantly reduced costs compared to DXA or CT examinations.

今回開発したシステムは、患者315名から収集したX線画像（2D画像）とCT画像（3D画像）のペアデータをもとに構築しました。CT画像からAIにより骨領域を自動認識するシステム（図1）とCT画像とX線画像を位置合わせして重ね合わせて表示する技術、を組み合わせました。 この手法により、X線画像のみでDXAやCTによる測定とほぼ同等の精度でBMDを測定できるAIシステムを構築しました（図2）。 DXAと異なり、X線画像は小規模診療所や移動検査車で撮影でき、立ったまま撮影できるため、患者1人当たりの測定は1～2分で完了します。 測定精度が高いため、スクリーニングだけでなく、骨粗鬆症の診断や骨粗鬆症の薬物治療の効果判定にも利用でき、DXA検査やCT検査に比べて大幅なコスト削減につながります。

This work has been published in 2023 in Medical Image Analysis, one of the most prestigious international journals in medical image engineering, with an Impact Factor of 10.9. In addition, this system has been accepted for deployment by the Japan Agency for Medical Research and Development (AMED), and we are currently working on its commercialization.

この成果は、医用画像工学で最も権威のある国際ジャーナルの 1 つである Medical Image Analysis（インパクトファクター： 10.9 ） に 2023 年に発表されました。 なお、本システムは国立研究開発法人日本医療研究開発機構（AMED）の製品化支援のための事業に採択され、現在実用化に向けて取り組んでいます。

3. Prediction of MSK tissue composition from X-ray images
X線画像からの筋骨格組織組成の予測

Figure 3 shows the overall concept of the proposed framework for MSK decomposition of X-ray images. Using an AI model, similar to the bone density prediction introduced above, it is now possible to decompose X-ray images of bones, muscles, and other organs into projected images of each organ. By obtaining the isolated images of bone parts, the bone density can be measured. In order to train the AI model, training data, including the X-ray images with the corresponding bone segments, are needed. We collected the CT images and the X-ray images from 315 patients and used our previously developed tools for the automatic segmentation (i.e., extraction) of the proximal femur from CT images and aligning the CT and X-ray images to obtain the image pairs required for training.

図 3 は、X 線画像からの 筋骨格の分解のために提案されたフレームワークの全体的なコンセプトを示しています。 上記で紹介した骨密度予測と同様に、AIモデルを活用することで、骨や筋肉などのX線画像を臓器ごとの投影画像に分解することが可能になります。 骨部分の分離画像を取得することで、骨密度を測定することができます。 AI モデルを学習させるには、対応する骨領域を含む X 線画像とCTの学習 データが必要です。 我々は315 人の患者から CT 画像と X 線画像を収集し、以前に開発したツールを使用して CT 画像から大腿骨近位部を自動セグメンテーション (領域抽出) し、CT 画像と X 線画像を位置合わせして、モデルの学習に必要となる画像ペアのデータセットを構築しました。

Figure 4 shows an example for the predictions by the developed decomposition system of a female of 81 years old and a body mass index (BMI) of 20.86 of 2 muscles (gluteus maximus and gluteus medius) and two bones (pelvis and femur). The values in blue are the predicted measurements, whereas those in green correspond with the errors compared with QCT-based measurements. SSIM indicated the similarity with the original images derived from the QCT images, with SSIM=1 indicates highest similarity. The results show that the system could accurately decompose the MSK structures into the constituent parts and estimate the bone/muscle densities.  

図 4 は、2 つの筋肉 (大殿筋と中殿筋) と 2 つの骨 (骨盤と大腿骨) の体格指数 (BMI) が 20.86 の 81 歳の女性において、開発されたシステムでＸ線画像から筋骨格を分離した結果の例を示しています。 青色の値は予測された測定値であり、緑色の値は 正解値（QCTから計測した値）と比較した誤差に対応します。 SSIM は QCT 画像から得られた正解画像との類似性を示し、SSIM=1 は最も高い類似性を示します。この結果は、本システムが 筋骨格構造を構成部分に正確に分解し、骨・筋肉の密度を推定できることを示しています。

4. Future Works

The developed systems could achieve high accuracy in the estimation of bone mineral density and bone/muscle decomposition for density estimation from Xray images. The results show potential for introducing the developed systems into clinical applications. These will hold promises for improving the diagnosis of MSK diseases, such as osteoporosis and sarcopenia, for wider populations with reduced costs and risks of ionizing radiation, especially in less developed areas. One potential application is the early prediction of bone fractures or fall risks, that highly diminish the mobility of elderly patients.  In my research, I will continue to explore new avenues for harnessing AI for the improvement of medical procedures and patient’s quality-of-life.

今回開発したシステムは、X線画像からの骨密度推定および筋肉の体積・密度の推定において高い精度を達成することができました。 この結果は、本システムの臨床応用の可能性を示唆しています。本システムにより骨密度測定のコストと放射線被ばくのリスクを軽減することで、より多くの人々が骨粗鬆症やサルコペニアなどの筋骨格疾患のモニタリングを行える環境を整備できると考えています。本システムの将来展望の一つとして、高齢患者の可動性を著しく低下させる骨折や転倒のリスクを早期に予測するアルゴリズムの開発が考えられます。 私の研究では、医療と患者の生活の質を向上させるために AI を活用する新たな道を引き続き模索していきます。

著者紹介/About the author

Yi Gu