Category: 未分類

遠隔操縦型水中ビークルを活用した水中作業の効率化に向けて

導入

情報科学領域ヒューマンロボティクス研究室助教の織田です．私は，屋外や自然環境で動作するロボットのための技術―フィールドロボティクス―に関する研究を行っている．現在は，水中ビークル，四足歩行ロボット，１人乗り用電動車椅子型ビークルといった実際のロボット/ビークルプラットフォームの自動化によって，リソース不足で困っている人や危険で負担の大きい作業に従事している人々の助けになりたいという想いで研究している．本稿では，水中ビークルに関する研究について紹介する．

１．社会的背景

湾港施設をはじめとする多様な水中構造物は劣化が激しく，定期的な検査を必要としている．現状は点検作業の多くを潜水士に頼っているが，水中での作業は潜水士にとって危険を伴うものであり，肉体的・精神的負荷が高い．

近年，ROV(Remotely Operated underwater Vehicle)と呼ばれる小型・軽量で遠隔操縦型の水中ビークルが市販されるようになった．比較的安価でありながら一定の拡張性を併せ持ち，様々な水中での作業に活用できる可能性があるため，潜水士の代替としても期待されている．我々が実際に研究で使用している機体を紹介する（図１，図２）．市販のROVをベースに特定の作業に対応できるように改造・拡張が施されているが，この程度であれば当時素人であった著者自身でもなんとかなった．ROVの特徴として，テザーケーブルと呼ばれる100ｍ～数100ｍ級の操縦者とROV間の通信用ケーブルが装備される．実際には，さらにグリッパやマニピュレータが装着される例も多い．ROVを活用することで，水中インフラの検査だけでなく，海底遺跡の調査や海洋資源の採取，生態系のモニタリング，さらには養殖管理に至るまで，学術的な探究にとどまらず社会課題の解決にも貢献が期待できる．

図１．BlueROV2 Heavyをベースにいくつかの改造が施された１号機の外観．水平方向に推力を得るためのスラスタが４機，垂直方向に推力を得るためのスラスタが４機装備されている．ROVの前方には操縦用のカメラと距離計測用のソナーセンサが左右に１機ずつ追加搭載されている．13kg程度の重さのため１人で持ち運ぶことが可能．
図２．２号機の耐圧容器周辺の様子．多数の機器・配線が耐圧容器内部にところ狭しと並んでいる．耐圧容器外部には深度（水深）を計測するための圧力センサも搭載されている．

２．水中ロボット/小型・軽量ROVの難しさ

潜水士に代わりROVを導入すれば問題が解決されるわけではない．効率的に作業を進めるには，ROV遠隔操縦の難しさを克服する必要がある．一般的な操縦時の難しさとして以下の２点挙げる．

  1. 操縦の複雑さ
    ROVは３次元空間での運動になるので，並進３自由度(x, y, z)と回転３自由度(roll, pitch, yaw)の合計６自由度を同時に制御する必要があり，操縦が非常に複雑である．その上で，操縦者の入力どおりにROVが動作するとは限らない．軽量・軽量の機体は外力・外乱の影響を受けやすく，機体の表面形状によっては水流（潮流，乱流を含む）の影響が大きく増大する．加えて，浮心と重心のずれに起因する復原力や，テザーケーブルからの張力もROVの運動に大きな影響を及ぼす．これらすべての外力・外乱の影響を操縦中に正確に把握することは不可能に近く，それらを打ち消すように操縦することもまた困難である．テザーケーブルに関しては、水中構造物との絡まり問題も頭の片隅に置いておく必要がある．
  2. 酔い
    特に船上からの操縦では，船酔い・操縦酔いと闘う必要がある．著者の印象・経験上ではあるが，グリッパで物体を掴むといった数センチ単位の操縦精度を要する作業や，濁った映像から特定の物体を探し出すように画面を注視する作業では，酔いの症状の進行が非常に早い（図３）．熟練操縦者であっても決して簡単な仕事ではない．

    上記の操縦時の難しさ・負担を軽減させるために，自動化技術を活用した支援策が議論されている．続いて，小型・軽量ROVの自動化技術活用に関連する難しさを４つの項目に分けて整理する．

  3. 自己位置推定問題
    一番の問題は，信頼できる自己位置推定手法が確立されていない．水中ではGNSS(Global Navigate Satellite System)が利用できない．IMU(Inertial Measurement Unit)やDVL(Doppler Velocity Log)を用いた手法は，一般的に位置・姿勢の推定値がドリフトする．大域的な位置・姿勢推定が現状困難であり，ROV自身が，自分がどこにいてどういう状態なのか正確に推定することが難しい．
  4. センサ種類・センサ数制限
    ROVに搭載できる環境計測用のセンサの選択肢が大きく制限される．水中では電磁波が著しく減衰するためである．近距離計測では光学的手法も利用されるが，主流はソナーセンサに代表される音響計測である．
    また，コスト上昇，機体の大型化につながるセンサ数の増加は望ましくない．小型・軽量ROVの運用上の手軽さという大きな利点を失うからである．各センサには視野角，計測可能レンジ，分解能，解像度といった制約がある中で，センサ数も制限される．さらにセンサ系は，水中の濁りの程度やROVの急な姿勢変化の影響も受けるため，設計段階でうまく制約を補っていたとしても，期待された性能を常に発揮するとは限らない．
  5. モデルの不確実性
    環境変化や機体改造によるモデルパラメータの変動，浮力調整のための浮力材・バラスト着脱による浮心・重心位置の微妙な移動，スラスタの経年劣化による推力バランスの乱れは，正確なモデル化・パラメータ同定が困難である．さらに，テザーケーブルの運動モデリングの表現力の向上も必要である（図４，図５からも分かるが捩れや巻き癖などかなり不規則）．
  6. 計算機の問題
    機体そのものが小さいため搭載できる計算機が低性能になる．図２で示したように，耐圧容器の体積の関係でRaspberry pi，Jetson nano程度の計算機となる．たとえ多数のセンサを装着することができても，それらを処理できる性能の計算機を載せることが難しい．

以上のように，本稿で取り上げられるだけでも，水中環境や機体に由来する，シミュレーションでは再現が難しい，あるいは無視されがちな実際的な問題や制約が存在することが分かるだろう．

図３．駿河湾での実験中，船室からの遠隔操縦の様子．ROVが海流の影響で揺れるため転送されてくる映像も不規則に揺れる．さらに，操縦者が搭乗している船そのものも揺れるため，船酔い・操縦酔いがかなり厳しい．

３．自動化

ここでは，センサ系が期待通りに機能する環境下での，制御精度そのものを向上させるための研究を紹介する．

１つ目が，対象物の前で位置・姿勢を維持し，対象物をカメラに捉え続ける定点保持と呼ばれるシナリオである．しかし，前述のように，モデル，パラメータは不確実性が大きく，外乱も予測できない．そこで，入力に関するあるクラスの不確定性にロバスト性を有する逆最適制御を実装した．そして，proving groundでの実験として，NAISTの情報科学領域棟の屋外に設置されているプール設備で実験を行った（図４）．静水中であれば前後・左右方向にそれぞれに目標点から誤差5ｃｍ以内，深度方向に10ｃｍ以内，角度誤差10deg以内で制御可能であることを確認した．この精度は，人間による遠隔操縦では達成が難しい精度である．

２つ目が，水流下での定点保持である．NAISTのプール設備は流水を発生させることが可能であり，学内でより実践的な検証が可能である（図５）．BlueROV2をベースにした機体では，一定方向からのわずかな水流でさえも制御性能を大きく低下させることが実験により分かった．現在，流水下でも制御精度を維持できるROVの新たな制御手法を研究中である．

最後に，和歌山県広川町の湾港で実験を行った経路追従制御を紹介する（図６）．これは，防波堤や船体に沿うように移動し，表面の検査を行うことを想定したシナリオである．図１に示したように，２個の１Dソナーセンサと深度（圧力）センサのみで，実環境で４自由度(x, y, z, yaw)の制御が可能である．湾港内の穏やかな海面状況ではあったが，テザー張力を受けながらも防波堤との間隔を目標値から誤差5ｃｍ以内，深度方向に誤差5ｃｍ以内，角度誤差10deg以内の精度を維持して，３分間程度壁に沿って自動航行できることを確認した．

現在は水中構造物の目視検査を想定したシナリオ設定・精度設定であるが，近い将来，物体把持等の環境との接触を伴う作業が可能な精度まで高めていきたい．

図４．NAISTプール設備での定点保持制御実験の様子（静水中）．検査対象の前で停止するように制御し，対象物をカメラに映し続ける．
図５．流水下での定点保持制御実験の様子．画像右から左へ向けて流水が発生している．NAIST内でより実践的な試験が可能．
図６．和歌山県広川町の湾港での実験の様子．経路追従制御を用いて検査対象の防波堤と一定間隔を維持しつつ防波堤に沿って移動する．海水で実験した後はすぐに真水で洗い流さないとスラスタが錆びついてしまう．

４．自動化技術を用いた操縦支援

理想的な環境下では，自動化によって前節で示した精度が得られる．しかし実際には，センサ系に大きな制約があり，自動化システムが機能する状況は限定的であるため，現時点での完全自動化は困難である．操縦負担の軽減や制御精度の向上を図るためには，自動化システムが機能する状況ではそれに任せ，機能しない状況で人間が介入・引き継ぐようなシステム設計が適切だと考えている．

　このような自動化システムと人間の引き継ぎを滑らかに実現する枠組みとして，Shared Controlがある．中でも我々は，HSC(Haptic Shared Control)に注目している．我々のHSCの適用例を示す（図７）． HSCにおいては，操縦者が手や腕を介して，ロボットの制御支援・意図・状態を触覚的に感じ取ることができる．したがって，ジョイスティックを単なる操作入力端末としてだけでなく，情報伝達の媒体としても扱うことが可能である．

我々は，これを人間が操縦を引き継ぐべきタイミングの伝達に応用した．具体的には，人間による介入が不要な状況では，ジョイスティックを人の力では動きにくく設定し，介入が必要な状況では動かしやすく設定した．これは，操縦者がセンサ系や自動化システムの挙動を深く理解していない場合でも，センサ系の限界を直感的に把握でき，適切なタイミングでの引き継ぎを可能とすることを目的としている．また，人間とシステムが制御入力端末を共有するHSCでは，人間が意図せず制御精度を損ねたり，自動化システムの動作を妨げたりするリスクがある．自動化システムが機能している間，入力端末そのものを人間の力では動かしにくくし，人間に邪魔をさせないという設計意図も含まれる．２０名の実験参加者による評価をNAISTプール施設で行った．本稿の読者の中にも，ROV操縦の難しさを体験した人が含まれているでしょう．

図７．Haptic Shared Controlの枠組みを活用した操縦支援手法の実験の様子．ジョイスティックは，自動化システムによって計算された制御入力を反映するように自ら動作する（右写真）．そのジョイスティックに対し，操縦者も力を加えることで，両者の入力が統合され，最終的なジョイスティックの位置（角度）が定まり，それがROVへの制御入力となる．操縦者は，自動化システムの操縦意図に同意する場合，手を添えておくだけでよい（左写真）．

５．研究に対するアプローチ

私の研究チームでは，実際のものに触れ，可能な限り実践的な環境で実験することを意識している．１つの要素技術だけでなく，我々が向き合っている課題全体を俯瞰的に見るためである．これにより，自身の研究が最終的なアプリケーション，目的に対してどれほど貢献できるかの評価，および実際のプラットフォーム，実環境でしか見つけられない問題の発見につながる．実環境で起こる現象を見て・体感して，どんな問題があり，何を解くべきか目的から逆算して考える．これはまだAIには難しいと思っている．

一方で，便利なシミュレータが登場し，人がそちらへ流れている．ただし，シミュレーションは実世界すべてを表現できないのは先述の通りで，特に水中ロボティクスでは，使用するシミュレータと実環境の一致性に言及する必要があるだろう．シミュレータ上で得られた進展が実世界での進展としてどの程度に相当するのか，実世界での問題解決にどれほど近づいたかしっかり議論する必要があるだろう．私たちの目的は常に実世界にあるからだ．また，シミュレーションは，MCP(Model Context Protocol)の発展などにより，近い将来すべてAIでできてしまう可能性が高いだろう．

最後に少しROVの話に戻ると，市販の小型・軽量ROVは，多くの制約の中での運用となるので，１つの機体に多くの機能は搭載せず，１機体１機能のような考え方が現実的ではないかと思う．また，現存の環境にそのままROVを導入しようとすると難しい局面も多く，ROVの活用を前提として，環境にも手を加えていく必要があるのではと考えている．

著者紹介

織田 泰彰

立命館大学大学院　博士（工学）．２０２２年４月より奈良先端科学技術大学院大学　先端科学技術研究科　情報科学領域　助教．学生時代は，消防隊員を自動追従し資機材運搬の支援を行う半自律クローラ型移動ロボットに関する研究に従事．専門はフィールドロボティクス．非線形制御理論，ロボットビジョン，それらの実機・実践的環境での応用を主軸として，現在はHuman-Automation collaborationの研究にも従事．イングランドのフットボールクラブLiverpool FCのファン．
Webサイト：https://researchmap.jp/yskorita

2D X線画像から 3D 筋骨格構造の体積・密度を予測するための生成 AI / Generative AI for prediction of 3D musculoskeletal structure volume and density from 2D X-ray images

1. Introduction 序章

Generative Artificial Intelligence (AI) has recently offered unprecedented capabilities in synthesizing content that resembles human creativity in various art and language fields. One of the most promising realms where generative AI showcases immense potential is medicine. By harnessing the power of generative AI algorithms, such as generative adversarial networks, healthcare professionals and researchers are empowered to revolutionize various facets of medical practice including diagnostics and personalized treatment strategies. In my work, I leverage the potential of generative AI in medical image analysis to improve the diagnosis of osteoporosis, sarcopenia, and the analysis of the musculoskeletal system. Our work in the Imaging-based Computational Biomedicine (ICB) lab in collaboration with orthopedic surgeons from Osaka University and Ehime University focused on the automated diagnosis of osteoporosis in hip joint patients by automatically measuring the bone mineral density (BMD) with high accuracy. BMD measurement is an important factor in predicting the risk of hip fracture, particularly, fractures at the base of the femur, which is a common incidence in aged societies that has detrimental effects on the patient’s quality of life. In addition, a system for predicting the composition of MSK structures from X-ray images for diagnosis of sarcopenia is under development. In this article, I briefly describe the concepts of both systems, summarize the current results and the future directions.

生成人工知能 (AI) は近年、さまざまな芸術や言語処理の分野で人間の創造性に似たコンテンツを合成する画期的な機能を生み出しています。 生成 AI が最も有望な分野の 1 つは医療です。 敵対的生成ネットワーク（＝Generative Adversarial Network）などの生成 AI アルゴリズムの力を活用することで、医師や研究者は、診断や個別化された治療戦略など、医療行為のさまざまな側面で変革が起きています。 私の研究では、医療画像処理に生成 AIを活用して、骨粗鬆症やサルコペニアを含む、筋骨格系の解析を行っています。奈良先端大の生体医用画像（Imaging-based Computational Biomedicine, ICB）研究室では、 大阪大学および愛媛大学の整形外科医と共同研究で単純X線画像のみから骨密度（Bone Mineral Density, BMD）を高精度で自動的に測定することで、骨粗鬆症の診断を行うシステムを開発しました。 BMD 測定は、特に大腿骨頸部・転子部骨折のリスクを予測する上で重要な要素です。大腿骨の骨折は高齢者で頻繁に発生し、患者の生活の質を低下します。 さらに、サルコペニアの診断のためにX線画像から個別の筋骨格構造の組成（体積と密度）を予測するシステムの開発も進めています。 この記事では、骨密度予測及び筋肉量予測の両方のシステムのコンセプトを簡単に説明し、現在の結果と将来の方向性を展望します。

Fig. 1: Workflow of the proposed system for automated diagnosis of osteoporosis from X-ray images
X線画像からの骨粗鬆症自動診断システム

2. Automated estimation of bone mineral density (BMD) for diagnosis of osteoporosis 
骨粗鬆症の診断のための骨塩密度 (BMD) の自動測定

Traditionally, osteoporosis diagnosis is performed using a specialized BMD measurement device called DXA (Dual-energy X-ray Absorptiometry), which requires relatively large space and could only be performed at large university hospitals and medical facilities, thus having limited accessibility for patients in rural or low-income regions. Additionally, it takes 20 to 30 minutes to take measurements for one patient, as it requires lying in bed in a specific posture to take the image.

従来、骨粗鬆症の診断はDXA（二重X線エネルギー吸収法）と呼ばれる特殊な骨密度測定装置を使用して行われていましたが、この装置は比較的大きな設置スペースが必要なため大学病院や大きめの医療施設でしか実施できず、地方や低所得地域の患者にとってはアクセスが限られていました。 また、ベッドに寝て特定の姿勢で撮影する必要があるため、患者1人当たりの測定には20～30分程度かかります。

Our developed system uses AI to automatically recognize the bone region from CT images, based on paired data of X-ray images (2D images) and CT images (3D images) collected from 315 patients (Fig. 1). We combined this technology with a technique that displays images from CT and X-rays superimposed on each other. Using this method, we have built an AI system that can measure BMD using only X-ray images with almost the same accuracy as DXA or CT-based measurements (Fig. 2). Unlike DXA, X-ray images can be taken in small clinics or mobile examination vehicles, and can be taken while standing, so measurements for one patient can be completed in 1 to 2 minutes. Due to its high measurement accuracy, it can be used not only for screening but also for diagnosis of osteoporosis, as well as for determining the effectiveness of drug treatment for osteoporosis, leading to significantly reduced costs compared to DXA or CT examinations.

今回開発したシステムは、患者315名から収集したX線画像（2D画像）とCT画像（3D画像）のペアデータをもとに構築しました。CT画像からAIにより骨領域を自動認識するシステム（図1）とCT画像とX線画像を位置合わせして重ね合わせて表示する技術、を組み合わせました。 この手法により、X線画像のみでDXAやCTによる測定とほぼ同等の精度でBMDを測定できるAIシステムを構築しました（図2）。 DXAと異なり、X線画像は小規模診療所や移動検査車で撮影でき、立ったまま撮影できるため、患者1人当たりの測定は1～2分で完了します。 測定精度が高いため、スクリーニングだけでなく、骨粗鬆症の診断や骨粗鬆症の薬物治療の効果判定にも利用でき、DXA検査やCT検査に比べて大幅なコスト削減につながります。

This work has been published in 2023 in Medical Image Analysis, one of the most prestigious international journals in medical image engineering, with an Impact Factor of 10.9. In addition, this system has been accepted for deployment by the Japan Agency for Medical Research and Development (AMED), and we are currently working on its commercialization.

この成果は、医用画像工学で最も権威のある国際ジャーナルの 1 つである Medical Image Analysis（インパクトファクター： 10.9 ） に 2023 年に発表されました。 なお、本システムは国立研究開発法人日本医療研究開発機構（AMED）の製品化支援のための事業に採択され、現在実用化に向けて取り組んでいます。

Fig. 2: Representative results of the proposed system. The predicted images (DRRs) could help measure the BMD with almost the same accuracy as DXA and QCT-based measurements.
提案システムの代表的な結果。 予測画像 (DRR) は、DXA および QCT ベースの測定とほぼ同じ精度で BMD を測定するのに役立ちます。

3. Prediction of MSK tissue composition from X-ray images
X線画像からの筋骨格組織組成の予測

Figure 3 shows the overall concept of the proposed framework for MSK decomposition of X-ray images. Using an AI model, similar to the bone density prediction introduced above, it is now possible to decompose X-ray images of bones, muscles, and other organs into projected images of each organ. By obtaining the isolated images of bone parts, the bone density can be measured. In order to train the AI model, training data, including the X-ray images with the corresponding bone segments, are needed. We collected the CT images and the X-ray images from 315 patients and used our previously developed tools for the automatic segmentation (i.e., extraction) of the proximal femur from CT images and aligning the CT and X-ray images to obtain the image pairs required for training.

図 3 は、X 線画像からの 筋骨格の分解のために提案されたフレームワークの全体的なコンセプトを示しています。 上記で紹介した骨密度予測と同様に、AIモデルを活用することで、骨や筋肉などのX線画像を臓器ごとの投影画像に分解することが可能になります。 骨部分の分離画像を取得することで、骨密度を測定することができます。 AI モデルを学習させるには、対応する骨領域を含む X 線画像とCTの学習 データが必要です。 我々は315 人の患者から CT 画像と X 線画像を収集し、以前に開発したツールを使用して CT 画像から大腿骨近位部を自動セグメンテーション (領域抽出) し、CT 画像と X 線画像を位置合わせして、モデルの学習に必要となる画像ペアのデータセットを構築しました。

Fig. 3: Concept of the proposed method for decomposition of X-ray images into MSK structures for bone and muscle density measurements
骨と筋肉の密度測定のために X 線画像を MSK 構造に分解するための提案手法のコンセプト

Figure 4 shows an example for the predictions by the developed decomposition system of a female of 81 years old and a body mass index (BMI) of 20.86 of 2 muscles (gluteus maximus and gluteus medius) and two bones (pelvis and femur). The values in blue are the predicted measurements, whereas those in green correspond with the errors compared with QCT-based measurements. SSIM indicated the similarity with the original images derived from the QCT images, with SSIM=1 indicates highest similarity. The results show that the system could accurately decompose the MSK structures into the constituent parts and estimate the bone/muscle densities.  

図 4 は、2 つの筋肉 (大殿筋と中殿筋) と 2 つの骨 (骨盤と大腿骨) の体格指数 (BMI) が 20.86 の 81 歳の女性において、開発されたシステムでＸ線画像から筋骨格を分離した結果の例を示しています。 青色の値は予測された測定値であり、緑色の値は 正解値（QCTから計測した値）と比較した誤差に対応します。 SSIM は QCT 画像から得られた正解画像との類似性を示し、SSIM=1 は最も高い類似性を示します。この結果は、本システムが 筋骨格構造を構成部分に正確に分解し、骨・筋肉の密度を推定できることを示しています。

Fig. 4: Representative result for the decomposition of X-ray images into MSK structures for bone and muscle density measurements 骨と筋肉の密度測定のための X 線画像の 筋骨格構造への分解の代表的な結果

4. Future Works

The developed systems could achieve high accuracy in the estimation of bone mineral density and bone/muscle decomposition for density estimation from Xray images. The results show potential for introducing the developed systems into clinical applications. These will hold promises for improving the diagnosis of MSK diseases, such as osteoporosis and sarcopenia, for wider populations with reduced costs and risks of ionizing radiation, especially in less developed areas. One potential application is the early prediction of bone fractures or fall risks, that highly diminish the mobility of elderly patients.  In my research, I will continue to explore new avenues for harnessing AI for the improvement of medical procedures and patient’s quality-of-life.

今回開発したシステムは、X線画像からの骨密度推定および筋肉の体積・密度の推定において高い精度を達成することができました。 この結果は、本システムの臨床応用の可能性を示唆しています。本システムにより骨密度測定のコストと放射線被ばくのリスクを軽減することで、より多くの人々が骨粗鬆症やサルコペニアなどの筋骨格疾患のモニタリングを行える環境を整備できると考えています。本システムの将来展望の一つとして、高齢患者の可動性を著しく低下させる骨折や転倒のリスクを早期に予測するアルゴリズムの開発が考えられます。 私の研究では、医療と患者の生活の質を向上させるために AI を活用する新たな道を引き続き模索していきます。

著者紹介/About the author

Yi Gu

生体医用画像研究室にて博士前期課程修了。現在、同研究室のダブルディグリー（フランス・Université Paris-Saclay）博士後期課程2年生。

I obtained my Master’s degree from the Imaging-based Computational Biomedicine lab. I’m currently pursuing my PhD degree in a double degree program (with Université Paris-Saclay, France) at the same lab.

ロボットを活用したコンビニエンスストアの未来に向けて/Toward a future of convenience stores built with robots

立命館大学創発システム研究室の准教授ガルシア・グスタボです。2021年3月末に閉室となったロボティクス研究室（教授：小笠原司副学長）のOBで元スタッフでもあります。数年前からは「NAIST-RITS-Panasonic」のキャプテンも務めています。このチームは、ロボットで現実世界の問題を解決したいという情熱ある研究者・技術者たちで結成され、以下の国際ロボット競技会「Airbus Shopfloor Challenge 2016、Amazon Robotics Challenge 2017、WRS Future Convenience Store Challenge 2018-2022」に積極的に参加しています。

I am Gustavo Garcia, Associate Professor at the Emergent Systems Lab of Ritsumeikan University and an alumnus and former staff of the ci-devant Robotics Lab (NAIST), led by the now retired Prof. Ogasawara. Since a few years back, I am also the captain of team NAIST-RITS-Panasonic, a collective of researchers and engineers driven by the passion for solving real-world problems with robots, and an avid participant in international robotics competitions (Airbus Shopfloor Challenge 2016, Amazon Robotics Challenge 2017, WRS Future Convenience Store Challenge 2018-2022).

今回は、私のチームが提案するロボットを活用した未来のコンビニエンスストアを紹介します。未来と言ってもそう遠くないことを願っていますが、私たちが構想しているコンビニエンスストアではお察し通り、ロボットの店員がいます。そこでは、人間とロボットが自然で、直感的で、円滑なやりとりをしています。ロボットは店舗スタッフの面倒な仕事を助け、客はロボットが作業している間でも自由に欲しい商品を選ぶことができます。これらの技術は、2021年に開催された「Future Convenience Store Challenge（FCSC）2020」で評価され、「商品陳列・廃棄タスク」と「トイレ清掃タスク」で1位を獲得し、総合優勝を飾りました。また、2022年には国際会議IROS2022で「Future Convenience Store Challenge 競技(WRS FCSC Trial Competition@IROS2022)」が開催され、「陳列・廃棄タスク」部門での1位を獲得し、2019 年、2020(2021)年に続き連覇を果たしました。

This time, I would like to introduce the robotics technologies that my team has proposed for building the convenience stores of the (hopefully not that far) future, a future with –yes, you guessed well– some robotic employees. In the envisioned convenience stores, humans and robots interact naturally, intuitively, and harmoniously. Robots help staff with tedious –even unpleasant– tasks, while customers can freely pick the desired products even during the robot operation. We benchmarked these technologies at the Future Convenience Store Challenge (FCSC) 2020 (held in 2021), where we obtained the two 1st places in the Restock/Disposal task and the Restroom Cleaning task, as well as the Overall Winner Prize. In 2022, the Future Convenience Store Challenge (WRS FCSC Trial Competition@IROS2022) was held at the international conference IROS 2022, and we won the first place in the Restock/Disposal task. This is the third time our team has won in this task, following first place in 2019 and 2020 (2021).

チーム紹介/The team

「NAIST-RITS-Panasonic」は、NAIST、立命館大学、パナソニックホールディングス株式会社Robotics Hubのメンバーで構成されています。これまで6代にわたり、多くの研究者や学生、エンジニアが自身のスキルを活かし、熱い思いをもって、数多くのロボット製作に貢献してきました。私たちが製作したロボットは様々な国際ロボット競技会で評価されています。

The NAIST-RITS-Panasonic is formed by NAIST, Ritsumeikan University, and the Robotics Hub of Panasonic Corporation. During the six generations of the team, numerous researchers, students, and engineers have contributed with their talent, dedication, and passion to the creation of numerous robots benchmarked at various international robotics competitions.

チャレンジの様子/The challenge

2017年、経済産業省と国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）は、ロボット技術に関する国際イベントWorld Robot Summit（WRS）の日本開催を決定しました。WRSは、ロボット活用の現在と未来の姿を発信する展示会（WRE）と世界中から集結したチームがロボット技術やアイデアを競う競技会（以下WRC）とで構成されています。WRCのサービス部門では、高齢化で労働力が損なわれているような店舗にイノベーションを起こすきっかけとして、「Future Convenience Store Challenge（以下FCSC）」がスタートしました。

競技の課題は以下の3つのタスクです。

In 2017, METI and NEDO decided to organize an international event about robotic technology called World Robot Summit, with an exhibition track (WRE) and a competition track (WRC), in Japan. Within WRC, in the Service category, the Future Convenience Store Challenge (FCSC) arose as an opportunity to foster innovation and channel it to the ubiquitous stores, whose workforce is compromised by societal aging. The challenge consisted of the following three tasks:

  • 陳列タスク/Restock and Disposal Task

“心は目に従う”といわれます。コンビニエンスストアでは、商品を美しく並べることが、店内を見て回る客へのアピールになります。その一方で、常に鮮度の高い商品を陳列することがリピーターの獲得につながります。この「美しい陳列」と「鮮度管理」は、コンビニエンスストアのスタッフが抱える課題です。というのも、店内を見て回っていた客が意図せずに商品を棚に戻して入れ替えする可能性があったり、賞味期限切れの商品を棚から取り除く必要があったりするからです。店内ではこういったことが日々起きています。

They say that “the heart follows the eyes.” In convenience stores, products arranged in an esthetic fashion are more appealing to browsing customers. On the other hand, finding fresh products always translates into recurring customers. These are two challenges faced by convenience stores’ staff because browsing customers can unintendedly leave put-back products disarranged, and expired products must be removed from the shelves… and this happens every single day.

そこで私たちは、棚にある商品を自律的に整頓し、賞味期限切れの商品を取り除き、新しい商品を補充するロボットシステムを構築しました。ロボットは、アームの付いた可動式のベースと、特注のロボットハンドで構成されています。ロボットはカメラで商品を見て、どのような行動を取るべきかを判断し、起こりうるエラーと復旧策を常に検討します。客がロボットに近づくと、ロボットは動作を停止して後退し、客に商品を選択できるようにします。そして客が立ち去ると、ロボットは人間のスタッフと同様に作業を続けます。

We have built robotic systems to autonomously straighten products on shelves, remove expired products, and restock the shelves with new products. The robot consists of a mobile base with an arm and a custom-made robot hand. The robot uses a camera to look at the products and decide what action to take, always considering the possible errors and the strategies to recover from them. When a customer is close to the robot, the robot halts the operation and retreats to allow the customer to pick the products. Once the customer leaves, the robot continues the task, as a human staff would do.

  • トイレ掃除タスク/Restroom Cleaning Task

トイレ掃除が好きな人はいるでしょうか？もしかしたらいるかもしれませんが、好きだという人以外は、コンビニのレジ仕事の方が良いかもしれません。とはいえ、掃除は日常的に必要な仕事です。

Is there anyone who loves to clean restrooms? Maybe, but for the rest of us, we rather are at the cashier in a convenience store. However, cleaning is a needed, everyday task.

そこで、液体を拭き取り、紙片を吸引し、空のトイレットペーパーの芯や使い捨てのコーヒーカップを自律的に掃除するロボットを作りました。液体が入っている場合は、中の液体をこぼすことなく作業ができます。このロボットは、アーム付きの移動ベースと、特注の3つのロボットハンドで構成されています。ロボットはディープラーニングとカメラの画像からゴミの種類を検出し、最適な道具を選択します。客がトイレを利用したい場合、ロボットは道具を残すことなくトイレから離れます。そして客が立ち去ると、ロボットは清掃を継続します。

We have built a robot that can autonomously clean a restroom by wiping liquids, vacuuming pieces of paper, and removing empty paper rolls and even disposable coffee cups (without dripping the liquid inside!). The robot consists of a mobile base with an arm and three custom-made robot hands. The robot detects the type of garbage using deep learning and images from a camera and selects the most suitable tool. When a customer wants to use the facilities, the robot retreats from the restroom without leaving any tools behind. Once the customer leaves, the robot continues cleaning.

  • 接客タスク/Customer Interaction Task

ニューノーマルが叫ばれる昨今、ロボットによる遠隔操作への期待が高まっています。スタッフと客、客と商品を非接触で橋渡しすることで、ニューノーマルという制約の下でもロボットは重要な役割を果たすことができるのです。 私たちは、店内を案内したり、最新の商品を紹介したり、自然な言葉で対話できるロボットを提案しています。また、アプリで選んだ商品をロボットが遠隔で取り、入口で客が受け取れるようにしました。そして、伝染病対策として広く利用されているアクリル壁越しでも、レーザーマイクを通してスタッフが客の声を聞き取れるようにしました。複合現実感のあるゴーグルを使用することで、スタッフはロボットの状態を観察でき、直感的に素早く情報を共有することができます。さらに、ドラッグ＆ドロップ操作により、プログラミングやロボットの知識がなくても、ロボットの動作をつくったり、カスタマイズしたりできます。こうして究極のコンビニエンスストア体験が実現します。

As the new normal governs in recent years, the potential of robotic distancing seems promising. By bridging staff and customers in a contactless manner, as well as customers and products, robots can play a key role for happiness even under the new-normal restrictions.

We have proposed robots that can usher customers around the store, show them the latest products, and interact with natural language. We have enabled customers to have robots pick up the products selected through an app remotely and receive them at the entrance. Through laser microphones, staff can hear customers behind an acrylic wall, a widely used contagion countermeasure. With mixed reality googles, the staff can monitor the robot’s status and quickly, intuitively share information. Finally, with a drag-and-drop interface, staff without any programming or robotics knowledge can create and customize the robot’s behavior to realize the ultimate convenience store experience.

今後の展開/Future work

私たちのチームはFCSCでロボットをベンチマークし、その過程で複数の優勝を獲得しましたが、自らのビジョンを実現するための追求は、まだまだ続いています。今後は、未知の環境、未知の商品であっても、パッケージやフィデューシャルマーカー（物の位置や向き・大きさを測定するためのマーカー）のない商品を操作し、自然な形で客と対話し、自律的にタスクを計画するプロジェクトを進めていく予定です。

The team has benchmarked the robots at the FCSC, winning multiple first places in the process, but our pursuit of realizing our vision continues. Next, we will further our research project to manipulate products without any packages and fiducial markers (to identify the location, direction, and scale of packages), interact with customers in a natural way, and plan the task autonomously, even in unknown environments and with unknown products.

AIという光が差し込むとともに、スマートでインタラクティブなロボットが活躍するコンビニエンスストアの未来はかつてないほど明るくなっています。

With the luminescence of AI, the future of convenience stores with smart and interactive robots working for happiness has never looked brighter.

著者紹介/About the author

Gustavo Garcia

2013年に奈良先端科学技術大学院大学（NAIST）にて博士前期課程を修了。2016年に同大学にて博士後期課程を修了。博士（工学）。現在、立命館大学創発システム研究室の准教授、NAISTヒューマンロボティクス研究室の客員准教授、パナソニックホールディングス株式会社Robotics Hubのロボティクスコンペティション研究の顧問を務める。大学や企業で研究に従事するかたわら、数多くの研究プロジェクトや国際的なロボット競技会でチームの指揮をとる。専門は、人間にとって安全で効率的なロボット制御、人間とロボットのインタラクション、モバイルマニピュレーション、タスクプランニングなど。

Gustavo Garcia received his MEng and Ph.D. degrees from the Nara Institute of Science and Technology (NAIST), Japan, in 2013 and 2016, respectively. He is currently an Associate Professor in the Emergent Systems Laboratory at Ritsumeikan University and a Research Advisor for Robotics Competitions at the Robotics Hub of Panasonic Corporation. He leads numerous research projects and teams in international robotics competitions. His interests include human-safe and efficient robot control, human-robot interaction, mobile manipulation, and task planning.

脳の情報処理機構に基づいて、人間の行動原理を探求｜計算行動神経科学研究室

計算行動神経科学研究室・特任准教授の田中沙織です。2022年4月からスタートした本研究室では、人間を理解するために、脳の情報処理機構に基づく行動モデルの構築と、実験的手法やデータ駆動的手法による検証によって、人間行動の原理探求を目指しています。詳しい研究内容については、ウェブサイトや研究内容の紹介動画などもご覧ください。

計算行動神経科学研究室Webサイト：

https://xsaori.github.io

日本神経科学学会による市民公開講座シリーズ「脳科学の達人」Youtubeチャンネル：https://www.youtube.com/watch?v=HFonDMjcGp4

本研究室の研究テーマの一つに、人の行動を数理モデルによって記述するという取り組みがあります。例えば、その人の行動を説明できる数理モデルのパラメータなどの特徴と、脳や心理指標といった観測可能な個人特性の間の関係を明らかにすることで、脳やこころの状態を定量的に評価することが可能になります。

今回は、精神疾患の一つである強迫症の数理モデル構築と臨床データでの検証に関する研究を紹介します。

計算論的精神医学（computational psychiatry）

行動や脳の神経活動の背景にある仕組みを数理モデルによって明らかにしようとする研究方法は、「計算論的アプローチ」と呼ばれます。このアプローチでは、私たちが何かを知覚し行動する際に脳が行っている脳神経の信号処理を、ある種の「計算」と捉えて、そのプロセスの計算論モデルを作成します。近年、精神疾患を対象として、この計算論的アプローチを用いることで、検査データなど客観的な指標だけではわからない疾患の仕組みを理解しようとする「計算論的精神医学（computational psychiatry）」が注目を集めています。私たちは、この計算論的アプローチを用いることで、強迫症（強迫性障害）の症状・治療のメカニズム解明を目指しました。

強迫症：不安を伴う繰り返し行動

強迫症は、生涯有病率約2%とよくみられる精神疾患で、強迫観念と強迫行為によって特徴づけられます。強迫観念は繰り返される持続的な思考で、強い不安を伴います。強迫行為は強迫観念によって起こった不安を一時的に軽減するための過剰な繰り返し行動です。代表的な症状としては、「鍵がしっかり閉まっていないことでなにか起こるのではないかと不安に思い（強迫観念）、何回もドアノブを確認する（強迫行為）」などが知られています。治療法として、不安に立ち向かい強迫行為をしないことを練習する行動療法と、抗うつ薬としても知られている「セロトニン再取り込み阻害薬(serotonin reuptake inhibitor: SRI)」による薬物療法があり、これらは治療ガイドラインで第一選択の治療法とされています。しかし、強迫観念と強迫行為が悪循環する強迫症状がなぜ生じてくるのか、行動療法やSRIの投与がどのようにして治療効果を発揮しているのかのメカニズムはよく分かっていませんでした。

強迫症の数理モデル：強迫症状を生み出す強化学習パラメータの同定

そこで、私たちはこのメカニズムを解明するために、なぜ強迫症患者の脳がこの悪循環を「学習」してしまうのかについて、計算論モデルを使って調べました。私たちは、脳が行なっているとされる学習の一つである「強化学習」に着目し、計算論モデルを作成しました。ある個人がどのような行動を身につけやすいかといった特性を表す学習パラメータを、パソコンで実施可能な、簡単な選択課題で計測することができます（下図）。

様々な学習パラメータの組み合わせを用いたコンピューター・シミュレーションや理論的解析を行った結果、どれぐらい過去の行動まで学習に関連付けるかを調整する学習パラメータについて、現在の結果が予想より悪かった場合のパラメータ（ν-）が、予想より良かった場合のパラメータ（ν+）よりも極端に小さい（“アンバランス”、下図の右下の領域）場合、強迫症状（強迫観念と強迫行為の繰り返し）がいつのまにか学習されてしまうことを見い出しました。さらに、この学習してしまった強迫症状は、「強迫観念があっても強迫行為をしない」といった行動療法を行うことによって改善できることも、シミュレーションで見い出すことができました。

実験的手法による検証

次に、計算論モデルから予測された学習パラメータの性質が、実際の強迫症患者において観察されるのかどうかを検証しました。強迫症患者と健常者において選択課題のデータ収集を行い、個々人の学習パラメータを推定したところ、計算論モデルから予測された通り、強迫症患者は健常者と比較してアンバランスな学習パラメータを示すことが分かりました（下図）。

また、これまで治療薬であるSRIがどのようにして強迫症への治療効果を発揮しているのかは解明されていませんでした。そこで、SRIの投与量と学習パラメータのアンバランスさの関係性を調べたところ、治療薬であるSRIの投与量を増やすほど、アンバランスを解消できていることが分かりました。つまり、行動レベルのメカニズムとしては、学習パラメータのアンバランスを解消することによって、治療効果を発揮しているというメカニズムが示唆されました。

臨床的な意義：治療最適化へ

これらの成果は、強迫症状やその治療の根本的なメカニズムの理解において、大きな進展と言えます。臨床的なエビデンスとして、一部の強迫症患者は行動療法での治療がうまくいかないこと（治療抵抗性）が知られています。私たちの研究では、学習パラメータを計測・推定して、より極端なアンバランスが存在する場合、行動療法のみでは治療ができないということも、理論的に導き出すことができました。現状の臨床では、強迫症を治療する際にどの治療法が効果を発揮するかを事前に予測することはできません。今後、私たちの計算論的アプローチを適用し、治療前に学習パラメータを評価することで、行動療法のみでの治療が可能かどうかといった、治療の最適化ができる可能性があります。

研究の広がり：疾患から人間全体へ

また今回の研究において得られた興味深い結果として、健常群にもパラメータのばらつきが観測されたという点があります。健常者でもアンバランスなパラメータのクラスタと、バランスが取れたパラメータのクラスタでは、異なる個人特性を持つことがわかりました。このことから、私たちの研究アプローチにより、疾患患者のみならず、人間全体における個人特性のばらつきとその脳機構を検証することができると期待しています。

そこで最近では、思春期の行動の数理モデル構築と大規模コホートデータでの検証、また日常生活における行動特性と学習パラメータの関係を調べています。

今回紹介した強迫症の数理モデルの研究は、NAISTのプレスリリースでも紹介されていますので、興味のある方はぜひこちらもチェックしてみてください。

http://www.naist.jp/pressrelease/2022/08/009227.html

著者紹介

田中　沙織（たなか　さおり）

博士（理学）。2001年大阪大学理学部物理学科卒、2006年奈良先端科学技術大学院大学情報科学科博士課程修了。 同年カリフォルニア工科大学客員研究員、2007年 (株)国際電気通信基礎技術研究所 (ATR) 脳情報研究所連携研究員、2009年大阪大学社会経済研究所特任准教授、2012年同研究所准教授を経て、2015年よりATR脳情報通信総合研究所・数理知能研究室・室長 (https://bicr.atr.jp/ncd/)。2022年より奈良先端科学技術大学院大学・特任准教授（兼任）。2005年日本神経回路学会論文賞・研究賞・奨励賞、 2008年中山科学振興財団中山賞奨励賞受賞。2018年日本行動経済学会 第1回行動経済学会ヤフー株式会社コマースカンパニー金融統括本部優秀論文賞、2019年神経回路学会優秀研究賞受賞。意思決定の数理モデルと実験的手法を組み合わせた研究アプローチにより、人間の行動原理の探究を続けている。犬が好き。
Webサイト：https://researchmap.jp/xsaori

感情を持つロボットを目指して｜数理情報学研究室

数理情報学研究室の助教の日永田智絵です。数理情報学研究室では、生体やそのインタラクションをシステムとしてとらえ、数理モデルを通してその基本原理を解明し応用する研究をしています。これは、計算学（機械学習）、理学（生命数理）、工学（信号処理）を広くカバーする境界領域研究です。

その研究室の中で私は感情を持つロボットの開発に取り組んでいます。これは感情を実装することを通して、感情のメカニズムを解明するという構成論的アプローチでもあります。本記事では、私の取り組みについて紹介します。

感情とは何なのか？

感情は自身の中にあるモノなのに、何かと言われると説明しがたいものです。実際研究においてもその定義は様々です。私は神経科学者のアントニオ・ダマシオの定義に従い、刺激に対して起こる身体反応を情動、それを認知したものを感情とする定義を用いています。この定義にもあるように、身体は感情においてコア的な重要な役割を持っていると考えられています。近年では、5感などの身体の外からの情報である外受容感覚と内臓などの身体内部からの情報である内受容感覚が統合されることによって感情が作り出されるという考えが有力視されています。

また、感情において重要な側面としては、学習と個体差です。例えば、ブリッジスは幼児は興奮を持って生まれ、そこから徐々に感情を分化させていくという感情分化を提案しています。さらに、リサ・フェルドマン・バレットが感情に指紋はないというように、何かの感情を特定できるような決まった反応はないのだという考えも広まってきています。文化差に関係なく共通であるとしたエクマンの基本6感情はいくつかの反証がなされ、文化差があることが主張されています。このように、感情の学習は、文化を初めとした、様々な環境いわゆる学習データに依存して行われると考えられ、決まった正解のようなモノが存在するわけではないと考えられます。

感情モデル開発

　前述したように、感情は徐々に文化し、学習されるものだと考えられます。その考えのもと、私はこれまでの研究の中でDeep Emotionという感情モデルを開発しました。この感情モデルでは前述した感情分化をシミュレーションすることを目的としています。モデルは既存の概念的な感情モデルから構築されています。外受容感覚と内受容感覚を統合し、行動を出力するモデルとなっています。具体的には外受容感覚として画像を入力として、行動として表情を出力するモデルとなっていて、自身の身体の一定化を報酬として、最適行動を学習していきます。自身の身体を一定化する働きは人間にも備わっており、ホメオスタシスと呼ばれています。モデルは各モジュールを深層学習モデルで実装しています。詳しくは論文を参照してください。本モデルで感情分化のシミュレーションを行った結果、喜び・怒り・悲しみ・ニュートラルの4つが徐々に分化していく様子が観測されました。これはブリッジスの主張する感情分化の快がわかれ、不快が細分化する様子と同様のものでした。本研究はまだ発展途上ですので、今後様々な方向から改善していきます。

モデル概要

今後の展開

現在、プロジェクトとしてはJST ACT-X AI活用で挑む学問の革新と創成にて「感情を持つロボットの開発に向けた情動反応モデルの構築」やJSPS 学術変革領域研究(B)にて「ロボットの嫉妬：嫉妬生成モジュールを用いた統合モデルの構築」などに取り組んでいます。前者はより身体に注目して、人の生体信号を計測し、そのモデル化を実施するプロジェクトです。これによって、ロボットにはない内臓の感覚についての情報を得ることができ、より人に近い感情構造を持つロボットの開発に寄与できます。後者は感情の中でも他者や文化など高次な情報が必要といわれる社会的感情に着目し、マウスやサルの研究者の方とコラボレーションしながら、社会的感情の中でも嫉妬のメカニズムの解明を目指す研究です。私一人の手でできることはほんの少しですが、色々な方とコラボレーションしながら、より広がりをもった研究を実施したいと思っています。

著者紹介

日永田智絵（ひえいだ ちえ）

電気通信大学大学院　博士（工学）。日本学術振興会特別研究員（ＤＣ1）、大阪大学先導的学際研究機構附属共生知能システム研究センター　特任研究員を経て、2020年より奈良先端科学技術大学院大学　先端科学技術研究科情報科学領域　助教。感情発達ロボティクスの研究に従事。

Webサイト：https://www.hieida.com/