研究内容Research

モーションキャプチャを用いた熟練技能者の動作の可視化
- 塗装技能工、左官工を対象として

 モーションキャプチャは、人やモノの3次元空間内の動きを数値データで測定するものです。人材不足が喫緊の課題となっている建設・土木分野での熟練者の動作を分かりやすく可視化すると同時に、客観的に分析することで、若年技能工がゲーム感覚で熟練者の技を学べるコンテンツや、作業の自動化のためのロボットやアシスト装置への展開を図りたいと考えています。
 図1と図2は、名古屋市立大学芸術工学部のモーションキャプチャスタジオで、塗装技能工と左官工の動作を測定している様子です。
 図3は11名の塗装技能工と、図4は11名の塗装未経験者の塗装軌跡の一覧を示しています。ローラーブラシを握る手の軌跡を、線の太さで速度(太いと速度が速く、細いと速度が遅い)を表し、色は瞬間的な加速度の変化(色の変化が少なければ、加速度の変化が小さく滑らかな動き)を表しています。熟練者の軌跡は線の太さの変化が小さく、塗装速度が一定であり、色の変化も少ないため、加速度が瞬間的に大きく変化することがなく滑らかな動きになっていることが分かります。
 図5は、熟練者と初心左官工の作業中の頭と腰の動きを上からみた軌跡です。頭の軌跡をえんじ色、腰の軌跡を青色で示しています。頭も腰も熟練者は同一線上の往復運動になっており、それと比して初心者は軌跡の揺れが大きく、熟練者は鏝の動きに連動した身体の動きのみで無駄な動作が無いことを読み取ることができます。また、熟練者は頭と腰が同じ動きとなっており、「上半身をスイングさせて鏝を動かしている」という熟練者の言葉を反映した軌跡となっていることが分かります。
 図6は、鏝を握る手の甲の中指付け根と手首の右及び左の3つのマーカーが作る三角形の軌跡を描画しています。鏝を握り直さない一連の動作においては、鏝の角度変化と手の甲の3つのマーカーが作る三角形の3次元空間内での角度変化とが対応していることから、左官技能において重要とされる鏝の角度の変化をこの三角形の軌跡で推定できます。図は上から見た手の甲の角度であり、面積の大きい三角形は手の甲が水平面に対して並行、面積が小さい場合は水平面に対して手の甲が垂直であることを表します。下地作りの作業では、手の甲(鏝)の角度が大きく変化しており、「ならし」では変化が少ないが表面の凹凸や水分量に対応したわずかな変化に対応した角度変化を読み取ることができます。

図1 塗装熟練工の動作測定の様子
図1 塗装熟練工の動作測定の様子
図2 左官熟練工の動作測定の様子
図2 左官熟練工の動作測定の様子
図3 熟練塗装工11名のボード塗装の軌跡一覧
図3 熟練塗装工11名のボード塗装の軌跡一覧
図4 塗装未経験者11名のボード塗装の軌跡一覧
図4 塗装未経験者11名のボード塗装の軌跡一覧
図5 熟練技能工と初心技能工の左官動作時の頭(えんじ色)と腰(青色)の上から見た軌跡
図5 熟練技能工と初心技能工の左官動作時の
頭(えんじ色)と腰(青色)の上から見た軌跡
図6 熟練技能工の下地作り(上)とならし(下)の3次元空間内での鏝を持つ手の甲の角度変化の可視化
図6 熟練技能工の下地作り(上)とならし(下)の
3次元空間内での鏝を持つ手の甲の角度変化の可視化

周辺環境に配置したIoTセンサーを活用した療養環境デザイン

周辺環境に配置したIoTセンサーを活用した療養環境デザイン
  • せん妄や夜間覚醒などをベッド上の行動から予測して医療従事者の端末やナースステーションにメッセージを送信する
  • 治療や療養中の状態をセンシングして、光や温度など環境情報を制御する
    → 将来的には苦痛をセンシングしてそれを緩和する刺激付与や環境制御
  • センサーは人に装着しない、プライバシー保護のため映像情報は使用しない、電子カルテと連携して推定精度を向上させる

Slackへのメッセージ送信の試作装置

Slackへのメッセージ送信の試作装置

Slackへのメッセージ送信の試作装置:面圧分布センサの利用

Slackへのメッセージ送信の試作装置:面圧分布センサの利用

Slackへのメッセージ送信の試作装置:加速度センサの利用

Slackへのメッセージ送信の試作装置:加速度センサの利用

照明制御の試作装置

照明制御の試作装置

ウェアラブル端末で測定した指標による心電図から得られる自律神経活動バランス指標の推定

ウェアラブル端末で測定した指標による心電図から得られる自律神経活動バランス指標の推定

ウェアラブル端末の拍動間隔時系列と心電図の拍動間隔の比較

ウェアラブル端末の拍動間隔時系列と心電図の拍動間隔の比較

自律神経活動バランス指標の比較

自律神経活動バランス指標の比較

機械学習のアルゴリズムの比較

機械学習のアルゴリズムの比較