人の「骨格」を見て、作業ミスをAIが即座に発見

人の「骨格」を見て、作業ミスをAIが即座に発見

生産現場の作業者の動作を解析する三菱電機の新技術

栗原 雅／2019.11.27

JB Press 

骨格の動きを検出して作業者の動作を解析する「骨紋」（三菱電機提供）

　人の動きをAI（人工知能）が的確に捉えるにはどうしたらいいか。三菱電機が出した答えは「骨格」だった。

　三菱電機が開発した新技術の名称は「骨紋（こつもん）」。人の骨格の動きと生産現場の作業内容を学習したAIが、作業者の動きを撮影したカメラ映像を解析し、作業手順ごとにかかった時間を自動で算出したり、手順のミスや漏れを発見したりする。改善の余地がある作業手順を見いだすこともできる。

　一人で複数の作業を行う生産現場の効率を高めようとするなら、まず現状の作業の様子を詳細に可視化する「作業分析」を実施する必要がある。製品の組み立てであれば、棚から部品を取り出す、ねじで部品を組み付ける、外観を検査するといった一連の手順がある。従来は、この作業のカメラ映像を撮りためて、映像を再生しながら作業時間をストップウォッチで計測し、その結果を集計するという作業を行っていた。そのうえで、作業時間にバラつきが生じていないか、特定の手順に時間がかかる傾向がないかなどを調べるのだ。

　一方「骨紋」は撮りためたカメラ映像を使った作業分析にかかる時間を10分の1にまで短縮する。分析時間を短くできれば、生産現場の改善活動を短期間で繰り返せるようになり、従来よりも生産効率の向上を図りやすくなる。

従来9週間を要した作業分析を6日で完了

「骨紋」が特筆すべきポイントは大きく2つある。一つは、AIの学習の手軽さだ。骨紋のAIは、限られたデータ量と短い時間でも、人の骨格の動きと作業内容を関連付けて認識できる。

　分析にあたってはまず、AIの学習に用いる映像に「部品取り」、「ねじ締め」、「外観検査」といった手順の情報と、それぞれの手順の開始時刻/終了時刻を付加する。合計10回分の映像をAIに読み込ませると、AIは10分程度ですべての映像から人の骨格を抽出し、手順ごとの首元、肩関節、肘関節、手首の動きを覚える。

作業分析には2週間から1カ月分の映像を用いるのが一般的だ。ストップウォッチを片手に目視で映像を確認する従来の方法だと、1人の作業者の様子を撮影した2週間分の映像を解析して手順ごとの作業時間を計測するのに8週間程度、集計に1週間程度、合計9週間ほどを要するという。

　これに対し、あらかじめ骨格の動きと作業手順を学習した骨紋のAIは、「2週間分の映像解析から集計までを6日間で終える」（三菱電機情報技術総合研究所の奥村誠司監視メディアシステム技術部社会安全高信頼化技術グループマネージャー、写真1）。

写真1　三菱電機 情報技術総合研究所 監視メディアシステム技術部 社会安全高信頼化技術グループの奥村誠司グループマネージャー

　骨紋のもう一つのポイントは、カメラで撮影した映像のリアルタイム解析が可能な点である。作業者が行っている作業をその時点で特定できる。そのため、マニュアルと違った手順だったり手順が抜けたりした場合は、即座に作業者にアラートを出すといった使いかたが可能になる（図）。手順ミスや手順抜けをその場で指摘し対処すれば、不良品リスクを抱えた部品が次の工程に持ち込まれるのを防ぐ効果が期待できる。

図　「骨紋」で映像をリアルタイム解析して手順の抜けを検出する様子（三菱電機提供）
拡大画像表示

骨格の移動距離を短くする改善を見つけやすく

　骨紋は作業者（の骨格）の動きから、生産効率の向上に結び付く可能性がある手順を検出する機能も併せ持つ。映像を解析して作業者の手首や首元の移動距離を算出し、手順ごとに定めた移動距離の設定値を超えた作業について映像の関連情報として記録する。

移動距離が長い場合は、設定値を超えた度合いに応じて赤色や黄色で表示する。ムダな動きを減らす改善活動を行う際は、映像時間を示す横棒のうち、赤や黄の部分の映像だけを確認すればよい。赤や黄で示された部分だけをゆっくり再生し、それ以外の部分を早送りする機能も備えている。

　たとえば、部品を取り出す作業の手首の移動距離が長い場合、部品を収納する棚の高さを下げて作業台に近づけるといった改善案が考えられる。工具の配置の最適化にも役立てられる。

　この機能の最大のメリットは、課題を見いだす精度を上げられる点である。改善活動の経験豊富な担当者と経験が少ない担当者とでは、同じ映像を見ても課題があることに気づくかどうか、差が出ることがある。その点、骨紋は「属人性を排除した課題の抽出と改善が可能になる」（三菱電機情報技術総合研究所の五味田啓 情報表現技術部HMIソリューショングループマネージャー）という。

写真2　「骨紋」の開発を担当する三菱電機 情報技術総合研究のメンバー。右から、監視メディアシステム技術部 社会安全高信頼化技術グループの奥村誠司グループマネージャー、同部社会安全高信頼化技術グループの清水尚吾氏、情報表現技術部HMIソリューショングループの五味田啓グループマネージャー

　三菱電機は現在、監視カメラを製造する同社の工場などいくつかの生産現場で骨紋を試験導入して検証を進めており、2020年度以降に骨紋を実装した作業分析ソフトや工程監視装置の実用化を目指している。