DMP DIGITAL MEDIA PROFESSIONALS

DIGITAL MEDIA PROFESSIONALS INC. | Making the Image Intelligent

ENGLISH
お問い合わせ

ブログ

ブログ

2022-07-08

  • TECHNOLOGY

DMPロボットピッキングソリューション: 協働ロボット安全対策 / DMP Robot Picking Solution: HUMAN ROBOT SAFETY

DMPロボットピッキングソリューション: 協働ロボット安全対策 / DMP Robot Picking Solution: HUMAN ROBOT SAFETY

DMPは協働ロボット(以下、ロボット)の安全対策として、一般的なステレオカメラとDMPのAI認識技術を使い、手軽でローコストな安全対策のソリューションを用意しました。協働ロボットと人の位置関係を把握し、人がロボットに接近しすぎた際には、ロボットを低速動作にしたり、停止させて安全を確保します。 

本ソリューションのセットアップは簡単です。ロボットの前方にステレオカメラを設置し、ロボットと接続してアプリケーション(AI認識ソフトウエア)を走らせるだけです。今回のデモではUniversal Robotを活用して動作確認をしていますが、お客様のご要望に応じてその他のロボットへの対応も可能です。ご興味のあるお客様はお気軽にお問合せください。 

1. ハードウエア構成とセットアップ 
ハードウエア構成は図1の通りです。 

ハードウエア/ Hardware  型番 / References 
ステレオカメラ / Stereo/Depth Sensor Intel RealSense Depth Camera D435i 
GPU Nvidia Jetson Xavier NX 
図1: ハードウエア構成 / Figure 1: Hardware configuration 

カメラは、図2の通り、カメラから人物とロボットが見えるように、高さ1.5-2.0m、角度30-45度となるように設置しています。 

図2: ハードウエアセットアップ / Figure 2: Hardware setup 
 

2. ソフトウエアフロー 
ソフトウエアの全体フローは図3の通りです。
画像データをリサイズした上で、ロボットの骨格推定と人の骨格推定をそれぞれ別々にAI認識処理します。 そのAI認識結果、ステレオカメラによる距離情報とカメラ固有のパラメータを用いて人とロボットのそれぞれの3次元空間座標情報を得ます。そして、この座標情報を用いて人とロボットの距離を計算しています。ある一定の距離(閾値)に人とロボットが近づいたときに安全対策のため警戒度を上げ、TCP/IPプロトコルを活用してロボットに対して信号を送り、ロボットを低速度動作にしたり、停止させたりすることが可能になります。 

図3: ソフトウエアフロー / Figure 3: Software flow

DMP is pleased to introduce its latest application for human and robot safety. 
Using the external stereo camera, the robot and human positions are computed. In case both are too close, a warning message is sent, and the robot stops moving, until safety distances are recovered.  
This solution is very easy to set up, simply placing the camera in front of the robot, connecting it to the collaborative robot, and starting the application. 
Although the demo is using Universal Robot, other types can be easily supported on demand. 

1. Hardware configuration and set-up 
The Hardware configuration is shown in Figure 1. 

The depth camera is located stably at a height ranging from 1.5 to about 2.0 m, with an orientation downward of about 30 – 45 degrees, pointing towards the robot and human (as shown in Figure 2). 

2. Software flow 
The overall software flow is shown in Figure 3. 
The color image is captured and resized before being input to two separate networks (robot pose estimation and human pose estimation, running in two processes). The obtained robot joint and human joints are then converted to 3D space by using depth image and camera intrinsic parameters. 
With pairs of robot and human joints, the shortest distance between robot and human can be calculated and compared to a specific safety threshold. 
Finally, the collision warning signal is commanded to the robot controller via TCP/IP to interrupt the robot’s movement. 

ブログ一覧に戻る
Topへ戻る

DMP公式
ソーシャルメディアアカウント