株式会社メディアプラス|ソフトウェア受託開発・技術者派遣、様々なシステム開発に対応

HSR

HSR


親しみやすいロボットにする開発

介護施設の入居者に受け入れていただくための動作の一環として研究・開発しています。

2017年国際ロボット展では、来場者様と「じゃんけん」をして遊ぶデモアプリケーションを展示いたしました。
現在は、実際の介護現場において、退出者様への対応として、カードキーによりドアを開ける手伝いをするアプリケーションを開発しており、2018年3月までに実証実験を行う予定となっています。

 

人を相手にした動作例(2017年国際ロボット展への出展アプリケーション)

「人と遊ぶ」を目的として組み込んだ動作です。

HSRデモアプリケーション

1. 待機モード


人が居ない時は待機モードで動作。ARマーカ検知※1と自律移動※2を利用し、テーブル上のものを移動させて人を待ちます。

2. 人の検知


待機モード中の一連の動作中に、人物位置推定※3を利用し、人がHSRの近くに訪れたことを検知します。

3. 遊びモード


「じゃんけん」「あっち向いてホイ」をして、人と遊びます。ハンドジェスチャー検知※4を利用し、HSRに向かって手を見せることで遊ぶことができます。

4. 遊び終了


ARマーカ検知※1と自律移動※2を利用し、人にお土産を渡します。


 

用語解説

※1 ARマーカ検知 (HSR標準提供)


2台のカメラ(ステレオカメラ)で画像処理を行い、ARマーカを認識。視差を計算することでARマーカまでの距離を推定し、3D空間上にマッピングする技術
※2自律移動 (HSR標準提供)


目標を指定すると、障害物を回避したルートを計算、台車・関節を自動制御する技術
※3 人物位置推定 (自社開発)


HSRに搭載されている「RGB-Dカメラ」を利用し、「カラー画像」に対して人物顔領域を算出。「深度画像」から人物顔領域を切り出し、人物までの距離を推定し、3D空間上にマッピングする技術
※4 ハンドジェスチャー検知 (自社開発)


「深度画像」から、じゃんけん用の手型認識と、あっち向いてホイ用の手指方向検出を実装。


 

手指の方向検知についての技術解説

手指の方向検知についての技術解説PDFはこちらから【別ウィンドウ】

  • 数値変換
  • 2値化画像作成
  • 輪郭算出
  • 方向判定

./images/robot_contact.png