Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

テンプレートマッチした結果からeusのモデルの位置姿勢を生成したい #2782

Open
wants to merge 12 commits into
base: master
Choose a base branch
from

Conversation

k-okada
Copy link
Member

@k-okada k-okada commented Jul 19, 2023

jsk_perceptionに移動して (cd sample/; roseus ./pose_detector_auto_gen_sample.l) とすると, sample/jetson-box.launch が生成されるハズなので,これを実行してください.
ファイルの中身はtemplate/_563bfb91e570_jetson_box.xml みたいなファイルに書いてあるのですが,実行する度にファイル名が変わるので,rm template/*_jetson_box.xml みたいにして時々消しておくと良いです

実機,あるいは,rosbag play -l ~/Downloads/baxter_demo_2023-07-18-20-26-48.bag でトピックをだして
rviz -d $(rospack find jsk_perception)/sample/config/realsense-torso-jetson-box.rviz
とすると,以下のように成るはずです.(*)
Screenshot from 2023-07-19 20-52-12

(*) ただし,,,,

(1) _563bfb91e570_jetson_box.xmlrelative_pose を以下のように変更する必要があります.

    <param name="object_width" value="0.2"/>
    <param name="object_height" value="0.2"/>
    <param name="relative_pose" value="0.2 0.1 -0.12    0 0 0 -1"/>
    <param name="viewer_window" value="false"/>

(2) 物体を色々回転させてみたBagファイルもとってくれれば以下の確認をすすめたいです.
rviz中のFeatures にもAxisが表示されますが,これがオブジェクトの中心のつもりだけどそれで良いか?青軸がZ軸のつもりだけどそれでよいか.
jetson_box というTFが出ているはずなんですが,bag フィアルでは上手く表示されないです.実機でも同じか知りたいです.
FeaturesのAxisと Poseが同じ場所にあるか確認したいです.あっていそうであっていなさそうで...上の変更が必要なのはあっていなのか?

@YUKINA-3252

@YUKINA-3252
Copy link
Contributor

岡田先生、ありがとうございます。明日以降取り急ぎ確認してみます。

@YUKINA-3252
Copy link
Contributor

YUKINA-3252 commented Jul 21, 2023

  • topic/jetson_boxについて
    実機ではtopicが出ていることが確認できました。
    スクリーンショット 2023-07-21 032044
  • rviz中のFeaturesのAxisについて
    上の岡田先生の画像に示されている箱の向き(ロボットから見てjetsonの文字が180度回転している向き)では、箱のxyz軸がロボット座標系と合致していました。
    スクリーンショット 2023-07-21 035308
    しかし、箱を90度ずつ回転していくと、それ以外の向き(下の画像の1, 2, 4)ではDetected Objectで表示されるBounding Boxの3次元位置が一致しませんでした。
    スクリーンショット 2023-07-21 032738

@YUKINA-3252
Copy link
Contributor

  • 実際に用いている箱の大きさは縦22cm×横22cm×高さ14cm
  • 実際の箱の大きさを参考に、_563bfb91e570_jetson_box.xmlrelative_pose
 <param name="relative_pose" value="0.11 0.11 -0.14 0 0 0 -1"/>

とすると、Features、箱のTF、Detected Objectは以下のように表示された。
スクリーンショット 2023-07-21 080403
参考に、_563bfb91e570_jetson_box.xmlrelative_pose

 <param name="relative_pose" value="0 0 0 0 0 0 0 -1"/>

とすると、以下のように表示される。

スクリーンショット 2023-07-21 080605

  • Featuresで示される2次元上のposeは合っていそうだが、3次元で表示すると異なってしまうことがわかった

@k-okada
Copy link
Member Author

k-okada commented Jul 24, 2023

色々コードは代わっていますが,中身は代わっていないので,もう一回これで実機で確認してみましょう.

Screenshot from 2023-07-24 20-30-25
左上の画面で(make-cube 220 220 140) に合わせて青い箱を書くようにしました.
右上は視野画像と,rviz上のメイン画面で表示されている画像を上書きしている画面です.この例では薄くjetsonロゴが見えるとおもいますが,これは,rviz側メイン画面の点群が写り込んでいて,さらに場所がズレているので何かおかしいか,点群の画像のディレイがある状況です.したがってrvizのメイン画面でのTFだったりPoseの位置がズレています.TFは"mathing"と"jetson_box"がでていて,前者はpoint_pose_extractorが,後者はkalman-filtered-objectdetection-marker.l がだしています.

以下はなんとなく上手く行っている画面です.TFが出ていないのはbag ファイルだと上手くいかないことがあったり,パワーの足りない計算機だとimagesiftを走らせたときにCPUを大量に消費して(topで確認できる)しまって,処理が間に合っていないんだとおもいます.
Screenshot from 2023-07-24 21-13-56

@YUKINA-3252
Copy link
Contributor

実機ではカメラ画像とrvizの表示が一致しており、問題ないと思われます。
Screenshot from 2023-07-25 17-36-01

@YUKINA-3252
Copy link
Contributor

こちらですが再buildしたときに下記のようなerrorが出たので報告します。
https://gist.github.com/YUKINA-3252/e841f7ca46557fd38561656af7e09c42

errorの詳細は以下の通りです。

…k with cascaded-link, we also remove unused imgpath/imgname variable, see jsk-ros-pkg@b325803
@k-okada
Copy link
Member Author

k-okada commented Aug 21, 2023

ありがとう.的確な報告で助かりました.b325803 に間違いがあったようなので,直してみました.

@YUKINA-3252
Copy link
Contributor

626dabe を取り込んで複数回buildが成功するか試してみたところerrorが出ることなく全て成功しました。ありがとうございます。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants