CI failures due to test data download failures after Google Drive's change #2630
Comments
|
@wkentaro |
|
I have created a shared drive for JSK lab and make JSK_public_data directory to it. Downloading from this directory doesn't require sign-in and standard users can only download data and JSK lab member can upload data to this directory. This can realize config-actual.
|
|
@wkentaro can you make @knorth55 @sktometometo as an owner? |
No, because then we can exploit Google Drive's 2 different sharing options:
(at the moment we're only using "Get link") With |
It seems I cannot upload files to it. Are you sure all members have the write access? Kapture.2021-10-04.at.11.11.01.mp4 |
Let's find the solution first. Also, I can do that if you don't mind (I can also create Shared Drives). |
|
@sktometometo I also thought about Shared Drives before, but it seemed there was no option to give All Members write access, and probably we still need to add members as a person or a group. (which makes sense as write access to everyone sounds dangerous especially when you have alumnis in the organization like me) |
|
@wkentaro I have added gakusei-kyoin@ to members of the shared drive ( and you ). All jsk members are in this group, so all jsk member can upload files. Can you try again? |
|
あんまりgithub issueでメールアドレスとかかいて，こういう話をすべきでない気がします． |
|
そしてShared Driveに移行したらあとは現JSKメンバで対応してくれると思います． |
|
その通りだと思います。 |
|
ただ個人のドライブ管理をやめるというのは，もうJSKの方針になってしまっているので，SharedDriveに移行してほしいです． |
|
最近、共有アイテムとして共有されていたものを共有ドライブに移した際は, URLは変更しておらず、今さっき共有ドライブから個人ドライブに移動させた際もURLは変更していませんでした。 |
|
そして共有ドライブに移動することで権限の問題は解決されます． |
|
@sktometometo 先の例では僕が権限を与えてもらっているので、アップロードできても当然だと思うのですが、jsk-all-membersが追加されている状態であれば現在メンバーは問題なくアップロードできているのでしょうか？ |
|
@wkentaro できました |
|
@wkentaro 他の人に試してもらいましたができているようです。 |
|
新規に入った人も, gakusei-kyoin グループに入っていればgakusei-kyoinが追加されている共有ドライブにはアクセスできているので問題ないかと思います |
|
確認ありがとうございます。 ここにアップロードできるか一応試してもらえますか？ @sktometometo |
|
@wkentaro アップロードできました |
|
了解です。 |
|
JSKPublicDataの方に移動していただけますか？ |
|
命名規則的にこちらを利用したいです |
|
@sktometometo さんが作った方ってこと？ |
|
なぜわざわざもう一つ作ったのでしょう．．． |
|
もともと作成しています(上で共有したもの) |
|
Mangerアクセスもらえますか。 |
|
ああ、大丈夫でした。 |
|
権限のせいではなく、フォルダが移動できないだけでした。 |
|
JSKPublicData/JSK_public_dataに移動すればいいですか？ |
|
@wkentaro そうです、おねがいします。 |
|
@sktometometo 今いくつか移動しましたが、こんな感じで問題ないでしょうか？ |
|
@wkentaro ありがとうございます。大丈夫そうです。最終的に大丈夫か（jsk_dataを利用しているpackageやtestが動作するか）どうか含めて対応させていただきます。 |
|
確認ありがとうございます。全部移動し終わったらまた報告します。 |
|
@sktometometo 一部のファイル以外は移動し終わりました。僕のアクセスも消しておきました。 移動できなかったファイルShinjoくんのもので、個人メールアドレスからアップロードされているようで、それが原因で移動できないようです。（ファイルのオーナーがOrganization内でないといけないようです） |
|
@wkentaro 移動できました。これですべてだと思います。ありがとうございます。 |
|
@sktometometo ありがとうございます。お手数おかけしました。CIでのチェックなど残りの処理もよろしくお願いします。 |
|
@sktometometo 少し試した程度ですが、以下の例のようにファイルの元オーナーが共有フォルダに権限があるかどうかで 以下の動画での現象から、
となっているのではないかと考えています。 Shinjoくんの個人メールアドレスがオーナーになっているファイルでも同じことが起こると思うので、どのような権限を与えたらSign-inが要らなくなるのか試してみてもらえればと思います。できればManagerやContent Managerのような高い権限を与えなくてよければ理想的ですが、最悪でもファイルごとに設定（Kentaro WadaがOwnerになっているファイルのみManager権限を与える）すれば解決できるのではないかと思います。 Kapture.2021-10-04.at.21.31.54.mp4 |
|
@wkentaro 知見の共有ありがとうございます。共有ドライブでこのような問題が起こらないのは, アップロードしたあとのファイルのOwnerなどの扱いが共有アイテムなどとは異なるのかもですね。 bandicam.2021-10-05.12-03-36-168.mp4 |
|
僕の環境で起こっていることとしては、現象として
という感じです。 |
|
とりあえず、 #2631 のいくつかのファイルはそもそも存在しなかったりしたので, jsk_perception, jsk_pcl_ros, jsk_pcl_ros_utils でダウンロードできないものはアップロードしなおしました。 管理者に入っていない人がアップロードしたファイルはログインが必要だとすると、僕の個人アカウントからアップロードしたものはログイン無しでダウンロードできるので, 例外もありそうです。 eng2_subway_tablenavigation.walk.tar.gz |
ありがとうございます。
確かにこれはダウンロードできますね。このファイルの違いといえばファイルサイズだと思うので（~1.2MB)、
ということでしょうか。 |
Problem
It seems the full test on noetic in CI fails always recently.
https://github.com/jsk-ros-pkg/jsk_recognition/actions/workflows/noetic-full-test.yml
I think this is because of the change of Google Drive's sharing permissions and that disables the download of test data from Google Drive as the following. Previously the sign-in was not required.
Context
We upload files and download them from JSK_public_data, so ideally the permission should be
(config-ideal)
We couldn't find a way of how to make it writable only for people in JSK, so we have been using
(config-actual)
But now, Google Drive has changed its specification and config-actual won't work anymore (as it requires sign-in even for just downloading files via links).
Solution
I think the solution would be adding a group to JSK_public_data that includes all members in JSK (something like [email protected]). Please let me know if there's already such group (maybe it would be better to let me know via email not to make it public).
The text was updated successfully, but these errors were encountered: