Feat/78040 135788 resume suspended bulk export job #8963

arafubeatbox · 2024-07-15T14:46:24Z

実装内容

bulk export を再開可能にする
- 実行を PageBulkExportJob で管理し、status と lastExportedPagePath によって再開時に実行を開始するポイントを決定
  - status の遷移:
    1. initializing (エクスポートするページのスナップショットを作成中)
    2. exporting (local fs にページファイルを出力中)
    3. uploading (cloud storage にアップロード中)
    4. completed/failed
  - exporting の途中で中断した場合は中断したポイントから再開できるが、initializing と uploading は中断した場合そのステップを再開時に最初からやり直す
- PageBulkExportJob の再開はアプリ起動時に発火する
既に同じユーザ・ページ・フォーマットでのエクスポートが走っている場合はエクスポートをリクエストできないように変更
- 本ストーリーのスコープからは外れますが、実装してしまった方が本ストーリーの実装を進める上で考えることが少なくなるので同じ PR で実装してしまいました。
- 実装としては DuplicateBulkExportJobError を追加してエラーハンドリングを少し変えた程度です
- https://redmine.weseek.co.jp/issues/150418 で進行中のアップロードを中断して再実行も可能にする予定です (最新の情報で最初からアップロードし直したい場合など)
PageBulkExportPageInfo を PageBulkExportPageSnapshot に変更

task

https://redmine.weseek.co.jp/issues/135788

changeset-bot · 2024-07-15T14:46:28Z

⚠️ No Changeset found

Latest commit: f46858f

Merging this PR will not cause a version bump for any packages. If these changes should not result in a new version, you're good to go. If these changes should result in a version bump, you need to add a changeset.

This PR includes no changesets

When changesets are added to this PR, you'll see the packages that this PR includes changesets for and the associated semver types

Click here to learn what changesets are, and how to add one.

Click here if you're a maintainer who wants to add a changeset to this PR

apps/app/src/server/service/file-uploader/gcs/multipart-uploader.ts

apps/app/src/features/page-bulk-export/interfaces/page-bulk-export.ts

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts

arafubeatbox · 2024-07-16T09:34:47Z

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts

  ) {
    const activity = await this.crowi.activityService.createActivity({
-      ...activityParameters,


ここをどうするか迷ったのですが、再開する時は apps/app/src/crowi/index.js から実行されるため、activityParameters (ip と endpoint) を渡すことができません。

最初のクライアントからの bulk export 実行のリクエスト時に、ip と endpoint をどこかに保存しておいて、createActivity 時に渡すべきでしょうか？

正直 ip と endpoint の用途があまりわかっていませんが、ログ的な役割だと思っています。
裏で走っている非同期プロセス上でアプリが activity を行い、クライアントが直接 activity を行ったわけではない、という風に捉えれば、ip と endpoint は入れなくても良いのかなと思ったりしています (今はそのように実装しています)。

action のタイプを、ユーザーが export をトリガーしたときとシステムが再開をトリガーしたときで分けちゃえばいいんじゃないかな。ユーザーがトリガーした時はやはり ip 欲しいので。

逆にシステムによるトリガーはログとしての activity はそんなに重要ではない
InAppNotification の方に影響がないならば記録しなくてもいい

activityParameters を optional にし、API 経由で直接実行された時だけ渡すようにしましたm(_ _)m

逆にシステムによるトリガーはログとしての activity はそんなに重要ではない
InAppNotification の方に影響がないならば記録しなくてもいい

InAppNotification に影響はないため、システムからのトリガーでは渡さなくて問題ありません。

…spended-bulk-export-job

arafubeatbox · 2024-08-07T14:54:03Z

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts

+    });
+    if (duplicatePageBulkExportJobInProgress != null) {
+      throw new DuplicateBulkExportJobError();
+    }


同じページに対して、進行中のエクスポートジョブがある場合はエラーを投げる。

arafubeatbox · 2024-08-07T14:55:02Z

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts

+      throw new DuplicateBulkExportJobError();
+    }
+    const pageBulkExportJob: PageBulkExportJobDocument & HasObjectId = await PageBulkExportJob.create({
+      user: currentUser, page: basePage, format, status: PageBulkExportJobStatus.initializing,


エクスポートの実行を追うための PageBulkExportJob を作成

arafubeatbox · 2024-08-07T15:03:48Z

apps/app/src/server/crowi/index.js

+    ],
+  });
+  Promise.all(jobs.map(job => pageBulkExportService.executePageBulkExportJob(job)));
+};


起動時に進行中の PageBulkExportJob を再開

ペンディング中の job 数は予測ができない。
多すぎる場合に Promise.all ではリソースを食い潰すので、擬似的にでもキューイングのようなことをしたい。

こちら
https://redmine.weseek.co.jp/issues/143599
で対応しようと思います。
TODO コメント残しておきました。

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts

yuki-takei · 2024-08-08T12:12:15Z

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts

  ) {
    const activity = await this.crowi.activityService.createActivity({
-      ...activityParameters,


action のタイプを、ユーザーが export をトリガーしたときとシステムが再開をトリガーしたときで分けちゃえばいいんじゃないかな。ユーザーがトリガーした時はやはり ip 欲しいので。

逆にシステムによるトリガーはログとしての activity はそんなに重要ではない
InAppNotification の方に影響がないならば記録しなくてもいい

yuki-takei · 2024-08-08T12:14:35Z

apps/app/src/server/crowi/index.js

+    ],
+  });
+  Promise.all(jobs.map(job => pageBulkExportService.executePageBulkExportJob(job)));
+};


ペンディング中の job 数は予測ができない。
多すぎる場合に Promise.all ではリソースを食い潰すので、擬似的にでもキューイングのようなことをしたい。

arafubeatbox added 3 commits July 15, 2024 00:47

specify upload namespace for gcs multipart uplaod

80782da

Create page snapshots and use them for export

149683c

make resuming suspended bulk export job possible

35cb999

arafubeatbox commented Jul 15, 2024

View reviewed changes

apps/app/src/server/service/file-uploader/gcs/multipart-uploader.ts Show resolved Hide resolved

arafubeatbox commented Jul 15, 2024

View reviewed changes

apps/app/src/features/page-bulk-export/interfaces/page-bulk-export.ts Show resolved Hide resolved

arafubeatbox commented Jul 15, 2024

View reviewed changes

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts Show resolved Hide resolved

arafubeatbox added 2 commits July 16, 2024 00:42

add comments and refactor

7a3fc15

enable resuming page bulk export job on app restart

6b6898b

arafubeatbox commented Jul 16, 2024

View reviewed changes

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts Outdated Show resolved Hide resolved

arafubeatbox commented Jul 16, 2024

View reviewed changes

arafubeatbox marked this pull request as ready for review July 16, 2024 09:35

arafubeatbox added 5 commits July 19, 2024 11:29

Merge branch 'feat/page-bulk-export' into feat/78040-135788-resume-su…

67bec0a

…spended-bulk-export-job

add uploadKey to pageBulkExportJob

49f1313

Merge branch 'feat/page-bulk-export' into feat/78040-135788-resume-su…

25da07e

…spended-bulk-export-job

fix lint error

b4a4178

Merge branch 'feat/page-bulk-export' into feat/78040-135788-resume-su…

5c7f1b8

…spended-bulk-export-job

arafubeatbox commented Aug 7, 2024

View reviewed changes

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts Show resolved Hide resolved

arafubeatbox commented Aug 7, 2024

View reviewed changes

apps/app/src/features/page-bulk-export/server/service/page-bulk-export.ts Show resolved Hide resolved

yuki-takei requested changes Aug 8, 2024

View reviewed changes

arafubeatbox added 3 commits August 10, 2024 12:15

use HydratedDocument<PageBulkExportJobDocument>

a456462

add 143599 TODO comment

d927590

make activityParameters optional

f46858f

yuki-takei merged commit 2591f22 into feat/page-bulk-export Aug 13, 2024
5 checks passed

yuki-takei deleted the feat/78040-135788-resume-suspended-bulk-export-job branch August 13, 2024 07:54

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feat/78040 135788 resume suspended bulk export job #8963

Feat/78040 135788 resume suspended bulk export job #8963

arafubeatbox commented Jul 15, 2024 •

edited

Loading

changeset-bot bot commented Jul 15, 2024 •

edited

Loading

arafubeatbox Jul 16, 2024 •

edited

Loading

yuki-takei Aug 8, 2024

arafubeatbox Aug 10, 2024

arafubeatbox Aug 10, 2024

arafubeatbox Aug 7, 2024 •

edited

Loading

arafubeatbox Aug 7, 2024

arafubeatbox Aug 7, 2024

yuki-takei Aug 8, 2024

arafubeatbox Aug 10, 2024

yuki-takei Aug 8, 2024

yuki-takei Aug 8, 2024

Feat/78040 135788 resume suspended bulk export job #8963

Feat/78040 135788 resume suspended bulk export job #8963

Conversation

arafubeatbox commented Jul 15, 2024 • edited Loading

実装内容

task

changeset-bot bot commented Jul 15, 2024 • edited Loading

⚠️ No Changeset found

arafubeatbox Jul 16, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

arafubeatbox Aug 7, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

arafubeatbox commented Jul 15, 2024 •

edited

Loading

changeset-bot bot commented Jul 15, 2024 •

edited

Loading

arafubeatbox Jul 16, 2024 •

edited

Loading

arafubeatbox Aug 7, 2024 •

edited

Loading