issue-652: do not acquire barriers from the past upon FlushBytes

[debnatkh]

References (and, hopefully, fixes) #652

The main problem is that FlushBytes acquires collect barrier, which is less than the last collect commit id:

---

1. Consider that there were the following sequence of writes:

Write(0,       256 KiB, 'a') -> Blob(commitId = 42)
Write(256 KiB, 256 KiB, 'b') -> Blob(commitId = 43)
Write(512 KiB, 1,       'f') -> FreshBytes(commitId = 44)
Write(0,       256 KiB, 'c') -> Blob(commitId = 45)

This will lead to the following file layout: [ccccccc][bbbbbbb][f]

2. After execution of the CollectGarbage, all three new blobs will get a KeepFlag and the last collect commit id will be equal to 44

CommitId:     41      42        43       44
            Blob(a) Blob(b) FreshBytes Blob(c)
                                          |
                                 LastCollectCommitId

3. After execution of the Cleanup operation, the first blob will be marked as garbage

4. Let us execute FlushBytes operation, It will acquire collect barrier, equal to the minimal commitId, associated with FreshBlobs:
   

   nbs/cloud/filestore/libs/storage/tablet/tablet_actor_flush_bytes.cpp

   Lines 669 to 671 in 836a516

   	for (const auto& bytes: args.Bytes) {
   	args.CollectCommitId = Min(args.CollectCommitId, bytes.MinCommitId);
   	}

After this acquisition there will be one barrier, equal to 43:

CommitId:     41      42        43       44
            Blob(a) Blob(b) FreshBytes Blob(c)
                                |         |
                             Barrier  LastCollectCommitId

5. When the next CollectGarbage operation is to be executed, it will choose 42 as a collectCommitId:

nbs/cloud/filestore/libs/storage/tablet/model/garbage_queue.cpp

Lines 227 to 228 in 836a516

	const auto& barrier = *Impl->Barriers.begin();
	return barrier.CommitId - 1;

After it the CollectGarbage request with one new grabage will be sent, leading to a decrease in collectCommitIds sequence: 42 after 44

[github-actions]

Note

This is an automated comment that will be appended during run.

🟢 linux-x86_64-relwithdebinfo: all tests PASSED for commit 29b86c8.

TESTS	PASSED	ERRORS	FAILED	SKIPPED	MUTED?
1815	1815	0	0	0	0

[github-actions]

Note

This is an automated comment that will be appended during run.

🟢 linux-x86_64-relwithdebinfo: all tests PASSED for commit 5f6ce5f.

TESTS	PASSED	ERRORS	FAILED	SKIPPED	MUTED?
1815	1815	0	0	0	0

[qkrorlqr]

Хотя нет, unship, теперь у нас FlushBytes начинает отличаться от Compaction. Compaction генерирует CommitId один раз и использует его как для своих DstBlobs, так и для установки барьера. Не хочется, чтобы FlushBytes отличался от Compaction в этом месте, т.к. по своей сути он делает то же самое, что и Compaction.

Также смущает следующее. Compaction и FlushBytes читают индекс на Prepare-стадии. А CollectBarrier устанавливают на Complete-стадии. Между этими стадиями могут случиться другие события. Сейчас код устроен так, что Cleanup / Compaction / FlushBytes не работают одновременно. При этом что-то поменять в индексе так, что в определенном диапазоне по определенному CommitId могут перестать находиться блобы, которые на Prepare-стадии нашел Compaction или FlushBytes, могут только операции Cleanup / Compaction / FlushBytes. Но это, во-первых, хрупко и заслуживает как минимум комментария в коде. Во-вторых, когда мы начнем реализовывать #1923 , такой операцией также станет DeleteCheckpoint, и надо написать в коде //TODO(#1923) про вот эту ситуацию. Ну и подумать еще раз, а не может ли уже прямо сейчас быть проблемой тот факт, что блобы ищутся в индексе на Prepare-стадии, а барьер ставится позже - на Complete.

[github-actions]

Note

This is an automated comment that will be appended during run.

🟢 linux-x86_64-relwithdebinfo: all tests PASSED for commit f68106f.

TESTS	PASSED	ERRORS	FAILED	SKIPPED	MUTED?
1815	1815	0	0	0	0

[github-actions]

Note

This is an automated comment that will be appended during run.

🟢 linux-x86_64-relwithdebinfo: all tests PASSED for commit cf06289.

TESTS	PASSED	ERRORS	FAILED	SKIPPED	MUTED?
1815	1815	0	0	0	0