[improvement](statistics)Support drop cached stats. (#39367)

[Jibing-Li]

backport: #39367

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[Jibing-Li]

run buildall

[doris-robot]

TPC-H: Total hot run time: 50368 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 56387d3911c5cc6d2d74072b87c4aa041727e429, data reload: false

------ Round 1 ----------------------------------
q1	18045	4500	4436	4436
q2	2087	203	196	196
q3	10371	1915	1997	1915
q4	10380	1252	1335	1252
q5	8484	3970	3945	3945
q6	277	145	144	144
q7	2124	1660	1645	1645
q8	9558	2780	2753	2753
q9	11992	10520	10203	10203
q10	8685	3555	3553	3553
q11	453	289	278	278
q12	503	334	341	334
q13	18377	3963	4073	3963
q14	387	359	352	352
q15	564	515	503	503
q16	696	599	605	599
q17	1139	996	943	943
q18	7285	7045	6956	6956
q19	1753	1592	1521	1521
q20	576	342	343	342
q21	4470	4205	4097	4097
q22	530	438	442	438
Total cold run time: 118736 ms
Total hot run time: 50368 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4367	4398	4363	4363
q2	362	267	263	263
q3	4167	4223	4156	4156
q4	2793	2782	2785	2782
q5	7195	7194	7198	7194
q6	255	145	144	144
q7	3333	2869	2875	2869
q8	4474	4511	4509	4509
q9	16875	16776	16793	16776
q10	4256	4297	4331	4297
q11	766	714	695	695
q12	1073	897	893	893
q13	6575	3791	3778	3778
q14	475	444	447	444
q15	546	510	508	508
q16	783	718	712	712
q17	3895	3863	3904	3863
q18	8843	8744	8750	8744
q19	1769	1726	1752	1726
q20	2403	2191	2135	2135
q21	8564	8515	8546	8515
q22	1062	1006	971	971
Total cold run time: 84831 ms
Total hot run time: 80337 ms

[doris-robot]

TPC-DS: Total hot run time: 209418 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 56387d3911c5cc6d2d74072b87c4aa041727e429, data reload: false

query1	966	429	412	412
query2	6786	2305	2158	2158
query3	6948	230	223	223
query4	20246	18241	18297	18241
query5	19927	6781	6678	6678
query6	313	263	269	263
query7	4188	349	357	349
query8	475	464	454	454
query9	3290	2845	2791	2791
query10	482	383	368	368
query11	11389	10904	10886	10886
query12	166	112	113	112
query13	5678	762	738	738
query14	18059	13406	13863	13406
query15	387	263	250	250
query16	6541	331	303	303
query17	1554	1516	948	948
query18	2365	489	488	488
query19	242	187	187	187
query20	114	113	127	113
query21	247	151	145	145
query22	5261	5110	4978	4978
query23	32801	32018	32199	32018
query24	7175	6591	6601	6591
query25	570	496	470	470
query26	653	196	196	196
query27	1958	339	332	332
query28	6075	2470	2412	2412
query29	2936	2743	2771	2743
query30	285	212	208	208
query31	1004	847	872	847
query32	102	99	95	95
query33	495	345	344	344
query34	898	537	538	537
query35	1181	987	992	987
query36	1363	1226	1105	1105
query37	124	92	95	92
query38	3106	2984	2941	2941
query39	1515	1441	1458	1441
query40	288	152	153	152
query41	165	154	154	154
query42	130	116	124	116
query43	683	648	680	648
query44	1217	786	786	786
query45	286	276	270	270
query46	1266	990	1020	990
query47	1924	1896	1847	1847
query48	1043	753	761	753
query49	836	596	606	596
query50	940	714	704	704
query51	4826	4787	4746	4746
query52	125	113	109	109
query53	516	387	382	382
query54	2709	2556	2557	2556
query55	105	97	114	97
query56	317	304	272	272
query57	1300	1224	1196	1196
query58	327	319	294	294
query59	3400	3191	3410	3191
query60	289	284	279	279
query61	162	159	159	159
query62	957	506	503	503
query63	544	397	411	397
query64	2798	1721	1661	1661
query65	3714	3624	3590	3590
query66	1249	811	823	811
query67	16347	15248	15139	15139
query68	8613	729	701	701
query69	629	412	418	412
query70	1695	1538	1469	1469
query71	451	361	391	361
query72	6692	3562	3584	3562
query73	784	376	372	372
query74	6486	6000	5957	5957
query75	5139	3805	3870	3805
query76	5242	1233	1265	1233
query77	1046	439	425	425
query78	12776	11766	12035	11766
query79	8706	695	706	695
query80	1070	558	554	554
query81	535	283	281	281
query82	850	133	127	127
query83	260	220	224	220
query84	293	103	98	98
query85	969	422	414	414
query86	374	334	328	328
query87	3252	3065	3064	3064
query88	4840	2565	2557	2557
query89	526	348	354	348
query90	2028	262	265	262
query91	207	161	166	161
query92	95	84	86	84
query93	6529	616	614	614
query94	730	244	258	244
query95	1145	1115	1101	1101
query96	660	369	349	349
query97	6548	6436	6503	6436
query98	215	210	199	199
query99	3045	1028	971	971
Total cold run time: 318758 ms
Total hot run time: 209418 ms

[doris-robot]

ClickBench: Total hot run time: 31.25 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 56387d3911c5cc6d2d74072b87c4aa041727e429, data reload: false

query1	0.03	0.02	0.02
query2	0.07	0.03	0.02
query3	0.25	0.05	0.05
query4	1.78	0.08	0.07
query5	0.54	0.53	0.53
query6	1.24	0.64	0.62
query7	0.01	0.02	0.01
query8	0.04	0.04	0.03
query9	0.54	0.48	0.50
query10	0.54	0.55	0.56
query11	0.14	0.09	0.09
query12	0.13	0.11	0.10
query13	0.63	0.63	0.63
query14	0.79	0.80	0.79
query15	0.79	0.77	0.76
query16	0.36	0.37	0.38
query17	1.02	0.97	1.02
query18	0.24	0.27	0.24
query19	1.96	1.83	1.83
query20	0.02	0.01	0.01
query21	15.51	0.57	0.56
query22	1.82	2.22	1.53
query23	17.08	0.99	0.97
query24	6.30	1.11	1.00
query25	0.35	0.12	0.05
query26	0.72	0.16	0.17
query27	0.04	0.05	0.05
query28	6.73	0.75	0.78
query29	12.63	2.24	2.34
query30	0.73	0.77	0.71
query31	2.83	0.40	0.39
query32	3.36	0.52	0.51
query33	3.07	3.11	3.09
query34	15.24	4.82	4.79
query35	4.87	4.85	4.86
query36	1.07	1.04	1.03
query37	0.08	0.06	0.06
query38	0.05	0.04	0.04
query39	0.04	0.04	0.03
query40	0.19	0.17	0.17
query41	0.10	0.04	0.03
query42	0.04	0.03	0.03
query43	0.04	0.04	0.04
Total cold run time: 104.01 s
Total hot run time: 31.25 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 56387d3911c5cc6d2d74072b87c4aa041727e429 with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.5 seconds inserted 10000000 Rows, about 465K ops/s

[Jibing-Li]

run buildall

[doris-robot]

TPC-H: Total hot run time: 50681 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7486df064e8faf291bc04aeb05ad9d3df6f6e3e6, data reload: false

------ Round 1 ----------------------------------
q1	18036	4512	4395	4395
q2	2087	197	188	188
q3	10351	1910	1954	1910
q4	10375	1262	1329	1262
q5	8616	3935	3950	3935
q6	281	146	148	146
q7	2085	1649	1661	1649
q8	9582	2758	2752	2752
q9	13970	10609	10597	10597
q10	8717	3590	3568	3568
q11	450	275	283	275
q12	494	332	336	332
q13	18376	3981	4058	3981
q14	379	355	346	346
q15	552	510	521	510
q16	691	603	602	602
q17	1128	958	902	902
q18	7245	6953	6858	6858
q19	1752	1585	1585	1585
q20	550	343	336	336
q21	4475	4186	4102	4102
q22	524	450	456	450
Total cold run time: 120716 ms
Total hot run time: 50681 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4362	4399	4337	4337
q2	372	270	267	267
q3	4184	4170	4178	4170
q4	2791	2764	2753	2753
q5	7298	7217	7164	7164
q6	260	137	140	137
q7	3311	2906	2915	2906
q8	4431	4524	4500	4500
q9	17373	17268	17171	17171
q10	4298	4309	4281	4281
q11	788	713	711	711
q12	1072	870	893	870
q13	7069	3801	3766	3766
q14	470	450	457	450
q15	553	507	501	501
q16	786	699	716	699
q17	3841	3866	3855	3855
q18	8743	8910	8796	8796
q19	1764	1775	1699	1699
q20	2458	2133	2105	2105
q21	8637	8395	8455	8395
q22	1070	997	977	977
Total cold run time: 85931 ms
Total hot run time: 80510 ms

[doris-robot]

TPC-DS: Total hot run time: 209887 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7486df064e8faf291bc04aeb05ad9d3df6f6e3e6, data reload: false

query1	983	421	418	418
query2	6761	2472	2438	2438
query3	6947	233	222	222
query4	20381	18421	18333	18333
query5	19996	6703	6776	6703
query6	328	259	272	259
query7	4187	338	354	338
query8	478	466	457	457
query9	3276	2809	2767	2767
query10	519	372	384	372
query11	11457	10965	10953	10953
query12	159	110	112	110
query13	5666	729	751	729
query14	18853	13520	13724	13520
query15	396	262	247	247
query16	6496	324	306	306
query17	1587	1479	976	976
query18	2340	491	489	489
query19	245	200	186	186
query20	119	117	120	117
query21	250	150	154	150
query22	5298	5137	5006	5006
query23	32790	32253	32052	32052
query24	6934	6657	6589	6589
query25	591	493	492	492
query26	561	196	194	194
query27	1764	342	349	342
query28	6009	2444	2380	2380
query29	2955	2858	2761	2761
query30	287	209	211	209
query31	1004	840	874	840
query32	99	95	92	92
query33	489	341	342	341
query34	914	551	541	541
query35	1213	967	997	967
query36	1484	1232	1154	1154
query37	122	90	94	90
query38	3146	2999	2998	2998
query39	1481	1451	1423	1423
query40	260	148	151	148
query41	161	161	156	156
query42	113	112	110	110
query43	692	618	656	618
query44	1219	786	794	786
query45	294	279	278	278
query46	1287	1040	1034	1034
query47	1976	1758	1853	1758
query48	1045	776	762	762
query49	841	598	604	598
query50	958	732	699	699
query51	4889	4729	4724	4724
query52	127	103	114	103
query53	545	380	380	380
query54	2740	2550	2555	2550
query55	116	96	108	96
query56	321	306	293	293
query57	1364	1115	1300	1115
query58	324	318	314	314
query59	3812	3459	3296	3296
query60	308	282	298	282
query61	165	161	165	161
query62	846	515	523	515
query63	553	404	404	404
query64	2574	1731	1674	1674
query65	3679	3620	3654	3620
query66	1260	823	828	823
query67	16265	15531	14992	14992
query68	8525	699	701	699
query69	637	399	414	399
query70	1763	1455	1333	1333
query71	460	370	379	370
query72	6719	3566	3599	3566
query73	778	380	379	379
query74	6337	5993	5978	5978
query75	5199	3763	3836	3763
query76	5148	1188	1259	1188
query77	1014	424	428	424
query78	13044	12159	11783	11783
query79	8902	671	686	671
query80	1436	560	581	560
query81	538	280	280	280
query82	1565	127	130	127
query83	255	225	219	219
query84	289	98	100	98
query85	1042	422	432	422
query86	365	338	328	328
query87	3292	3077	3062	3062
query88	5289	2539	2540	2539
query89	418	331	347	331
query90	1957	256	258	256
query91	206	160	170	160
query92	94	87	85	85
query93	5629	593	596	593
query94	766	252	255	252
query95	1147	1123	1111	1111
query96	666	347	343	343
query97	6593	6525	6593	6525
query98	232	207	213	207
query99	2904	986	1040	986
Total cold run time: 320508 ms
Total hot run time: 209887 ms

[doris-robot]

ClickBench: Total hot run time: 31.75 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7486df064e8faf291bc04aeb05ad9d3df6f6e3e6, data reload: false

query1	0.02	0.02	0.02
query2	0.08	0.03	0.02
query3	0.26	0.05	0.04
query4	1.78	0.08	0.09
query5	0.54	0.56	0.53
query6	1.25	0.62	0.64
query7	0.02	0.01	0.02
query8	0.04	0.03	0.03
query9	0.53	0.49	0.50
query10	0.56	0.54	0.54
query11	0.13	0.10	0.10
query12	0.13	0.10	0.10
query13	0.63	0.62	0.63
query14	0.83	0.80	0.79
query15	0.77	0.77	0.79
query16	0.36	0.39	0.38
query17	0.97	1.01	1.04
query18	0.21	0.27	0.24
query19	1.94	1.88	1.87
query20	0.02	0.01	0.01
query21	15.47	0.62	0.55
query22	2.15	2.11	1.82
query23	17.13	1.13	0.99
query24	7.06	1.60	1.12
query25	0.40	0.10	0.04
query26	0.83	0.16	0.16
query27	0.06	0.04	0.04
query28	5.54	0.79	0.74
query29	12.73	2.34	2.28
query30	0.78	0.71	0.72
query31	2.82	0.40	0.38
query32	3.35	0.50	0.51
query33	3.10	3.06	3.08
query34	15.24	4.81	4.83
query35	4.90	4.89	4.87
query36	1.12	1.04	1.02
query37	0.08	0.06	0.06
query38	0.06	0.04	0.04
query39	0.04	0.03	0.03
query40	0.19	0.17	0.17
query41	0.08	0.04	0.03
query42	0.04	0.03	0.03
query43	0.04	0.03	0.03
Total cold run time: 104.28 s
Total hot run time: 31.75 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 7486df064e8faf291bc04aeb05ad9d3df6f6e3e6 with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.8 seconds inserted 10000000 Rows, about 458K ops/s

[Jibing-Li]

run beut