[improvement](statistics)Analyze all columns when partition first loaded.

[Jibing-Li]

backport: #38540

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[Jibing-Li]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49592 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 535ec0ce152d39c7814445d8e6a1d5cd0ffa6987, data reload: false

------ Round 1 ----------------------------------
q1	17862	4384	4333	4333
q2	2058	153	152	152
q3	10299	1922	1986	1922
q4	10303	1213	1309	1213
q5	8781	3922	3910	3910
q6	234	149	127	127
q7	2022	1572	1612	1572
q8	9263	2730	2701	2701
q9	10607	10163	10165	10163
q10	8669	3476	3507	3476
q11	414	241	254	241
q12	466	306	302	302
q13	18342	3995	4033	3995
q14	349	323	336	323
q15	509	451	462	451
q16	674	561	567	561
q17	1123	940	936	936
q18	7285	6842	6785	6785
q19	1774	1647	1663	1647
q20	547	308	316	308
q21	4407	4104	4023	4023
q22	537	454	451	451
Total cold run time: 116525 ms
Total hot run time: 49592 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4285	4291	4338	4291
q2	315	220	220	220
q3	4208	4114	4119	4114
q4	2739	2751	2762	2751
q5	7155	7094	7098	7094
q6	236	120	122	120
q7	3210	2822	2824	2822
q8	4328	4456	4491	4456
q9	16809	16610	16739	16610
q10	4208	4255	4276	4255
q11	732	689	694	689
q12	1015	838	837	837
q13	7366	3726	3766	3726
q14	448	428	416	416
q15	498	456	459	456
q16	727	669	683	669
q17	3889	3905	3823	3823
q18	8866	8655	8697	8655
q19	1756	1718	1644	1644
q20	2402	2104	2135	2104
q21	8523	8453	8386	8386
q22	1088	1012	1033	1012
Total cold run time: 84803 ms
Total hot run time: 79150 ms

[doris-robot]

TPC-DS: Total hot run time: 203076 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 535ec0ce152d39c7814445d8e6a1d5cd0ffa6987, data reload: false

query1	929	421	374	374
query2	6545	2710	2746	2710
query3	6916	208	198	198
query4	20999	18045	17929	17929
query5	19734	6531	6542	6531
query6	281	221	238	221
query7	4188	301	301	301
query8	442	431	424	424
query9	3124	2702	2625	2625
query10	427	324	281	281
query11	11362	10748	10702	10702
query12	124	71	77	71
query13	5597	695	693	693
query14	17706	13065	13531	13065
query15	367	238	255	238
query16	6452	293	266	266
query17	1495	1784	879	879
query18	2276	408	409	408
query19	204	151	152	151
query20	79	79	78	78
query21	198	95	100	95
query22	5065	5052	5093	5052
query23	32515	32024	31815	31815
query24	7011	6499	6493	6493
query25	521	438	423	423
query26	472	162	159	159
query27	1736	296	294	294
query28	6184	2394	2353	2353
query29	2805	2799	2765	2765
query30	240	165	170	165
query31	905	731	729	729
query32	68	65	61	61
query33	394	252	250	250
query34	841	469	496	469
query35	1126	887	859	859
query36	1284	1169	1108	1108
query37	91	61	62	61
query38	3068	2901	2919	2901
query39	1371	1347	1316	1316
query40	207	94	99	94
query41	46	44	44	44
query42	81	84	82	82
query43	691	847	761	761
query44	1125	736	734	734
query45	244	243	237	237
query46	1217	947	972	947
query47	1855	1751	1728	1728
query48	1021	693	717	693
query49	606	382	369	369
query50	851	639	576	576
query51	4756	4733	4637	4637
query52	84	85	80	80
query53	450	323	321	321
query54	2647	2478	2471	2471
query55	85	91	83	83
query56	252	218	203	203
query57	1106	1098	1152	1098
query58	223	203	212	203
query59	4213	3733	3908	3733
query60	225	212	221	212
query61	100	97	97	97
query62	811	497	468	468
query63	488	342	337	337
query64	2224	1498	1460	1460
query65	3626	3545	3548	3545
query66	781	381	380	380
query67	15601	15254	16562	15254
query68	9150	698	652	652
query69	589	368	333	333
query70	1550	1526	1436	1436
query71	420	306	313	306
query72	6490	3462	3504	3462
query73	736	338	322	322
query74	6427	5887	5908	5887
query75	5372	3760	3762	3760
query76	5659	1130	1163	1130
query77	990	256	265	256
query78	12619	11967	11456	11456
query79	9651	635	651	635
query80	1277	402	397	397
query81	491	231	234	231
query82	1705	97	103	97
query83	161	132	133	132
query84	251	72	70	70
query85	854	332	331	331
query86	328	294	291	291
query87	3206	3031	2983	2983
query88	4850	2324	2326	2324
query89	484	304	274	274
query90	1984	221	218	218
query91	172	141	153	141
query92	65	52	53	52
query93	7094	564	567	564
query94	708	209	214	209
query95	1120	1056	1041	1041
query96	648	325	334	325
query97	6389	6380	6377	6377
query98	191	177	170	170
query99	3010	883	854	854
Total cold run time: 315399 ms
Total hot run time: 203076 ms

[doris-robot]

ClickBench: Total hot run time: 30.66 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 535ec0ce152d39c7814445d8e6a1d5cd0ffa6987, data reload: false

query1	0.02	0.03	0.02
query2	0.07	0.02	0.02
query3	0.25	0.04	0.04
query4	1.80	0.06	0.06
query5	0.54	0.53	0.52
query6	1.25	0.61	0.63
query7	0.02	0.01	0.00
query8	0.04	0.02	0.03
query9	0.54	0.50	0.48
query10	0.53	0.53	0.53
query11	0.11	0.08	0.09
query12	0.11	0.09	0.09
query13	0.62	0.61	0.61
query14	0.80	0.79	0.77
query15	0.76	0.76	0.75
query16	0.37	0.37	0.38
query17	0.97	1.00	0.98
query18	0.23	0.24	0.27
query19	1.88	1.84	1.87
query20	0.02	0.01	0.01
query21	15.45	0.55	0.55
query22	2.02	2.76	1.60
query23	17.36	1.11	0.88
query24	6.06	1.08	1.02
query25	0.40	0.10	0.04
query26	0.69	0.15	0.15
query27	0.04	0.04	0.04
query28	7.02	0.76	0.73
query29	12.76	2.27	2.34
query30	0.55	0.54	0.54
query31	2.81	0.38	0.37
query32	3.39	0.49	0.50
query33	3.07	3.08	3.11
query34	15.28	4.81	4.78
query35	4.84	4.83	4.86
query36	1.06	1.00	1.02
query37	0.06	0.04	0.05
query38	0.04	0.02	0.02
query39	0.02	0.02	0.02
query40	0.16	0.14	0.14
query41	0.07	0.01	0.01
query42	0.02	0.01	0.02
query43	0.02	0.01	0.02
Total cold run time: 104.12 s
Total hot run time: 30.66 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 535ec0ce152d39c7814445d8e6a1d5cd0ffa6987 with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.3 seconds inserted 10000000 Rows, about 469K ops/s

[Jibing-Li]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49933 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a077919ad2dc4e458f7c36af8b93272b316293bc, data reload: false

------ Round 1 ----------------------------------
q1	18113	4377	4328	4328
q2	2068	154	149	149
q3	10531	1896	1928	1896
q4	10321	1228	1322	1228
q5	8423	3885	4003	3885
q6	234	152	128	128
q7	2028	1614	1635	1614
q8	9508	2719	2719	2719
q9	13772	10451	10400	10400
q10	8649	3549	3485	3485
q11	416	244	253	244
q12	469	294	297	294
q13	18374	3976	4021	3976
q14	356	322	334	322
q15	510	457	464	457
q16	671	571	581	571
q17	1115	961	925	925
q18	7274	6936	6964	6936
q19	1792	1643	1538	1538
q20	559	317	318	317
q21	4345	4119	4080	4080
q22	518	456	441	441
Total cold run time: 120046 ms
Total hot run time: 49933 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4337	4285	4277	4277
q2	322	232	225	225
q3	4138	4157	4106	4106
q4	2727	2744	2735	2735
q5	7212	7186	7124	7124
q6	237	121	125	121
q7	3254	2825	2815	2815
q8	4374	4458	4473	4458
q9	17265	17040	16980	16980
q10	4237	4252	4254	4252
q11	743	685	712	685
q12	1024	865	860	860
q13	6732	3747	3743	3743
q14	456	417	426	417
q15	500	455	465	455
q16	743	687	683	683
q17	3797	3843	3794	3794
q18	8849	8799	8772	8772
q19	1739	1632	1675	1632
q20	2369	2136	2097	2097
q21	8493	8452	8424	8424
q22	1043	992	996	992
Total cold run time: 84591 ms
Total hot run time: 79647 ms

[doris-robot]

TPC-DS: Total hot run time: 203879 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a077919ad2dc4e458f7c36af8b93272b316293bc, data reload: false

query1	946	420	374	374
query2	6556	2677	2654	2654
query3	6926	210	204	204
query4	21556	18093	18190	18093
query5	19763	6546	6540	6540
query6	289	211	220	211
query7	4205	288	314	288
query8	426	442	380	380
query9	3160	2726	2653	2653
query10	424	300	298	298
query11	11421	10707	10671	10671
query12	131	82	77	77
query13	5715	717	716	716
query14	18147	13437	13680	13437
query15	369	240	242	240
query16	6443	298	267	267
query17	1704	1429	875	875
query18	2309	418	403	403
query19	205	152	158	152
query20	79	81	77	77
query21	199	103	93	93
query22	5268	5133	5130	5130
query23	32763	31996	31846	31846
query24	6924	6513	6501	6501
query25	527	440	428	428
query26	620	176	164	164
query27	2008	292	296	292
query28	6163	2395	2367	2367
query29	2960	2850	2768	2768
query30	254	171	167	167
query31	926	740	730	730
query32	71	64	61	61
query33	401	272	246	246
query34	866	490	487	487
query35	1138	915	932	915
query36	1300	1192	1165	1165
query37	92	61	60	60
query38	3078	2917	2983	2917
query39	1365	1343	1322	1322
query40	245	94	94	94
query41	46	44	44	44
query42	85	87	91	87
query43	760	717	691	691
query44	1135	723	726	723
query45	246	242	237	237
query46	1220	975	995	975
query47	1908	1694	2016	1694
query48	1020	718	730	718
query49	624	379	365	365
query50	870	651	625	625
query51	4747	4659	4638	4638
query52	103	80	87	80
query53	445	322	327	322
query54	2665	2466	2489	2466
query55	94	81	84	81
query56	246	222	211	211
query57	1184	1144	1066	1066
query58	227	208	206	206
query59	4135	3998	4053	3998
query60	216	214	213	213
query61	99	96	99	96
query62	816	565	482	482
query63	485	344	350	344
query64	2746	1565	1448	1448
query65	3649	3580	3553	3553
query66	812	379	378	378
query67	16222	15677	14918	14918
query68	9294	686	658	658
query69	578	368	358	358
query70	1856	1329	1419	1329
query71	412	303	317	303
query72	6597	3500	3524	3500
query73	741	317	312	312
query74	6330	5780	5872	5780
query75	5296	3752	3771	3752
query76	5738	1190	1235	1190
query77	970	256	265	256
query78	12677	11750	11718	11718
query79	10063	646	640	640
query80	1459	402	407	402
query81	493	232	231	231
query82	1574	104	96	96
query83	171	135	133	133
query84	258	73	72	72
query85	890	333	341	333
query86	330	291	291	291
query87	3264	3041	3017	3017
query88	4948	2324	2317	2317
query89	481	286	275	275
query90	1984	212	218	212
query91	186	139	146	139
query92	64	54	55	54
query93	6876	598	588	588
query94	717	215	219	215
query95	1122	1060	1052	1052
query96	638	340	336	336
query97	6563	6365	6325	6325
query98	192	173	176	173
query99	2956	886	800	800
Total cold run time: 320465 ms
Total hot run time: 203879 ms

[doris-robot]

ClickBench: Total hot run time: 30.81 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a077919ad2dc4e458f7c36af8b93272b316293bc, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.02	0.02
query3	0.25	0.05	0.06
query4	1.78	0.06	0.07
query5	0.54	0.53	0.52
query6	1.26	0.62	0.61
query7	0.02	0.01	0.01
query8	0.03	0.02	0.02
query9	0.52	0.48	0.47
query10	0.55	0.54	0.53
query11	0.12	0.09	0.09
query12	0.12	0.09	0.09
query13	0.62	0.62	0.61
query14	0.78	0.79	0.78
query15	0.77	0.76	0.76
query16	0.36	0.40	0.35
query17	1.01	1.02	1.03
query18	0.23	0.25	0.28
query19	1.94	1.82	1.83
query20	0.01	0.01	0.01
query21	15.48	0.57	0.56
query22	1.98	2.32	1.76
query23	17.03	1.13	0.96
query24	5.99	1.16	0.87
query25	0.37	0.08	0.05
query26	0.71	0.14	0.15
query27	0.03	0.03	0.04
query28	7.17	0.77	0.73
query29	12.62	2.32	2.34
query30	0.53	0.53	0.50
query31	2.82	0.39	0.37
query32	3.38	0.49	0.50
query33	3.04	3.07	3.08
query34	15.26	4.80	4.79
query35	4.83	4.83	4.87
query36	1.06	1.02	1.00
query37	0.06	0.05	0.05
query38	0.03	0.02	0.02
query39	0.02	0.01	0.02
query40	0.16	0.14	0.13
query41	0.07	0.01	0.02
query42	0.03	0.01	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.69 s
Total hot run time: 30.81 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit a077919ad2dc4e458f7c36af8b93272b316293bc with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.6 seconds inserted 10000000 Rows, about 462K ops/s

[Jibing-Li]

run p0