[Feature](materialized-view) support ignore not slot is null when count(slot) not has key in mv

[BiteTheDDDDt]

Proposed changes

support ignore not slot is null when count(slot) not has key in mv

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[BiteTheDDDDt]

run buildall

[doris-robot]

TPC-H: Total hot run time: 38353 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0e42055173656a372cad442931942861afd7e92a, data reload: false

------ Round 1 ----------------------------------
q1	17612	4266	4121	4121
q2	2103	163	154	154
q3	10584	1141	1244	1141
q4	10229	745	859	745
q5	7487	3010	3003	3003
q6	208	128	128	128
q7	1061	627	603	603
q8	9362	2060	2038	2038
q9	7236	6602	6601	6601
q10	8441	3498	3584	3498
q11	435	227	220	220
q12	371	205	199	199
q13	17796	2867	2873	2867
q14	239	195	206	195
q15	508	467	467	467
q16	501	373	377	373
q17	957	528	642	528
q18	7086	6538	6514	6514
q19	1539	1465	1423	1423
q20	546	253	251	251
q21	3683	2987	2982	2982
q22	356	315	302	302
Total cold run time: 108340 ms
Total hot run time: 38353 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4098	4106	4122	4106
q2	335	232	230	230
q3	3004	2850	2802	2802
q4	1835	1558	1558	1558
q5	5324	5327	5340	5327
q6	196	116	119	116
q7	2233	1844	1869	1844
q8	3160	3291	3276	3276
q9	8716	8722	8759	8722
q10	3833	3774	3791	3774
q11	562	457	440	440
q12	719	550	553	550
q13	15961	2852	2852	2852
q14	283	256	262	256
q15	501	459	457	457
q16	474	410	418	410
q17	1737	1498	1454	1454
q18	7379	7165	7054	7054
q19	1604	1487	1503	1487
q20	1916	1737	1706	1706
q21	4845	4695	4736	4695
q22	544	455	445	445
Total cold run time: 69259 ms
Total hot run time: 53561 ms

[doris-robot]

TPC-DS: Total hot run time: 182581 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0e42055173656a372cad442931942861afd7e92a, data reload: false

query1	941	381	365	365
query2	6548	1984	1864	1864
query3	6707	212	208	208
query4	31872	21367	21287	21287
query5	4291	419	407	407
query6	266	194	182	182
query7	4638	306	301	301
query8	233	175	175	175
query9	9398	2336	2323	2323
query10	565	255	260	255
query11	14706	14268	14425	14268
query12	150	88	88	88
query13	1634	415	420	415
query14	10480	8087	7571	7571
query15	269	193	208	193
query16	8221	274	259	259
query17	1975	580	555	555
query18	2125	296	292	292
query19	359	156	160	156
query20	99	88	88	88
query21	204	126	124	124
query22	5044	4954	4823	4823
query23	33694	33212	32983	32983
query24	12005	2902	2901	2901
query25	663	398	385	385
query26	1790	166	159	159
query27	3157	358	356	356
query28	7404	1870	1893	1870
query29	1026	634	636	634
query30	304	150	151	150
query31	968	744	762	744
query32	104	60	57	57
query33	776	256	258	256
query34	1134	515	498	498
query35	845	635	626	626
query36	1031	907	890	890
query37	277	66	65	65
query38	3624	3474	3433	3433
query39	1485	1488	1566	1488
query40	294	117	116	116
query41	52	48	50	48
query42	104	98	104	98
query43	503	447	452	447
query44	1192	736	734	734
query45	292	259	263	259
query46	1126	726	695	695
query47	1936	1829	1836	1829
query48	454	355	379	355
query49	1245	347	356	347
query50	777	377	379	377
query51	6727	6729	6581	6581
query52	104	86	93	86
query53	346	282	286	282
query54	324	242	237	237
query55	91	84	82	82
query56	258	234	232	232
query57	1229	1152	1140	1140
query58	251	212	218	212
query59	2802	2606	2625	2606
query60	286	249	259	249
query61	141	114	116	114
query62	677	452	452	452
query63	309	283	286	283
query64	6919	4161	4102	4102
query65	3126	3046	3033	3033
query66	1410	378	356	356
query67	15705	15030	15168	15030
query68	8727	530	522	522
query69	647	386	381	381
query70	1360	1151	1197	1151
query71	512	268	267	267
query72	6243	2749	2584	2584
query73	1494	322	325	322
query74	7065	6465	6365	6365
query75	3749	2239	2241	2239
query76	5386	924	854	854
query77	658	260	258	258
query78	10970	10218	10202	10202
query79	9922	518	526	518
query80	1618	371	377	371
query81	508	216	213	213
query82	666	88	88	88
query83	218	150	152	150
query84	291	77	79	77
query85	1115	319	317	317
query86	370	285	308	285
query87	3812	3520	3521	3520
query88	4852	2287	2301	2287
query89	499	367	370	367
query90	2076	175	174	174
query91	174	136	159	136
query92	60	47	50	47
query93	6828	500	483	483
query94	1315	175	176	175
query95	438	339	325	325
query96	615	265	260	260
query97	2620	2473	2497	2473
query98	236	221	210	210
query99	1183	884	913	884
Total cold run time: 315919 ms
Total hot run time: 182581 ms

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 0e42055173656a372cad442931942861afd7e92a with default session variables
Stream load json:         19 seconds loaded 2358488459 Bytes, about 118 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       13.6 seconds inserted 10000000 Rows, about 735K ops/s

[BiteTheDDDDt]

run buildall

[doris-robot]

TPC-H: Total hot run time: 37262 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 72e0bf33ce3b57f7a8740f7b7ceb0e3d2ad1e80c, data reload: false

------ Round 1 ----------------------------------
q1	17646	4191	4065	4065
q2	2121	168	155	155
q3	10564	1122	1227	1122
q4	10235	794	756	756
q5	7468	2927	2858	2858
q6	201	124	125	124
q7	1025	591	575	575
q8	9355	2005	1995	1995
q9	6967	6318	6311	6311
q10	8454	3445	3561	3445
q11	438	236	228	228
q12	433	210	198	198
q13	17801	2843	2859	2843
q14	245	206	216	206
q15	511	469	466	466
q16	495	366	370	366
q17	936	527	563	527
q18	7071	6462	6298	6298
q19	3102	1405	1463	1405
q20	570	245	250	245
q21	3521	2790	2969	2790
q22	338	284	291	284
Total cold run time: 109497 ms
Total hot run time: 37262 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4092	4051	4059	4051
q2	322	231	236	231
q3	2977	2877	2794	2794
q4	1819	1570	1559	1559
q5	5166	5240	5196	5196
q6	196	119	121	119
q7	2186	1774	1793	1774
q8	3143	3288	3297	3288
q9	8389	8400	8371	8371
q10	3797	3789	3996	3789
q11	545	474	458	458
q12	760	614	589	589
q13	17101	3028	3057	3028
q14	306	260	274	260
q15	536	493	476	476
q16	491	453	454	453
q17	1786	1517	1531	1517
q18	8011	7814	7624	7624
q19	1696	1601	1554	1554
q20	2019	1852	1735	1735
q21	4901	4861	4907	4861
q22	534	458	453	453
Total cold run time: 70773 ms
Total hot run time: 54180 ms

[doris-robot]

TPC-DS: Total hot run time: 182724 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 72e0bf33ce3b57f7a8740f7b7ceb0e3d2ad1e80c, data reload: false

query1	925	359	348	348
query2	6322	2078	1915	1915
query3	6697	214	215	214
query4	31588	21252	21245	21245
query5	4312	402	390	390
query6	272	180	173	173
query7	4623	292	293	292
query8	243	183	168	168
query9	9223	2291	2283	2283
query10	439	253	277	253
query11	14751	14214	14143	14143
query12	135	90	88	88
query13	1626	447	438	438
query14	10030	7909	7575	7575
query15	245	192	181	181
query16	8209	265	273	265
query17	1993	594	553	553
query18	2107	288	287	287
query19	354	157	154	154
query20	98	84	90	84
query21	199	129	129	129
query22	4984	4839	4858	4839
query23	33605	32850	32976	32850
query24	10927	2959	3032	2959
query25	609	415	416	415
query26	1209	163	170	163
query27	2492	378	377	377
query28	7302	1972	1948	1948
query29	931	667	655	655
query30	310	158	156	156
query31	1060	740	778	740
query32	99	62	58	58
query33	776	265	263	263
query34	1340	515	534	515
query35	892	733	717	717
query36	1064	926	915	915
query37	116	69	70	69
query38	3754	3693	3603	3603
query39	1656	1605	1601	1601
query40	171	115	115	115
query41	53	48	49	48
query42	110	103	99	99
query43	475	460	466	460
query44	1188	765	780	765
query45	287	286	248	248
query46	1152	733	719	719
query47	2057	1938	1885	1885
query48	466	376	369	369
query49	874	355	363	355
query50	803	385	396	385
query51	6849	6774	6776	6774
query52	113	96	90	90
query53	351	282	274	274
query54	302	258	255	255
query55	89	83	81	81
query56	251	238	227	227
query57	1271	1164	1183	1164
query58	234	212	206	206
query59	2999	2647	2557	2557
query60	267	234	235	234
query61	96	89	96	89
query62	607	439	432	432
query63	299	270	268	268
query64	5129	4059	4045	4045
query65	3065	3041	3023	3023
query66	788	357	349	349
query67	15446	14866	15000	14866
query68	10039	535	547	535
query69	671	378	376	376
query70	1373	1150	1120	1120
query71	545	269	266	266
query72	6953	2535	2371	2371
query73	1643	320	325	320
query74	8279	6477	6400	6400
query75	4544	2200	2246	2200
query76	5988	863	827	827
query77	626	254	253	253
query78	10985	10276	10218	10218
query79	9959	540	523	523
query80	2350	384	384	384
query81	512	219	211	211
query82	173	84	88	84
query83	237	151	147	147
query84	289	78	76	76
query85	1233	309	300	300
query86	357	292	281	281
query87	3814	3511	3519	3511
query88	4719	2428	2425	2425
query89	486	358	375	358
query90	2421	176	178	176
query91	166	132	135	132
query92	61	44	45	44
query93	5403	488	480	480
query94	1506	176	175	175
query95	408	305	305	305
query96	596	283	278	278
query97	2683	2502	2506	2502
query98	254	216	223	216
query99	1045	866	827	827
Total cold run time: 313627 ms
Total hot run time: 182724 ms

[doris-robot]

ClickBench: Total hot run time: 30.85 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 72e0bf33ce3b57f7a8740f7b7ceb0e3d2ad1e80c, data reload: false

query1	0.04	0.04	0.04
query2	0.06	0.02	0.02
query3	0.23	0.06	0.06
query4	1.65	0.10	0.09
query5	0.51	0.48	0.50
query6	1.13	0.65	0.64
query7	0.02	0.02	0.01
query8	0.04	0.03	0.02
query9	0.56	0.51	0.50
query10	0.55	0.55	0.56
query11	0.12	0.09	0.09
query12	0.12	0.10	0.09
query13	0.57	0.57	0.57
query14	0.75	0.77	0.75
query15	0.80	0.80	0.79
query16	0.38	0.35	0.38
query17	0.94	0.93	0.99
query18	0.22	0.24	0.22
query19	1.77	1.80	1.80
query20	0.01	0.01	0.01
query21	15.53	0.56	0.56
query22	2.48	1.82	1.95
query23	17.05	1.04	0.82
query24	3.50	2.08	2.18
query25	0.26	0.18	0.17
query26	0.72	0.12	0.12
query27	0.05	0.04	0.03
query28	9.52	0.89	0.89
query29	12.56	3.16	3.21
query30	0.28	0.09	0.08
query31	2.81	0.34	0.35
query32	3.35	0.45	0.44
query33	2.79	2.82	2.77
query34	16.02	4.38	4.39
query35	4.54	4.42	4.43
query36	0.64	0.47	0.49
query37	0.07	0.06	0.05
query38	0.04	0.03	0.03
query39	0.03	0.02	0.02
query40	0.18	0.13	0.14
query41	0.08	0.03	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.02
Total cold run time: 103.03 s
Total hot run time: 30.85 s

[BiteTheDDDDt]

run buildall

[BiteTheDDDDt]

run buildall

[doris-robot]

TPC-H: Total hot run time: 37941 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4a9d04cf42925a1edd8a685cf78fa4c31f41e463, data reload: false

------ Round 1 ----------------------------------
q1	17626	4253	4137	4137
q2	2109	158	161	158
q3	10578	1177	1203	1177
q4	10229	760	796	760
q5	7468	2966	2925	2925
q6	207	126	122	122
q7	1043	603	564	564
q8	9351	2074	2025	2025
q9	7003	6363	6323	6323
q10	8422	3491	3568	3491
q11	433	232	214	214
q12	372	199	199	199
q13	17806	2885	2847	2847
q14	244	219	214	214
q15	517	461	466	461
q16	489	369	368	368
q17	982	561	619	561
q18	7237	6626	6435	6435
q19	3724	1466	1493	1466
q20	546	260	253	253
q21	3657	2953	2970	2953
q22	340	288	290	288
Total cold run time: 110383 ms
Total hot run time: 37941 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4132	4105	4083	4083
q2	326	228	230	228
q3	3015	2857	2848	2848
q4	1873	1550	1613	1550
q5	5239	5263	5251	5251
q6	199	117	119	117
q7	2207	1797	1871	1797
q8	3203	3323	3318	3318
q9	8481	8502	8484	8484
q10	3820	4029	3986	3986
q11	563	457	466	457
q12	827	572	571	571
q13	16917	2888	2899	2888
q14	277	253	255	253
q15	507	450	461	450
q16	476	421	417	417
q17	1747	1500	1499	1499
q18	7404	7235	7109	7109
q19	1614	1501	1503	1501
q20	1932	1719	1679	1679
q21	4887	4736	4752	4736
q22	518	436	449	436
Total cold run time: 70164 ms
Total hot run time: 53658 ms

[doris-robot]

TPC-DS: Total hot run time: 181855 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4a9d04cf42925a1edd8a685cf78fa4c31f41e463, data reload: false

query1	944	361	343	343
query2	7612	1934	1962	1934
query3	6702	212	223	212
query4	31641	21276	21321	21276
query5	4282	433	401	401
query6	273	179	180	179
query7	4626	289	290	289
query8	234	198	186	186
query9	9182	2330	2312	2312
query10	562	266	271	266
query11	17271	14233	14276	14233
query12	142	90	88	88
query13	1655	419	433	419
query14	10074	7652	7856	7652
query15	247	187	180	180
query16	8204	266	263	263
query17	1959	586	564	564
query18	2101	294	281	281
query19	359	158	159	158
query20	97	89	91	89
query21	203	126	129	126
query22	4915	4780	4735	4735
query23	33794	32856	32675	32675
query24	11697	2880	2905	2880
query25	661	397	388	388
query26	1786	155	154	154
query27	2930	321	329	321
query28	7571	1885	1911	1885
query29	1020	644	618	618
query30	297	156	147	147
query31	1005	730	740	730
query32	91	59	59	59
query33	765	259	263	259
query34	1028	496	506	496
query35	916	666	668	666
query36	1044	903	905	903
query37	257	66	72	66
query38	3554	3445	3388	3388
query39	1610	1558	1518	1518
query40	294	109	108	108
query41	49	50	48	48
query42	114	99	99	99
query43	482	457	465	457
query44	1193	740	729	729
query45	265	266	261	261
query46	1115	697	694	694
query47	1877	1841	1843	1841
query48	442	348	353	348
query49	1262	341	348	341
query50	768	383	375	375
query51	6563	6542	6699	6542
query52	102	90	95	90
query53	347	288	280	280
query54	328	244	245	244
query55	90	84	83	83
query56	249	233	230	230
query57	1199	1139	1128	1128
query58	259	218	240	218
query59	3116	2684	2810	2684
query60	266	260	250	250
query61	118	122	128	122
query62	679	453	449	449
query63	311	273	277	273
query64	6429	4017	4123	4017
query65	3112	3088	3054	3054
query66	1403	379	346	346
query67	15529	15103	14919	14919
query68	9282	546	546	546
query69	692	397	381	381
query70	1387	1170	1200	1170
query71	523	268	265	265
query72	6587	2528	2396	2396
query73	1618	316	324	316
query74	6845	6312	6335	6312
query75	3813	2228	2180	2180
query76	5890	860	897	860
query77	649	258	259	258
query78	11016	10346	10164	10164
query79	12103	532	531	531
query80	1779	401	392	392
query81	506	220	215	215
query82	225	86	91	86
query83	213	151	148	148
query84	281	79	78	78
query85	1230	311	308	308
query86	360	320	313	313
query87	3805	3548	3532	3532
query88	5193	2313	2301	2301
query89	516	382	379	379
query90	2049	181	189	181
query91	173	141	137	137
query92	59	48	50	48
query93	6473	509	491	491
query94	1307	178	183	178
query95	407	316	316	316
query96	610	283	275	275
query97	2650	2483	2483	2483
query98	242	213	208	208
query99	1116	843	838	838
Total cold run time: 320871 ms
Total hot run time: 181855 ms

[doris-robot]

ClickBench: Total hot run time: 29.55 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4a9d04cf42925a1edd8a685cf78fa4c31f41e463, data reload: false

query1	0.04	0.04	0.04
query2	0.06	0.03	0.02
query3	0.22	0.06	0.06
query4	1.65	0.11	0.10
query5	0.51	0.48	0.51
query6	1.13	0.66	0.66
query7	0.02	0.01	0.02
query8	0.04	0.03	0.02
query9	0.57	0.49	0.50
query10	0.54	0.53	0.55
query11	0.13	0.08	0.10
query12	0.12	0.09	0.09
query13	0.58	0.57	0.57
query14	0.74	0.78	0.76
query15	0.82	0.80	0.80
query16	0.38	0.37	0.37
query17	0.98	0.92	1.00
query18	0.22	0.24	0.21
query19	1.75	1.73	1.70
query20	0.01	0.01	0.01
query21	15.52	0.58	0.58
query22	2.40	2.91	1.52
query23	17.12	0.77	0.79
query24	3.34	1.10	1.19
query25	0.35	0.36	0.20
query26	0.27	0.12	0.12
query27	0.05	0.05	0.03
query28	11.45	0.88	0.85
query29	12.53	3.23	3.31
query30	0.29	0.08	0.08
query31	2.81	0.36	0.34
query32	3.45	0.44	0.43
query33	2.79	2.82	2.79
query34	16.39	4.37	4.38
query35	4.41	4.43	4.50
query36	0.64	0.49	0.48
query37	0.08	0.06	0.05
query38	0.04	0.03	0.03
query39	0.03	0.02	0.02
query40	0.17	0.14	0.14
query41	0.07	0.02	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 104.77 s
Total hot run time: 29.55 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 4a9d04cf42925a1edd8a685cf78fa4c31f41e463 with default session variables
Stream load json:         18 seconds loaded 2358488459 Bytes, about 124 MB/s
Stream load orc:          59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       14.3 seconds inserted 10000000 Rows, about 699K ops/s

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.