[Feat](Nereids) add use mv hint (#40167)

[LiBinfeng-01]

cherry-pick: #40167
support hint like:
/*+ no_use_mv(tablename mvname) / which forbid tablename(indexname) to be choose
or /+ use_mv(tablename mvname) */ which choose specific materialize view

Proposed changes

Issue Number: close #xxx

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[LiBinfeng-01]

run buildall

[LiBinfeng-01]

run buildall

[doris-robot]

TPC-H: Total hot run time: 48831 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c3b6a6ed438f6c936b75414d7a533bd09477a28f, data reload: false

------ Round 1 ----------------------------------
q1	17834	4418	4312	4312
q2	2072	153	145	145
q3	10268	1917	1935	1917
q4	10100	1234	1310	1234
q5	8401	3894	3896	3894
q6	237	122	124	122
q7	2035	1615	1579	1579
q8	9299	2725	2705	2705
q9	10087	9894	9681	9681
q10	8646	3509	3529	3509
q11	424	241	254	241
q12	474	298	317	298
q13	18371	3962	4020	3962
q14	355	339	325	325
q15	513	460	467	460
q16	567	476	451	451
q17	1118	972	937	937
q18	7270	6808	6864	6808
q19	1680	1577	1492	1492
q20	530	311	292	292
q21	4411	4086	4100	4086
q22	492	401	381	381
Total cold run time: 115184 ms
Total hot run time: 48831 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4301	4298	4387	4298
q2	323	231	231	231
q3	4161	4131	4140	4131
q4	2730	2756	2753	2753
q5	7180	7064	7115	7064
q6	237	115	120	115
q7	3231	2885	2816	2816
q8	4364	4457	4536	4457
q9	13749	13420	13568	13420
q10	4205	4230	4282	4230
q11	753	684	684	684
q12	1026	864	863	863
q13	6763	3755	3709	3709
q14	452	433	430	430
q15	503	465	449	449
q16	635	604	609	604
q17	3813	3741	3772	3741
q18	8780	8638	8866	8638
q19	1710	1654	1628	1628
q20	2365	2122	2122	2122
q21	8481	8495	8364	8364
q22	1036	975	986	975
Total cold run time: 80798 ms
Total hot run time: 75722 ms

[doris-robot]

TPC-DS: Total hot run time: 211797 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c3b6a6ed438f6c936b75414d7a533bd09477a28f, data reload: false

query1	928	395	437	395
query2	6566	2278	2041	2041
query3	6913	205	205	205
query4	23223	21840	21804	21804
query5	19728	6572	6544	6544
query6	289	223	229	223
query7	4330	320	333	320
query8	282	236	235	235
query9	3169	2706	2627	2627
query10	473	311	303	303
query11	15528	15158	15010	15010
query12	130	78	78	78
query13	1058	467	450	450
query14	17294	13183	13632	13183
query15	387	224	238	224
query16	6490	303	275	275
query17	1707	939	914	914
query18	902	314	327	314
query19	217	145	158	145
query20	83	80	81	80
query21	193	99	97	97
query22	5235	4977	4922	4922
query23	34480	33537	33419	33419
query24	7889	6308	6327	6308
query25	528	447	438	438
query26	1273	169	165	165
query27	2393	307	299	299
query28	6037	2272	2241	2241
query29	3047	2708	2717	2708
query30	245	171	166	166
query31	978	740	748	740
query32	73	66	61	61
query33	469	264	251	251
query34	863	477	483	477
query35	1131	906	981	906
query36	1444	1083	1124	1083
query37	174	63	61	61
query38	3037	2886	2916	2886
query39	1376	1352	1316	1316
query40	313	103	105	103
query41	40	37	37	37
query42	92	87	81	81
query43	673	566	647	566
query44	1158	729	731	729
query45	246	231	237	231
query46	1238	967	989	967
query47	1824	1629	1744	1629
query48	508	414	418	414
query49	652	375	381	375
query50	852	631	606	606
query51	4772	4658	4626	4626
query52	81	82	77	77
query53	250	198	187	187
query54	2693	2477	2489	2477
query55	84	77	82	77
query56	226	197	216	197
query57	1157	1041	1110	1041
query58	240	211	219	211
query59	3502	3154	3329	3154
query60	219	221	195	195
query61	98	94	97	94
query62	788	480	460	460
query63	202	183	178	178
query64	3514	1607	1360	1360
query65	3587	3543	3583	3543
query66	781	438	408	408
query67	15581	17582	15167	15167
query68	9237	649	680	649
query69	486	249	252	249
query70	1733	1409	1594	1409
query71	398	298	307	298
query72	6848	4782	4802	4782
query73	767	314	316	314
query74	6333	5819	5894	5819
query75	4631	3759	3715	3715
query76	4766	1136	1215	1136
query77	679	257	257	257
query78	12500	12016	11532	11532
query79	8196	644	644	644
query80	2440	378	379	378
query81	509	240	235	235
query82	1337	98	99	98
query83	166	138	134	134
query84	253	71	69	69
query85	1365	332	320	320
query86	357	291	330	291
query87	3149	2993	3084	2993
query88	4648	2309	2291	2291
query89	451	297	283	283
query90	1773	208	213	208
query91	162	126	124	124
query92	61	52	55	52
query93	5754	629	548	548
query94	892	213	214	213
query95	2052	2043	1942	1942
query96	655	330	330	330
query97	6444	6303	6373	6303
query98	239	216	204	204
query99	2961	873	881	873
Total cold run time: 318175 ms
Total hot run time: 211797 ms

[doris-robot]

ClickBench: Total hot run time: 31.54 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit c3b6a6ed438f6c936b75414d7a533bd09477a28f, data reload: false

query1	0.02	0.02	0.02
query2	0.08	0.03	0.02
query3	0.25	0.04	0.04
query4	1.78	0.06	0.06
query5	0.54	0.52	0.52
query6	1.31	0.61	0.63
query7	0.01	0.01	0.01
query8	0.04	0.03	0.03
query9	0.51	0.49	0.48
query10	0.54	0.53	0.53
query11	0.12	0.08	0.09
query12	0.12	0.09	0.09
query13	0.62	0.62	0.62
query14	0.79	0.81	0.78
query15	0.78	0.76	0.77
query16	0.38	0.37	0.36
query17	1.03	1.01	0.99
query18	0.21	0.25	0.23
query19	1.93	1.82	1.87
query20	0.02	0.01	0.01
query21	15.45	0.56	0.55
query22	2.08	2.54	2.08
query23	17.16	0.94	1.06
query24	6.56	1.62	1.30
query25	0.37	0.12	0.05
query26	0.76	0.18	0.16
query27	0.03	0.04	0.05
query28	6.15	0.81	0.77
query29	12.73	2.34	2.24
query30	0.56	0.54	0.53
query31	2.80	0.40	0.37
query32	3.37	0.50	0.49
query33	3.12	3.07	3.06
query34	15.33	4.82	4.81
query35	4.84	4.83	4.86
query36	1.04	1.00	1.01
query37	0.06	0.04	0.05
query38	0.03	0.03	0.03
query39	0.02	0.01	0.02
query40	0.16	0.15	0.15
query41	0.07	0.01	0.02
query42	0.03	0.01	0.02
query43	0.02	0.01	0.02
Total cold run time: 103.82 s
Total hot run time: 31.54 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit c3b6a6ed438f6c936b75414d7a533bd09477a28f with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          59 seconds loaded 1101869774 Bytes, about 17 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.1 seconds inserted 10000000 Rows, about 473K ops/s

[LiBinfeng-01]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49149 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 46c015948d3406b3e20f2f91167b343e68bd66ce, data reload: false

------ Round 1 ----------------------------------
q1	17995	4395	4403	4395
q2	2074	160	145	145
q3	10275	1909	1924	1909
q4	10117	1266	1336	1266
q5	8507	3858	3951	3858
q6	231	125	124	124
q7	2013	1629	1577	1577
q8	9526	2731	2707	2707
q9	13493	9811	9906	9811
q10	8644	3496	3457	3457
q11	410	242	263	242
q12	470	309	306	306
q13	18342	3964	3982	3964
q14	367	331	339	331
q15	515	461	462	461
q16	525	451	442	442
q17	1131	995	990	990
q18	7244	6854	6836	6836
q19	1732	1581	1554	1554
q20	552	302	315	302
q21	4493	4107	4088	4088
q22	507	388	384	384
Total cold run time: 119163 ms
Total hot run time: 49149 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4344	4305	4324	4305
q2	318	229	218	218
q3	4211	4114	4134	4114
q4	2734	2752	2746	2746
q5	7154	7110	7081	7081
q6	236	122	125	122
q7	3186	2761	2818	2761
q8	4385	4482	4425	4425
q9	14245	13954	14051	13954
q10	4303	4227	4259	4227
q11	762	678	676	676
q12	1019	854	847	847
q13	6981	3771	3733	3733
q14	445	416	428	416
q15	495	459	459	459
q16	653	597	601	597
q17	3876	3853	3803	3803
q18	8765	8853	8803	8803
q19	1705	1700	1645	1645
q20	2392	2102	2144	2102
q21	8557	8482	8394	8394
q22	1035	963	979	963
Total cold run time: 81801 ms
Total hot run time: 76391 ms

[doris-robot]

TPC-DS: Total hot run time: 211685 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 46c015948d3406b3e20f2f91167b343e68bd66ce, data reload: false

query1	922	404	421	404
query2	6545	2241	2124	2124
query3	6915	207	206	206
query4	23669	21747	21462	21462
query5	19729	6570	6580	6570
query6	301	234	239	234
query7	4336	315	323	315
query8	257	248	283	248
query9	3114	2691	2614	2614
query10	462	298	308	298
query11	16015	14788	15048	14788
query12	130	80	77	77
query13	1023	449	441	441
query14	17224	13494	13224	13224
query15	365	223	237	223
query16	6474	284	262	262
query17	1757	967	911	911
query18	888	322	314	314
query19	215	152	157	152
query20	87	81	84	81
query21	191	98	98	98
query22	5175	5012	5062	5012
query23	34128	33384	33471	33384
query24	7601	6322	6359	6322
query25	544	421	419	419
query26	1273	167	166	166
query27	2308	303	304	303
query28	6119	2260	2215	2215
query29	2848	2801	2677	2677
query30	245	173	161	161
query31	950	724	745	724
query32	71	62	61	61
query33	456	261	244	244
query34	868	473	467	467
query35	1132	938	964	938
query36	1314	1276	1032	1032
query37	87	61	61	61
query38	3110	2995	2915	2915
query39	1384	1327	1329	1327
query40	303	95	101	95
query41	39	37	38	37
query42	90	93	84	84
query43	636	607	562	562
query44	1185	725	723	723
query45	252	239	237	237
query46	1235	965	970	965
query47	2050	1742	1798	1742
query48	520	418	422	418
query49	653	375	383	375
query50	868	589	626	589
query51	4749	4615	4635	4615
query52	92	88	88	88
query53	240	187	185	185
query54	2699	2514	2518	2514
query55	86	80	82	80
query56	208	197	192	192
query57	1279	1077	1115	1077
query58	222	225	214	214
query59	3593	3241	3343	3241
query60	225	210	206	206
query61	96	96	99	96
query62	824	494	532	494
query63	211	178	181	178
query64	3539	1604	1510	1510
query65	3620	3592	3576	3576
query66	781	450	419	419
query67	15560	15150	15428	15150
query68	9678	670	652	652
query69	492	256	282	256
query70	1531	1508	1433	1433
query71	410	305	305	305
query72	6781	4863	4552	4552
query73	767	326	323	323
query74	6351	5857	5880	5857
query75	5314	3699	3646	3646
query76	5412	1154	1178	1154
query77	894	253	254	253
query78	12744	11655	11477	11477
query79	8475	651	637	637
query80	1731	382	380	380
query81	490	239	238	238
query82	1620	95	98	95
query83	167	134	130	130
query84	260	70	69	69
query85	906	323	331	323
query86	343	288	310	288
query87	3230	2989	2966	2966
query88	4659	2326	2323	2323
query89	491	304	297	297
query90	1918	215	216	215
query91	169	135	126	126
query92	61	55	53	53
query93	6688	584	549	549
query94	721	212	208	208
query95	1972	2060	2078	2060
query96	662	321	328	321
query97	6531	6363	6354	6354
query98	217	194	209	194
query99	2997	851	815	815
Total cold run time: 320769 ms
Total hot run time: 211685 ms

[doris-robot]

ClickBench: Total hot run time: 30.5 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 46c015948d3406b3e20f2f91167b343e68bd66ce, data reload: false

query1	0.03	0.02	0.02
query2	0.07	0.03	0.02
query3	0.24	0.06	0.05
query4	1.78	0.08	0.08
query5	0.54	0.53	0.52
query6	1.23	0.61	0.62
query7	0.01	0.00	0.01
query8	0.04	0.02	0.02
query9	0.52	0.50	0.47
query10	0.54	0.53	0.54
query11	0.12	0.09	0.09
query12	0.11	0.09	0.09
query13	0.61	0.61	0.62
query14	0.78	0.80	0.78
query15	0.79	0.74	0.75
query16	0.37	0.38	0.37
query17	1.04	0.99	1.00
query18	0.21	0.28	0.25
query19	1.91	1.80	1.83
query20	0.01	0.02	0.02
query21	15.44	0.57	0.55
query22	2.24	2.71	1.54
query23	17.19	0.99	0.98
query24	6.38	0.88	1.30
query25	0.37	0.13	0.04
query26	0.68	0.15	0.15
query27	0.04	0.03	0.04
query28	6.64	0.75	0.73
query29	12.62	2.21	2.35
query30	0.57	0.53	0.48
query31	2.81	0.38	0.37
query32	3.37	0.50	0.49
query33	3.12	3.06	3.07
query34	15.28	4.84	4.82
query35	4.85	4.85	4.85
query36	1.04	1.01	1.02
query37	0.06	0.04	0.05
query38	0.03	0.02	0.02
query39	0.02	0.01	0.02
query40	0.16	0.14	0.14
query41	0.07	0.01	0.02
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.97 s
Total hot run time: 30.5 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 46c015948d3406b3e20f2f91167b343e68bd66ce with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.1 seconds inserted 10000000 Rows, about 473K ops/s

[LiBinfeng-01]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49110 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 42606f3265fb7385e70fc1e27b01a55d91d82d88, data reload: false

------ Round 1 ----------------------------------
q1	17622	4391	4347	4347
q2	2065	156	146	146
q3	10432	1865	1887	1865
q4	10352	1240	1320	1240
q5	8520	3903	3878	3878
q6	231	123	167	123
q7	2008	1600	1594	1594
q8	9266	2743	2724	2724
q9	10543	10136	9860	9860
q10	8616	3552	3510	3510
q11	434	254	250	250
q12	466	298	305	298
q13	18365	3961	4032	3961
q14	364	325	329	325
q15	502	472	465	465
q16	540	481	460	460
q17	1137	963	995	963
q18	7335	6937	6733	6733
q19	1688	1601	1542	1542
q20	547	309	311	309
q21	4437	4521	4130	4130
q22	480	387	407	387
Total cold run time: 115950 ms
Total hot run time: 49110 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4342	4320	4328	4320
q2	324	226	231	226
q3	4125	4117	4118	4117
q4	2759	2778	2764	2764
q5	7232	7179	7184	7179
q6	239	120	120	120
q7	3238	2846	2836	2836
q8	4348	4447	4504	4447
q9	14107	13968	14080	13968
q10	4355	4276	4247	4247
q11	771	658	695	658
q12	1032	857	842	842
q13	7074	3768	3716	3716
q14	464	441	429	429
q15	493	466	453	453
q16	649	611	569	569
q17	3896	3879	3869	3869
q18	8786	8793	8804	8793
q19	1737	1682	1641	1641
q20	2334	2135	2130	2130
q21	8490	8510	8519	8510
q22	1038	932	938	932
Total cold run time: 81833 ms
Total hot run time: 76766 ms

[doris-robot]

TPC-DS: Total hot run time: 215930 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 42606f3265fb7385e70fc1e27b01a55d91d82d88, data reload: false

query1	918	393	416	393
query2	6529	2175	2170	2170
query3	6923	211	205	205
query4	23031	21926	21700	21700
query5	19729	6560	6544	6544
query6	280	225	226	225
query7	4330	310	316	310
query8	258	238	240	238
query9	3113	2675	2597	2597
query10	461	313	297	297
query11	15591	15237	14878	14878
query12	128	80	74	74
query13	1048	438	451	438
query14	17424	13355	13610	13355
query15	373	224	236	224
query16	6495	283	263	263
query17	1966	968	901	901
query18	904	323	309	309
query19	209	153	155	153
query20	76	83	79	79
query21	190	104	102	102
query22	5225	5130	5145	5130
query23	34303	33578	33591	33578
query24	7835	6357	6308	6308
query25	526	433	431	431
query26	1274	165	172	165
query27	2359	300	297	297
query28	6072	2257	2216	2216
query29	2860	2687	2832	2687
query30	242	173	170	170
query31	949	787	768	768
query32	69	66	64	64
query33	453	258	266	258
query34	850	474	478	474
query35	1154	969	934	934
query36	1359	1095	1109	1095
query37	170	60	61	60
query38	3094	2968	2957	2957
query39	1388	1321	1337	1321
query40	308	96	98	96
query41	39	37	38	37
query42	90	85	84	84
query43	598	569	624	569
query44	1151	727	730	727
query45	248	232	236	232
query46	1253	982	965	965
query47	1896	1954	1909	1909
query48	500	429	411	411
query49	656	364	385	364
query50	854	615	617	615
query51	4747	4770	4669	4669
query52	98	85	88	85
query53	246	188	181	181
query54	2665	2471	2497	2471
query55	94	86	93	86
query56	228	220	207	207
query57	1165	1075	1203	1075
query58	217	217	219	217
query59	3462	3348	3417	3348
query60	224	213	194	194
query61	100	95	97	95
query62	793	462	506	462
query63	197	177	181	177
query64	3452	1581	1526	1526
query65	3661	3561	3526	3526
query66	769	449	432	432
query67	16290	16593	18342	16593
query68	9045	664	661	661
query69	487	267	273	267
query70	1528	1676	1326	1326
query71	396	307	305	305
query72	6749	4915	4842	4842
query73	754	332	323	323
query74	6227	5878	5847	5847
query75	4573	3758	3679	3679
query76	4553	1120	1133	1120
query77	556	259	258	258
query78	12705	12841	13252	12841
query79	11915	637	652	637
query80	2126	394	382	382
query81	537	245	233	233
query82	1087	101	97	97
query83	192	134	130	130
query84	257	71	74	71
query85	876	328	330	328
query86	362	309	290	290
query87	3235	3011	3017	3011
query88	5387	2321	2334	2321
query89	409	303	291	291
query90	1763	212	216	212
query91	163	135	127	127
query92	58	52	50	50
query93	5984	606	581	581
query94	931	214	207	207
query95	2055	2046	2111	2046
query96	673	320	326	320
query97	6481	6377	6412	6377
query98	238	209	219	209
query99	2793	926	820	820
Total cold run time: 321254 ms
Total hot run time: 215930 ms

[doris-robot]

ClickBench: Total hot run time: 30.2 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 42606f3265fb7385e70fc1e27b01a55d91d82d88, data reload: false

query1	0.02	0.03	0.02
query2	0.07	0.03	0.03
query3	0.25	0.05	0.05
query4	1.80	0.08	0.06
query5	0.53	0.53	0.52
query6	1.22	0.60	0.62
query7	0.01	0.01	0.01
query8	0.03	0.02	0.02
query9	0.52	0.49	0.48
query10	0.54	0.55	0.55
query11	0.12	0.09	0.08
query12	0.11	0.09	0.10
query13	0.62	0.62	0.61
query14	0.80	0.77	0.80
query15	0.78	0.75	0.77
query16	0.38	0.38	0.36
query17	1.01	1.01	1.02
query18	0.21	0.25	0.24
query19	1.96	1.83	1.82
query20	0.01	0.01	0.01
query21	15.45	0.55	0.56
query22	2.10	2.69	1.45
query23	17.06	0.88	0.84
query24	6.08	0.90	0.74
query25	0.37	0.07	0.07
query26	0.62	0.15	0.16
query27	0.04	0.04	0.03
query28	7.79	0.73	0.78
query29	12.75	2.15	2.24
query30	0.59	0.54	0.53
query31	2.82	0.39	0.36
query32	3.36	0.49	0.49
query33	3.08	3.08	3.11
query34	15.29	4.84	4.81
query35	4.87	4.86	4.88
query36	1.05	1.03	1.01
query37	0.06	0.05	0.05
query38	0.04	0.02	0.03
query39	0.02	0.02	0.01
query40	0.16	0.14	0.14
query41	0.07	0.02	0.02
query42	0.02	0.01	0.01
query43	0.03	0.02	0.02
Total cold run time: 104.71 s
Total hot run time: 30.2 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 42606f3265fb7385e70fc1e27b01a55d91d82d88 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       22.2 seconds inserted 10000000 Rows, about 450K ops/s