[Dev] Set default weight transformation into Ladder Stage3 LDMatrixTransform #133

LeiWang1999 · 2024-08-05T15:32:10Z

This pull request includes several significant changes to the bitblas module, focusing on code refactoring, new feature additions, and bug fixes. The most important changes include updating submodule commits, adding a deprecation decorator, modifying tensor core policies, enhancing matrix multiplication analysis, and improving weight transformation and compression.

Submodule Update:

3rdparty/tvm: Updated submodule commit to the latest version.

New Features:

bitblas/__init__.py: Added a deprecated decorator to mark functions as deprecated, emitting a warning when the function is used.
bitblas/module/__init__.py: Added unpack_qweight function to handle unpacking of quantized weights.

Code Refactoring:

bitblas/base/roller/policy/tensorcore.py: Refactored tensor core policies to improve readability and maintainability. [1] [2] [3] [4] [5]
bitblas/ops/general_matmul/__init__.py: Enhanced propagation logic and added weight compression configuration. [1] [2] [3] [4] [5] [6] [7] [8]

Bug Fixes:

bitblas/gpu/matmul_analysis.py: Fixed issues related to access axes and block reduction depth. [1] [2]
bitblas/gpu/matmul_mma_dequantize.py: Corrected the handling of scaling in the get_idx function.

Enhancements:

bitblas/ops/general_matmul/tirscript/matmul_dequantize_impl.py: Updated default transform kinds for matrix multiplication dequantize implementations. [1] [2]

…ability and maintainability

…ainability

…tainability

LeiWang1999 · 2024-08-09T17:50:57Z

╒═══════════════════════╤═══════════════════════════╤══════════════════════════╤═══════════════════════════════╤══════════════════════╕
│                       │ TAG:                      │ FP16xUINT4_ACCFP16_NT_   │ Device:                       │ nvidia/nvidia-a100   │
╞═══════════════════════╪═══════════════════════════╪══════════════════════════╪═══════════════════════════════╪══════════════════════╡
│ Shape (M-N-K / N-K_M) │ Single Batching Time (ms) │ Shape (M-N-K / N-K_M)    │ Contiguous Batching Time (ms) │ Tune Time (s)        │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_1     │ 0.087                     │ DYN-16384-16384_1        │ 0.096 (+10.345%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_16    │ 0.417                     │ DYN-16384-16384_16       │ 0.100 (-76.019%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_32    │ 0.642                     │ DYN-16384-16384_32       │ 0.147 (-77.103%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_64    │ 1.082                     │ DYN-16384-16384_64       │ 0.229 (-78.835%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_128   │ 1.741                     │ DYN-16384-16384_128      │ 0.433 (-75.129%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_256   │ 0.933                     │ DYN-16384-16384_256      │ 0.773 (-17.149%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_512   │ 1.497                     │ DYN-16384-16384_512      │ 1.314 (-12.224%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-16384-16384_4096  │ 8.512                     │ DYN-16384-16384_4096     │ 8.330 (-2.138%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_1       │ 0.007                     │ DYN-3200-3200_1          │ 0.018 (+157.143%)             │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_16      │ 0.096                     │ DYN-3200-3200_16         │ 0.019 (-80.208%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_32      │ 0.108                     │ DYN-3200-3200_32         │ 0.019 (-82.407%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_64      │ 0.066                     │ DYN-3200-3200_64         │ 0.020 (-69.697%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_128     │ 0.088                     │ DYN-3200-3200_128        │ 0.027 (-69.318%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_256     │ 0.059                     │ DYN-3200-3200_256        │ 0.056 (-5.085%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_512     │ 0.099                     │ DYN-3200-3200_512        │ 0.091 (-8.081%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-3200_4096    │ 0.384                     │ DYN-3200-3200_4096       │ 0.367 (-4.427%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_1       │ 0.011                     │ DYN-8640-3200_1          │ 0.015 (+36.364%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_16      │ 0.113                     │ DYN-8640-3200_16         │ 0.017 (-84.956%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_32      │ 0.200                     │ DYN-8640-3200_32         │ 0.024 (-88.000%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_64      │ 0.124                     │ DYN-8640-3200_64         │ 0.033 (-73.387%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_128     │ 0.143                     │ DYN-8640-3200_128        │ 0.056 (-60.839%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_256     │ 0.125                     │ DYN-8640-3200_256        │ 0.113 (-9.600%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_512     │ 0.184                     │ DYN-8640-3200_512        │ 0.162 (-11.957%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8640-3200_4096    │ 1.185                     │ DYN-8640-3200_4096       │ 1.019 (-14.008%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_1       │ 0.250                     │ DYN-3200-8640_1          │ 0.047 (-81.200%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_16      │ 0.256                     │ DYN-3200-8640_16         │ 0.062 (-75.781%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_32      │ 0.259                     │ DYN-3200-8640_32         │ 0.064 (-75.290%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_64      │ 0.264                     │ DYN-3200-8640_64         │ 0.065 (-75.379%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_128     │ 0.276                     │ DYN-3200-8640_128        │ 0.100 (-63.768%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_256     │ 0.315                     │ DYN-3200-8640_256        │ 0.156 (-50.476%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_512     │ 0.389                     │ DYN-3200-8640_512        │ 0.238 (-38.817%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-3200-8640_4096    │ 1.073                     │ DYN-3200-8640_4096       │ 0.973 (-9.320%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_1       │ 0.006                     │ DYN-1024-8192_1          │ 0.015 (+150.000%)             │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_16      │ 0.030                     │ DYN-1024-8192_16         │ 0.018 (-40.000%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_32      │ 0.046                     │ DYN-1024-8192_32         │ 0.019 (-58.696%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_64      │ 0.082                     │ DYN-1024-8192_64         │ 0.022 (-73.171%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_128     │ 0.128                     │ DYN-1024-8192_128        │ 0.033 (-74.219%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_256     │ 0.079                     │ DYN-1024-8192_256        │ 0.079 (-0.000%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_512     │ 0.114                     │ DYN-1024-8192_512        │ 0.112 (-1.754%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-1024-8192_4096    │ 0.463                     │ DYN-1024-8192_4096       │ 0.389 (-15.983%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_1       │ 0.023                     │ DYN-8192-8192_1          │ 0.031 (+34.783%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_16      │ 0.133                     │ DYN-8192-8192_16         │ 0.037 (-72.180%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_32      │ 0.215                     │ DYN-8192-8192_32         │ 0.058 (-73.023%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_64      │ 0.339                     │ DYN-8192-8192_64         │ 0.083 (-75.516%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_128     │ 0.510                     │ DYN-8192-8192_128        │ 0.126 (-75.294%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_256     │ 0.304                     │ DYN-8192-8192_256        │ 0.271 (-10.855%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_512     │ 0.468                     │ DYN-8192-8192_512        │ 0.389 (-16.880%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-8192_4096    │ 2.192                     │ DYN-8192-8192_4096       │ 2.131 (-2.783%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_1      │ 0.078                     │ DYN-28672-8192_1         │ 0.087 (+11.538%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_16     │ 0.332                     │ DYN-28672-8192_16        │ 0.089 (-73.193%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_32     │ 0.528                     │ DYN-28672-8192_32        │ 0.130 (-75.379%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_64     │ 0.623                     │ DYN-28672-8192_64        │ 0.210 (-66.292%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_128    │ 1.036                     │ DYN-28672-8192_128       │ 0.359 (-65.347%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_256    │ 0.774                     │ DYN-28672-8192_256       │ 0.672 (-13.178%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_512    │ 1.218                     │ DYN-28672-8192_512       │ 1.099 (-9.770%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-28672-8192_4096   │ 7.248                     │ DYN-28672-8192_4096      │ 7.111 (-1.890%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_1      │ 0.079                     │ DYN-8192-28672_1         │ 0.100 (+26.582%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_16     │ 0.424                     │ DYN-8192-28672_16        │ 0.109 (-74.292%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_32     │ 0.703                     │ DYN-8192-28672_32        │ 0.159 (-77.383%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_64     │ 1.122                     │ DYN-8192-28672_64        │ 0.247 (-77.986%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_128    │ 1.809                     │ DYN-8192-28672_128       │ 0.391 (-78.386%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_256    │ 1.034                     │ DYN-8192-28672_256       │ 0.965 (-6.673%)               │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_512    │ 1.561                     │ DYN-8192-28672_512       │ 1.366 (-12.492%)              │ N/A                  │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼──────────────────────┤
│ DYN-8192-28672_4096   │ 7.670                     │ DYN-8192-28672_4096      │ 7.499 (-2.229%)               │ N/A                  │
╘═══════════════════════╧═══════════════════════════╧══════════════════════════╧═══════════════════════════════╧══════════════════════╛

benchmark results of some selected ops from llm on A100.

…itBLAS into update_transform

LeiWang1999 · 2024-08-10T05:38:34Z

╒═══════════════════════╤═══════════════════════════╤══════════════════════════╤═══════════════════════════════╤═══════════════════════════╕
│                       │ TAG:                      │ FP16xUINT4_ACCFP16_NT_   │ Device:                       │ nvidia/geforce-rtx-4090   │
╞═══════════════════════╪═══════════════════════════╪══════════════════════════╪═══════════════════════════════╪═══════════════════════════╡
│ Shape (M-N-K / N-K_M) │ Single Batching Time (ms) │ Shape (M-N-K / N-K_M)    │ Contiguous Batching Time (ms) │ Tune Time (s)             │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_1     │ 0.143                     │ DYN-16384-16384_1        │ 0.158 (+10.490%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_16    │ 0.229                     │ DYN-16384-16384_16       │ 0.179 (-21.834%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_32    │ 0.312                     │ DYN-16384-16384_32       │ 0.154 (-50.641%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_64    │ 0.368                     │ DYN-16384-16384_64       │ 0.217 (-41.033%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_128   │ 0.631                     │ DYN-16384-16384_128      │ 0.307 (-51.347%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_256   │ 0.697                     │ DYN-16384-16384_256      │ 0.495 (-28.981%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_512   │ 0.999                     │ DYN-16384-16384_512      │ 0.879 (-12.012%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-16384-16384_4096  │ 7.167                     │ DYN-16384-16384_4096     │ 7.021 (-2.037%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_1       │ 0.005                     │ DYN-3200-3200_1          │ 0.015 (+200.000%)             │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_16      │ 0.015                     │ DYN-3200-3200_16         │ 0.017 (+13.333%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_32      │ 0.016                     │ DYN-3200-3200_32         │ 0.017 (+6.250%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_64      │ 0.019                     │ DYN-3200-3200_64         │ 0.018 (-5.263%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_128     │ 0.026                     │ DYN-3200-3200_128        │ 0.027 (+3.846%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_256     │ 0.044                     │ DYN-3200-3200_256        │ 0.040 (-9.091%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_512     │ 0.059                     │ DYN-3200-3200_512        │ 0.057 (-3.390%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-3200_4096    │ 0.284                     │ DYN-3200-3200_4096       │ 0.279 (-1.761%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_1       │ 0.007                     │ DYN-8640-3200_1          │ 0.017 (+142.857%)             │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_16      │ 0.019                     │ DYN-8640-3200_16         │ 0.019 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_32      │ 0.023                     │ DYN-8640-3200_32         │ 0.023 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_64      │ 0.036                     │ DYN-8640-3200_64         │ 0.032 (-11.111%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_128     │ 0.046                     │ DYN-8640-3200_128        │ 0.043 (-6.522%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_256     │ 0.088                     │ DYN-8640-3200_256        │ 0.066 (-25.000%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_512     │ 0.112                     │ DYN-8640-3200_512        │ 0.111 (-0.893%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8640-3200_4096    │ 0.798                     │ DYN-8640-3200_4096       │ 0.768 (-3.759%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_1       │ 0.007                     │ DYN-3200-8640_1          │ 0.034 (+385.714%)             │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_16      │ 0.046                     │ DYN-3200-8640_16         │ 0.039 (-15.217%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_32      │ 0.046                     │ DYN-3200-8640_32         │ 0.047 (+2.174%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_64      │ 0.060                     │ DYN-3200-8640_64         │ 0.059 (-1.667%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_128     │ 0.093                     │ DYN-3200-8640_128        │ 0.093 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_256     │ 0.111                     │ DYN-3200-8640_256        │ 0.102 (-8.108%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_512     │ 0.168                     │ DYN-3200-8640_512        │ 0.148 (-11.905%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-3200-8640_4096    │ 0.801                     │ DYN-3200-8640_4096       │ 0.758 (-5.368%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_1       │ 0.005                     │ DYN-1024-8192_1          │ 0.022 (+340.000%)             │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_16      │ 0.030                     │ DYN-1024-8192_16         │ 0.030 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_32      │ 0.030                     │ DYN-1024-8192_32         │ 0.030 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_64      │ 0.034                     │ DYN-1024-8192_64         │ 0.033 (-2.941%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_128     │ 0.038                     │ DYN-1024-8192_128        │ 0.038 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_256     │ 0.045                     │ DYN-1024-8192_256        │ 0.043 (-4.444%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_512     │ 0.064                     │ DYN-1024-8192_512        │ 0.062 (-3.125%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-1024-8192_4096    │ 0.276                     │ DYN-1024-8192_4096       │ 0.255 (-7.609%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_1       │ 0.011                     │ DYN-8192-8192_1          │ 0.026 (+136.364%)             │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_16      │ 0.036                     │ DYN-8192-8192_16         │ 0.036 (-0.000%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_32      │ 0.046                     │ DYN-8192-8192_32         │ 0.044 (-4.348%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_64      │ 0.066                     │ DYN-8192-8192_64         │ 0.065 (-1.515%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_128     │ 0.113                     │ DYN-8192-8192_128        │ 0.103 (-8.850%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_256     │ 0.176                     │ DYN-8192-8192_256        │ 0.146 (-17.045%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_512     │ 0.251                     │ DYN-8192-8192_512        │ 0.217 (-13.546%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-8192_4096    │ 1.759                     │ DYN-8192-8192_4096       │ 1.762 (+0.171%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_1      │ 0.126                     │ DYN-28672-8192_1         │ 0.130 (+3.175%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_16     │ 0.161                     │ DYN-28672-8192_16        │ 0.135 (-16.149%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_32     │ 0.264                     │ DYN-28672-8192_32        │ 0.142 (-46.212%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_64     │ 0.301                     │ DYN-28672-8192_64        │ 0.177 (-41.196%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_128    │ 0.395                     │ DYN-28672-8192_128       │ 0.250 (-36.709%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_256    │ 0.558                     │ DYN-28672-8192_256       │ 0.437 (-21.685%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_512    │ 0.867                     │ DYN-28672-8192_512       │ 0.827 (-4.614%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-28672-8192_4096   │ 6.310                     │ DYN-28672-8192_4096      │ 6.328 (+0.285%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_1      │ 0.125                     │ DYN-8192-28672_1         │ 0.168 (+34.400%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_16     │ 0.202                     │ DYN-8192-28672_16        │ 0.184 (-8.911%)               │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_32     │ 0.321                     │ DYN-8192-28672_32        │ 0.179 (-44.237%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_64     │ 0.326                     │ DYN-8192-28672_64        │ 0.210 (-35.583%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_128    │ 0.547                     │ DYN-8192-28672_128       │ 0.387 (-29.250%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_256    │ 0.671                     │ DYN-8192-28672_256       │ 0.548 (-18.331%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_512    │ 1.058                     │ DYN-8192-28672_512       │ 0.842 (-20.416%)              │ N/A                       │
├───────────────────────┼───────────────────────────┼──────────────────────────┼───────────────────────────────┼───────────────────────────┤
│ DYN-8192-28672_4096   │ 6.218                     │ DYN-8192-28672_4096      │ 6.044 (-2.798%)               │ N/A                       │
╘═══════════════════════╧═══════════════════════════╧══════════════════════════╧═══════════════════════════════╧═══════════════════════════╛

I think we should have a figure to show the speedup vs. marlin and cutlass.

…ce and code readability

LeiWang1999 · 2024-08-12T18:10:27Z

For optimal performance with contiguous batching, the default optimization policy is set to single batch to maintain consistent weights. If you want to enable contiguous batching performance, you’ll need to adjust this setting accordingly.

config = MatmulConfig(
*args,
optimize_stratety=OptimizeStrategy.ContigousBatching
)

The benchmark results is:

LeiWang1999 added 30 commits July 5, 2024 08:54

Refactor BatchMatMulEmitter and BatchMatMulSelector for improved read…

d8884e6

…ability and maintainability

Refactor import statements for improved readability and maintainability

fc84173

Refactor import statements for improved readability and maintainability

02f64de

disable failure email for ci

397eee6

remove email notifications.

20f6ad1

move relax pass from testing to mlc_llm

b93c394

Merge branch 'main' of https://github.com/Microsoft/BitBLAS into main

ba6a6df

Refactor scripts with se check_eual_ref_scripts_with_emitter function

257693a

Lint Fix

9bb7f49

Merge branch 'main' of https://github.com/Microsoft/BitBLAS into main

39e7614

Refactor scripts with se check_eual_ref_scripts_with_emitter function

93eb5a5

bug fix in test

aa66a90

Merge branch 'main' of https://github.com/Microsoft/BitBLAS into dev

ae14a53

lint fix.

79b08e4

test cuda i4 kernel

86fd036

Refactor copyright notice in i4matmul.hpp

6b73a21

Merge branch 'main' of https://github.com/Microsoft/BitBLAS into dev

0ba90c1

Refactor BitBLASLinear test module for improved readability and maint…

086d208

…ainability

refactor test as version below python 3.9 cannot handle int32 overflow.

47a3abd

format lint for test

024b247

Refactor test_int4b_fp16_convert.py for improved readability and main…

bfedeaa

…tainability

remove unused design file

e672a23

move tile device from package to base

21e5430

dummy impl for codegen

fd11940

Refactor file structure for ladder_permutate module

9ccfa85

Refactor backend class and fix typos in comments

7c7d73e

Deep refactor Lib related code.

47d5fc5

remove ci pull.

53dd0dd

LintFix

d58ac43

refactor builder for whl build

37cb07c

LeiWang1999 and others added 16 commits August 7, 2024 07:58

bug fix

ce79943

chore: Clear global operator cache before running tests

e6c5eec

revert optimize_stratety into SingleBatchDecodeOnly

4e8ab23

typofix

8177e2f

update benchmark scripts

113e485

chore: Refactor benchmark scripts and fix typos

46b2d7d

fix for testing

9ecbb48

lint fix

fb128ed

fix import.

9b5e106

typo

54b4044

operator benchmark

23f88b7

optimize

bcffc49

always with shared.dyn

8b5f083

optimize cache.

54b5d3f

dsl fix

4289d7b

Merge branch 'main' into update_transform

72a1863

LeiWang1999 added 3 commits August 9, 2024 17:53

tqdm

2327e14

Merge branch 'update_transform' of https://github.com/LeiWang1999/MSB…

40a9b04

…itBLAS into update_transform

chore: Add serialize_results method to benchmark_matmul_strategies.py

a16ee62

LeiWang1999 added 3 commits August 10, 2024 17:26

fix performance issue for dynamic async copy

63fc654

chore: Refactor benchmark_matmul_strategies.py for improved performan…

d37d09f

…ce and code readability

bug fix

d4d4603

update readme

1816526

LeiWang1999 merged commit e71b85d into microsoft:main Aug 12, 2024
3 checks passed

LeiWang1999 mentioned this pull request Aug 13, 2024

[Discussion] Maybe we should use dynamic shared memory by default #138

Closed

This was referenced Aug 30, 2024

[BUGFix] Resgiter missing FP8 LDMATRIX Instructions for dynamic shared memory #162

Merged

TensorIntrin 'mma_i8i8f16_smooth_a_trans_b_smooth_b' is not registered #160

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[Dev] Set default weight transformation into Ladder Stage3 LDMatrixTransform #133

[Dev] Set default weight transformation into Ladder Stage3 LDMatrixTransform #133

LeiWang1999 commented Aug 5, 2024

LeiWang1999 commented Aug 9, 2024 •

edited

Loading

LeiWang1999 commented Aug 10, 2024 •

edited

Loading

LeiWang1999 commented Aug 12, 2024

[Dev] Set default weight transformation into Ladder Stage3 LDMatrixTransform #133

[Dev] Set default weight transformation into Ladder Stage3 LDMatrixTransform #133

Conversation

LeiWang1999 commented Aug 5, 2024

Submodule Update:

New Features:

Code Refactoring:

Bug Fixes:

Enhancements:

LeiWang1999 commented Aug 9, 2024 • edited Loading

LeiWang1999 commented Aug 10, 2024 • edited Loading

LeiWang1999 commented Aug 12, 2024

LeiWang1999 commented Aug 9, 2024 •

edited

Loading

LeiWang1999 commented Aug 10, 2024 •

edited

Loading