implement qs8 x8c4 pack using avxvnni

google · Nov 22, 2024 · de0567c · de0567c
1 parent 7798ad0
commit de0567c
Show file tree

Hide file tree

Showing 7 changed files with 1,076 additions and 0 deletions.
diff --git a/cmake/gen/avxvnni_microkernels.cmake b/cmake/gen/avxvnni_microkernels.cmake
@@ -132,6 +132,8 @@ SET(NON_PROD_AVXVNNI_MICROKERNEL_SRCS
   src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-7x8c8-minmax-avxvnni.c
   src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni-prfm.c
   src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni.c
+  src/qs8-packw/gen/qs8-packw-x8c4-gemm-goi-avxvnni-prfm.c
+  src/qs8-packw/gen/qs8-packw-x8c4-gemm-goi-avxvnni.c
   src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni-prfm.c
   src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni.c
   src/qs8-qc8w-gemm/gen/qs8-qc8w-gemm-1x8c8-minmax-fp32-avxvnni.c

diff --git a/gen/avxvnni_microkernels.bzl b/gen/avxvnni_microkernels.bzl
@@ -129,6 +129,8 @@ NON_PROD_AVXVNNI_MICROKERNEL_SRCS = [
     "src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-7x8c8-minmax-avxvnni.c",
     "src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni-prfm.c",
     "src/qd8-f32-qc8w-igemm/gen/qd8-f32-qc8w-igemm-8x8c8-minmax-avxvnni.c",
+    "src/qs8-packw/gen/qs8-packw-x8c4-gemm-goi-avxvnni-prfm.c",
+    "src/qs8-packw/gen/qs8-packw-x8c4-gemm-goi-avxvnni.c",
     "src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni-prfm.c",
     "src/qs8-packw/gen/qs8-packw-x16c8-gemm-goi-avxvnni.c",
     "src/qs8-qc8w-gemm/gen/qs8-qc8w-gemm-1x8c8-minmax-fp32-avxvnni.c",

diff --git a/scripts/generate-x8-packw.sh b/scripts/generate-x8-packw.sh
@@ -33,6 +33,8 @@ tools/xngen src/x8-packw/kr-scalar.c.in -D NR=16 -D KR=8 -D TYPE=int8_t -D IZP=1
 
 ### AVXVNNI micro-kernels
 ### C8 packing
+tools/xngen src/x8-packw/kr-c4-avxvnni.c.in -D NR=8  -D KR=4 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=0   -D AVX=2  -D PREFETCH=0 -o src/qs8-packw/gen/qs8-packw-x8c4-gemm-goi-avxvnni.c &
+tools/xngen src/x8-packw/kr-c4-avxvnni.c.in -D NR=8  -D KR=4 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=0   -D AVX=2  -D PREFETCH=1 -o src/qs8-packw/gen/qs8-packw-x8c4-gemm-goi-avxvnni-prfm.c &
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=0   -D AVX=2  -D PREFETCH=0 -o src/qs8-packw/gen/qs8-packw-x8c8-gemm-goi-avxvnni.c &
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=0   -D AVX=2  -D PREFETCH=1 -o src/qs8-packw/gen/qs8-packw-x8c8-gemm-goi-avxvnni-prfm.c &
 tools/xngen src/x8-packw/kr-avxvnni.c.in -D NR=8  -D KR=8 -D DATATYPE=QS8 -D TYPE=int8_t -D IZP=128 -D AVX=2  -D PREFETCH=0 -o src/qs8-qu8-packw/gen/qs8-qu8-packw-x8c8-gemm-goi-avxvnni.c &