# GPT-J
# Input token size = 2016
# Output token size = 32
# Batch Size = 1
# Num Beams = 4
# M = num_beams * batch_size = 4

--reset

--dt=bf16 --stag=ab --wtag=ab --dtag=ab 8064x4096:4096x4096_n"gptj:gemm0*112"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x2016x256:4x16x256x2016_n"gptj:bmm1*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x2016x2016:4x16x2016x256_n"gptj:bmm2*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 8064x4096:4096x16384_n"gptj:gemm3*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 8064x16384:16384x4096_n"gptj:gemm4*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 8064x4096:4096x50400_n"gptj:gemm5*1"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 4x4096:4096x4096_n"gptj:gemm6*3472"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2017_n"gptj:bmm7*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2017:4x16x2017x256_n"gptj:bmm8*28"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 4x4096:4096x16384_n"gptj:gemm9*868"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 4x16384:16384x4096_n"gptj:gemm10*868"
--dt=bf16 --stag=ab --wtag=ab --dtag=ab 4x4096:4096x50400_n"gptj:gemm11*31"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2018_n"gptj:bmm12*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2018:4x16x2018x256_n"gptj:bmm13*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2019_n"gptj:bmm14*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2019:4x16x2019x256_n"gptj:bmm15*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2020_n"gptj:bmm16*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2020:4x16x2020x256_n"gptj:bmm17*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2021_n"gptj:bmm18*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2021:4x16x2021x256_n"gptj:bmm19*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2022_n"gptj:bmm20*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2022:4x16x2022x256_n"gptj:bmm21*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2023_n"gptj:bmm22*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2023:4x16x2023x256_n"gptj:bmm23*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2024_n"gptj:bmm24*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2024:4x16x2024x256_n"gptj:bmm25*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2025_n"gptj:bmm26*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2025:4x16x2025x256_n"gptj:bmm27*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2026_n"gptj:bmm28*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2026:4x16x2026x256_n"gptj:bmm29*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2027_n"gptj:bmm30*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2027:4x16x2027x256_n"gptj:bmm31*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2028_n"gptj:bmm32*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2028:4x16x2028x256_n"gptj:bmm33*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2029_n"gptj:bmm34*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2029:4x16x2029x256_n"gptj:bmm35*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2030_n"gptj:bmm36*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2030:4x16x2030x256_n"gptj:bmm37*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2031_n"gptj:bmm38*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2031:4x16x2031x256_n"gptj:bmm39*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2032_n"gptj:bmm40*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2032:4x16x2032x256_n"gptj:bmm41*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2033_n"gptj:bmm42*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2033:4x16x2033x256_n"gptj:bmm43*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2034_n"gptj:bmm44*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2034:4x16x2034x256_n"gptj:bmm45*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2035_n"gptj:bmm46*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2035:4x16x2035x256_n"gptj:bmm47*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2036_n"gptj:bmm48*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2036:4x16x2036x256_n"gptj:bmm49*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2037_n"gptj:bmm50*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2037:4x16x2037x256_n"gptj:bmm51*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2038_n"gptj:bmm52*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2038:4x16x2038x256_n"gptj:bmm53*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2039_n"gptj:bmm54*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2039:4x16x2039x256_n"gptj:bmm55*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2040_n"gptj:bmm56*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2040:4x16x2040x256_n"gptj:bmm57*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2041_n"gptj:bmm58*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2041:4x16x2041x256_n"gptj:bmm59*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2042_n"gptj:bmm60*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2042:4x16x2042x256_n"gptj:bmm61*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2043_n"gptj:bmm62*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2043:4x16x2043x256_n"gptj:bmm63*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2044_n"gptj:bmm64*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2044:4x16x2044x256_n"gptj:bmm65*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2045_n"gptj:bmm66*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2045:4x16x2045x256_n"gptj:bmm67*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2046_n"gptj:bmm68*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2046:4x16x2046x256_n"gptj:bmm69*28"
--dt=bf16 --stag=abcd --wtag=abdc --dtag=abcd 4x16x1x256:4x16x256x2047_n"gptj:bmm70*28"
--dt=bf16 --stag=abcd --wtag=abcd --dtag=abcd 4x16x1x2047:4x16x2047x256_n"gptj:bmm71*28"
