fix: trailing newlines + missing mimo --mtp-num-layers

requirements.txt

@@ -1,12 +1,16 @@
 accelerate
+anthropic
 blobfile
 cloudpickle
 datasets
+e2b
 httpx[http2]
 mcp[cli]
 memray  # needed for debugging (but is lightweight), we can put it to dev mode when using pyproject.toml
 numba
 omegaconf
+openai
+openai-agents
 pillow
 pylatexenc
 pyyaml

scripts/models/deepseek-v3.sh

@@ -60,4 +60,4 @@ MODEL_ARGS=(
     --moe-router-topk-scaling-factor 2.5
     --moe-router-dtype fp32
     --moe-permute-fusion
-)
+)

scripts/models/glm4-32B.sh

@@ -21,4 +21,4 @@ MODEL_ARGS=(
    --rotary-percent 0.5
    --no-rope-fusion
    --untie-embeddings-and-output-weights
-)
+)

scripts/models/glm4-9B.sh

@@ -20,4 +20,4 @@ MODEL_ARGS=(
    --rotary-percent 0.5
    --no-rope-fusion
    --untie-embeddings-and-output-weights
-)
+)

scripts/models/glm4.5-106B-A12B.sh

@@ -37,4 +37,4 @@ MODEL_ARGS=(
     --moe-router-dtype fp32
     --moe-permute-fusion
     --moe-aux-loss-coeff 0
-)
+)

scripts/models/glm4.7-30B-A3B.sh

@@ -49,4 +49,4 @@ MODEL_ARGS=(
     --vocab-size 154880
     --rotary-base 1000000
     --no-rope-fusion
-)
+)

scripts/models/glm5-744B-A40B.sh

@@ -52,4 +52,4 @@ MODEL_ARGS=(
 
     # vime specific args
     --allgather-cp
-)
+)

scripts/models/kimi-k2-thinking.sh

@@ -60,4 +60,4 @@ MODEL_ARGS=(
     --moe-router-topk-scaling-factor 2.827
     --moe-router-dtype fp32
     --moe-permute-fusion
-)
+)

scripts/models/kimi-k2.sh

@@ -60,4 +60,4 @@ MODEL_ARGS=(
     --moe-router-topk-scaling-factor 2.827
     --moe-router-dtype fp32
     --moe-permute-fusion
-)
+)

scripts/models/llama3.1-8B-Instruct.sh

@@ -17,4 +17,4 @@ MODEL_ARGS=(
    --use-rope-scaling
    --rotary-scaling-factor 8.0
    --untie-embeddings-and-output-weights
-)
+)

scripts/models/llama3.2-3B-Instruct.sh

@@ -16,4 +16,4 @@ MODEL_ARGS=(
    --kv-channels 128
    --use-rope-scaling
    --rotary-scaling-factor 32.0
-)
+)

scripts/models/mimo-7B-rl.sh

@@ -15,4 +15,5 @@ MODEL_ARGS=(
     --vocab-size 151680
     --untie-embeddings-and-output-weights
     --max-position-embeddings 32768
+    --mtp-num-layers 1
 )

scripts/models/moonlight.sh

@@ -66,4 +66,4 @@ MODEL_ARGS=(
     --moe-token-drop-policy probs
     --moe-router-dtype fp32
     --moe-permute-fusion
-)
+)

scripts/models/qwen2.5-0.5B.sh

@@ -13,4 +13,4 @@ MODEL_ARGS=(
    --group-query-attention
    --num-query-groups 2
    --vocab-size 151936
-)
+)

scripts/models/qwen2.5-1.5B.sh

@@ -13,4 +13,4 @@ MODEL_ARGS=(
    --group-query-attention
    --num-query-groups 2
    --vocab-size 151936
-)
+)

scripts/models/qwen2.5-32B.sh

@@ -14,4 +14,4 @@ MODEL_ARGS=(
    --rotary-base 1000000
    --vocab-size 152064
    --untie-embeddings-and-output-weights
-)
+)

scripts/models/qwen2.5-7B.sh

@@ -14,4 +14,4 @@ MODEL_ARGS=(
    --rotary-base 1000000
    --vocab-size 152064
    --untie-embeddings-and-output-weights
-)
+)

scripts/models/qwen3-0.6B.sh

@@ -14,4 +14,4 @@ MODEL_ARGS=(
    --vocab-size 151936
    --kv-channels 128
    --qk-layernorm
-)
+)

scripts/models/qwen3-1.7B.sh

@@ -14,4 +14,4 @@ MODEL_ARGS=(
    --vocab-size 151936
    --kv-channels 128
    --qk-layernorm
-)
+)

scripts/models/qwen3-235B-A22B.sh

@@ -46,4 +46,4 @@ MODEL_ARGS=(
    --moe-router-dtype fp32
    --moe-permute-fusion
    --moe-aux-loss-coeff 0
-)
+)

scripts/models/qwen3-30B-A3B.sh

@@ -46,4 +46,4 @@ MODEL_ARGS=(
    --moe-router-dtype fp32
    --moe-permute-fusion
    --moe-aux-loss-coeff 0
-)
+)

scripts/models/qwen3-4B-Instruct-2507.sh

@@ -1 +1 @@
-MODEL_ARGS_ROTARY_BASE=5000000 source "$(dirname -- "${BASH_SOURCE[0]}")/qwen3-4B.sh"
+MODEL_ARGS_ROTARY_BASE=5000000 source "$(dirname -- "${BASH_SOURCE[0]}")/qwen3-4B.sh"

scripts/models/qwen3-4B.sh

@@ -14,4 +14,4 @@ MODEL_ARGS=(
    --vocab-size 151936
    --kv-channels 128
    --qk-layernorm
-)
+)

scripts/models/qwen3-8B.sh

@@ -15,4 +15,4 @@ MODEL_ARGS=(
    --kv-channels 128
    --qk-layernorm
    --untie-embeddings-and-output-weights
-)
+)