ggml-metal false && "not implemented" on M2 Pro chip

[volagold]

如题，2023 MacBook Pro 14 inch (M2 pro) 运行0.2.2版本报错

GGML_ASSERT: /private/var/folders/_s/4zl9s20j6tz7v7hpgrnfjr2h0000gn/T/pip-install-u8orwh9d/chatglm-cpp_09e75c58ec8c422bb5becf3fe9b775aa/third_party/ggml/src/ggml-metal.m:904: false && "not implemented"

[1]    7010 abort      python3 web_demo.py -m ../chatglm2-ggml.bin

Compile用的是readme中的命令

cmake -B build -DGGML_METAL=ON && cmake --build build -j

[li-plus]

你的模型是什么类型呢，metal 现在只支持 q4_0, q4_1 和 f16 的模型，其他 dtype 的 op 还没实现

[volagold]

哦哦，怪不得，我的是q8_0