no CUDA-capable device is detected current device:

[xtntrna]

编译的时候是可以找到GPU的，运行的时候报错找不到了，是什么原因？

[li-plus]

4090 应该是 sm89 架构，目前默认不会编译，尝试下手动指定 cuda 架构：

cmake -B build -DGGML_CUBLAS=ON -DCUDA_ARCHITECTURES="89"

[xtntrna]

重新装了CUDA 12.3 就可以了。