処理に使うGPUの選択

[kuroneko6423]

質問の内容

VOICEVOXの処理に使うGPUの選択の引数

VOICEVOXのバージョン

0.14.6

OSの種類/ディストリ/バージョン

• Windows
• macOS
• Linux

その他

特になし

[Hiroshiba]

@kuroneko6423 すみません！
提案なのか質問なのか、質問だとすると何が聞きたいのかわからないので、詳細を書き加えていただければ･･･！

[kuroneko6423]

サーバーに2台以上GPUがある場合処理に使用するGPUを選択する引数はありますでしょうか?
引数がある場合教えて欲しいです。
よろしくお願いします。

[aoirint]

VOICEVOX ENGINEのrun.pyやrun実行ファイルに、使用するGPUを選択する起動引数はないと思いますが、使用するGPUを変更する他の方法があります。

Windows/LinuxのCUDA版（voicevox_engine-windows-nvidia、voicevox_engine-linux-nvidia）の場合、CUDAの環境変数CUDA_VISIBLE_DEVICESで処理に使用するNVIDIA GPUを選択できます。設定する値は、nvidia-smiコマンドで以下のようにして調べることができます（indexまたはuuidを環境変数の値に使用）。

nvidia-smi --query-gpu=index,uuid,name --format=csv

# Linux上での実行例
CUDA_VISIBLE_DEVICES=0 ./run --use_gpu

CUDA_VISIBLE_DEVICES=GPU-ad2367dd-a40e-6b86-6fc3-c44a2cc92c7e ./run --use_gpu

• CUDA_VISIBLE_DEVICESに関するCUDA公式ドキュメント

DockerイメージのCUDA版の場合、同じく環境変数CUDA_VISIBLE_DEVICESをコンテナに設定するか、docker runコマンドの--gpus引数をdevice=0やdevice=GPU-ad2367ddのように設定して、処理に使用するNVIDIA GPUを選択できます。

sudo docker run --rm --gpus 'device=0' -p '127.0.0.1:50021:50021' voicevox/voicevox_engine:nvidia-ubuntu20.04-0.14.6

sudo docker run --rm --gpus 'device=GPU-ad2367dd-a40e-6b86-6fc3-c44a2cc92c7e' -p '127.0.0.1:50021:50021' voicevox/voicevox_engine:nvidia-ubuntu20.04-0.14.6

• GPU選択に関するNVIDIA Container Toolkit公式ドキュメント

WindowsのDirectML版（voicevox_engine-windows-directml）でNVIDIAドライバが導入されている環境の場合、NVIDIA コントロールパネルの「3D 設定の管理」から、プログラムごとに処理に使用するGPUを変更できるようですが、自分はこちらには詳しくありません。

• PyInstaller: DirectML版で良いGPUが使われるように、編集したbootloaderを使う #502

[kuroneko6423]

了解です。
ありがとうございます