WebGPUに対応させる

[tuna2134]

内容

Voicevoxをブラウザ上で使うために、webGPUを使えるようにする

Pros 良くなる点

ブラウザでvoicevoxが使える

Cons 悪くなる点

実現方法

[Hiroshiba]

onnxruntimeが対応しているかどうかが重要な気がします。
@tuna2134 今の所のonnxruntime×webGPUの情報をまとめて、issueに追記しちゃうのはどうでしょう？ 👀

[tuna2134]

microsoft/onnxruntime#11695
microsoft/onnxruntime#15796
これらのissue見ると開発中っぽいですね！

[tuna2134]

https://github.com/webonnx/wonnx

[tuna2134]

microsoft/onnxruntime#14579
webの方は対応済みですね

[fs-eire]

Please give a try and feel free to comments in microsoft/onnxruntime#15796 if you get into any issue. Thanks!

[hyranno]

WebGPUはブラウザ専用規格というわけではなく、ネイティブでも動かせるバックエンド(wgpu)が開発されています。
なので、ブラウザやMacを含む全環境のGPU実装をWebGPU版で統一できたりする可能性も見れないでしょうか。
先程出たwonnxはwgpuを使ってるみたいですね。

[tuna2134]

そうなんですね、、、

[hyranno]

ブラウザで動作させるならWebAssemblyにコンパイルすることになりそうです。(https://developer.mozilla.org/ja/docs/WebAssembly/Rust_to_Wasm)

1. CPU版をWebAssemblyにコンパイルして、ブラウザで動くようにする
2. WebGPU featureをオンにできるようにする

にタスクを分解した方が個々のハードルが下がりそうに思いますが、どうでしょう。

onnxruntimeのブラウザ対応ですが、ちょっと調べてみた感じだと、WebAssemblyにビルドするとき

• onnxruntimeをwasm向け静的ライブラリ libonnxruntime_webassembly.a にビルド (https://onnxruntime.ai/docs/build/web.html#faq)
• voicevox_core側からonnxruntimeのライブラリをリンク(dllと差し替え)

すればよさそうな？

また、voicevox_coreのWebAssemblyを使うために

• wasm-bindgen でrustのapiをJavaScript側に公開
  (https://developer.mozilla.org/ja/docs/WebAssembly/Rust_to_Wasm#rust_%E3%82%92%E6%9B%B8%E3%81%84%E3%81%A6%E3%81%BF%E3%82%88%E3%81%86)
• wasm版voicevox_coreを使うexample

を含む voicevox_core_javascript_api クレートもあると使い易そうです。
npmパッケージとして公開できるとなお良しでしょうか。

[Hiroshiba]

たしかwasmは他のwasmをimportできないのですが、静的ライブラリにする形ならできるかもですね！！
onnxruntime-webのドキュメントのFAQに.aの作り方案内が書かれてるのは知りませんでした。
難度がわからないですね･･･。難しそうな気がしないでもないですが･･･。

[sevenc-nanashi]

#675 でonnxruntimeの依存が割と切り離せる（はず）のでwasm-cpu版のビルドはかなり現実的になってきてると思います。
自分が前試した時の記憶ですが、

• openjtalk-rsはwasmビルドできる
• onnxruntime-rsのbuild.rsが落ちる（ダウンロード周り）
• async-zipがtokioのfsに依存してるのでそこで死ぬ

はずです。それさえなんとかできればwasm-cpuビルドはなんとかできそうな気がします。

[sevenc-nanashi]

そういえば：wasmビルドだけは出来ました。現時点ではWebGPUは無理そうでした。
Hiroshiba/vv_core_inference#5 あたりで色々変わってきそう？

https://github.com/sevenc-nanashi/voicevox_core/tree/add/wasm-build/example/wasm