Skip to content

Commit

Permalink
Update README.md
Browse files Browse the repository at this point in the history
  • Loading branch information
speed1313 authored Nov 8, 2024
1 parent 20af81d commit ad1a24d
Showing 1 changed file with 3 additions and 1 deletion.
4 changes: 3 additions & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@
- 既存の日本語評価データを利用し,マルチモーダルテキスト生成タスクの評価データセットに変換して提供する.
- ユーザが作成した推論結果を用いて,タスクごとに設定された評価メトリクスを計算する.

![llm-jp-eval-mmが提供するもの](./assets/teaser.png)
![llm-jp-eval-mmが提供するもの](https://github.com/llm-jp/llm-jp-eval-mm/blob/master/assets/teaser.png)

データフォーマットの詳細,サポートしているデータの一覧については,[DATASET.md](./DATASET.md)を参照ください.

Expand Down Expand Up @@ -72,6 +72,8 @@ rye sync

### 評価の実行

(現在, llm-jp-eval-mm リポジトリはprivateになっています. examples ディレクトリについては, [https://pypi.org/project/eval-mm/#files](https://pypi.org/project/eval-mm/#files)のSource Distributionにてdownloadできます.)

評価の実行のために,サンプルコード`examples/sample.py`を提供しています.

`examples/{モデル名}.py`として含まれているモデルは,その推論方法に限りサポートしています.
Expand Down

0 comments on commit ad1a24d

Please sign in to comment.