推論ファイルの準備

モデルの推論ファイルの追加

• 本リポジトリでは，推論を行うモデルを明示的にはサポートしない．
  • ただし，examples/{model_name}.pyにおいて，我々がベースラインとしたモデルのベンチマーク計測に用いた推論方法を提示している．

{model_name}.pyが持つべきもの

• {model_name}.pyは，VLMクラスの中に以下の関数を持っていればよい．

class VLM:
    model_id: str = "{model_name}"

    def __init__(self) -> None:
        # モデルの初期化

    def generate(self, images: Union[Image.Image, list[Image.Image]], text: str, max_new_tokens: int = 256):
        # モデルの生成部分．画像は複数枚，もしくは1枚で与えられることに注意．

vllmインターフェースの利用

• 現状全てのモデルで利用できるわけではない
• 新規モデル導入時にvllm利用を考慮する