the mask in rendering result

[blueFeather111]

I noticed in this function

res = render_func(view, gaussians, pipeline,...)

它的结果res包含了"mask", 也注意到在diff-gaussian-rasterization的forward.cu中有渲染mask.
但是这个mask画出来并不像mask, 而是一些稀疏的点。

请问在evaluate中，计算和ground truth mask的IOU时能用res['mask']吗？
还是需要用res['render']中>0的部分作为predicted mask?
期待回复

res["render"]

res['mask']

[Jumpat]

你好，能否提供有关res['mask']更多的信息。这个渲染结果是不正常的，这是使用main branch还是v2 branch分割后的渲染结果？渲染时传入的参数具体是什么样的？

[blueFeather111]

你好，能否提供有关res['mask']更多的信息。这个渲染结果是不正常的，这是使用main branch还是v2 branch分割后的渲染结果？渲染时传入的参数具体是什么样的？

用的是main branch, 数据集用的是figurines, 提取特征的时候图像没有做resize, 原图大小。

参数：
以idx = 0为例，
view是读取的相机和图片信息，包括FoVX, FoVY,R,T, image_name="frame_00001"
feature_height=147,feature_width=200. image_height=728, image_width=986

gaussians: 用precomputed_mask分割后的点云，分割前点云数量为1981620, 分割后点云数量是3463, get_features:(3463,16,3), get_mask:(3463,1), max_radii2D=0, max_sh_degree=3

background:[0,0,0]

precomputed_mask: (1981620,1), 是3D分割保存的./segmentation_res/figurines.pt

    for idx, view in enumerate(tqdm(views, desc="Rendering progress")):
        res = render_func(view, gaussians, pipeline, background, override_mask=precomputed_mask.float())

        rendering = res["render"]
        mask = res["mask"]
        im_mask = mask.squeeze().detach().cpu().numpy()
        im_mask[im_mask > 0] =255  #这里阈值取0，上次的图阈值取的是0.3
        #cv2.imshow("mask", im_mask)

上次的res["mask"]是取阈值>0.3的为mask,
现在取阈值为0的效果：
感觉mask比较稀疏，是不是哪里有问题？期待您的回复。

[wangmiaowei]

效果不太好。说实话

[Jumpat]

@blueFeather111 抱歉忘记回复这个issue了。这里点比较稀疏主要是因为物体内部和外部高斯特征不对齐导致的，使用v2 branch的代码效果应该会好。
@wangmiaowei 如果是v2 branch的代码中有什么效果不好的情况，可以发在issue里我看下是否是方法/代码还有可优化的地方。

[blueFeather111]

@blueFeather111 抱歉忘记回复这个issue了。这里点比较稀疏主要是因为物体内部和外部高斯特征不对齐导致的，使用v2 branch的代码效果应该会好。

我用了v2 branch的渲染mask, 效果还不错。谢谢你的回复。