语义分割和实例分割是计算机视觉领域的重要任务，在农业上可以用来全面了解田间植物和环境的组成。然而，田间植物分割任务面临许多挑战。田间植物种类繁多，不同种类的植物在不同生长阶段的形态、大小和颜色各异，使得模型在识别和区分植物种类时难度增加。作物和杂草往往与土壤背景紧密交织在一起，尤其是在植物茂密生长的情况下，这增加了分割的复杂性。在农业生产中，区分作物和杂草是田间管理的关键任务，杂草会与作物争夺养分和生长空间，影响作物的生长和产量。因此，准确识别和定位田间的作物和杂草对田间管理和精准农业具有重要意义。 此外，不同的光照条件、天气变化、土壤湿度等都会影响图像的质量和植物的外观，要求分割模型具有很强的鲁棒性和适应性。尽管已有大量关于图像分割的研究，但大多数分割模型在田间环境下的表现仍不尽如人意，传统方法往往依赖于大量标注数据和特定的先验知识，难以适应田间环境的复杂性，同时，现有分割方法在处理不同生长阶段和环境条件下的植物图像时，准确性和稳定性也有待提高。 因此，本课题旨在以真实田间图像为对象，评估和改进适用于田间复杂环境下的语义和实例分割模型。这不仅有助于提升现有分割技术在农业领域的应用效果，还可以为精准农业和智能农机的发展提供技术支持。通过构建和优化分割模型，可以实现对田间作物、杂草和土壤的全面识别，为田间管理和决策提供准确的参考信息，从而为农业生产和管理提供更为科学和高效的技术支持。
图像分割是图像处理和模式识别中的一个重要研究领域，已有几十年的研究历史。随着深度学习技术的发展，特别是卷积神经网络（CNN）和全卷积网络（FCN）的应用，图像分割技术得到了显著的提升，能够在复杂的图像环境中实现更为精确的分割。这些技术的发展进一步推动了计算机视觉在各行各业中的应用和创新。因此，图像分割不仅是计算机视觉的基础组成部分，也是实现高级视觉功能和智能决策的关键环节。 就国内外图像分割技术的研究现状而言，深度学习依然是图像分割领域的主流技术。以Mask R-CNN、U-Net、DeepLab等为代表的模型在各种分割任务中表现优异。当前研究多致力于改进多尺度特征融合技术，以增强模型对不同大小目标的识别能力。同时，在数据标注昂贵或数据稀缺的场景下，自监督学习和半监督学习方法得到了越来越多的关注，这些方法可以有效利用未标注数据，提高分割性能。国内外的研究者们一直在探索更加高效、准确的图像分割方法。目前，图像分割的算法主要有阈值分割法、边缘提取法、区域分割法、分水岭分割法等，这些分割算法各有优缺点。近年来，许多研究人员提出用聚类算法来分割图像，并取得了较好的实验结果。但如何初始划分样本以及选择代表点将直接影响分割的效果。国内外的研究者们还在不断探索新的图像分割方法，例如基于深度学习的图像分割方法，这种方法利用卷积神经网络（CNN）对图像进行特征提取和分类，可以获得更加准确的分割结果。此外，还有基于图论的图像分割方法，该方法利用图论中的最小割算法对图像进行分割，可以获得较好的分割效果。 就发展趋势而言，使用Transformer架构的模型（如Swin Transformer）正在逐渐崭露头角，其在处理长距离依赖关系方面表现出色。另外，领域特化的模型优化也成为了一大关注点，针对不同应用领域和数据特性，未来的研究将更加关注定制化模型的优化。在未来，实时图像分割技术也将成为研究热点，自适应分割方法和智能分割技术将成为新的研究方向。图像分割技术的发展趋势反映了人工智能和机器学习领域的整体进步，同时也指出了未来研究和应用的新方向。随着技术的不断成熟，图像分割将在更多领域发挥关键作用。
- 基于 PhenoBench 数据集(下载链接)，我们选取了OneFormer,Mask2Former,K-net,Panoptic Deeplab和MP-former五个统一分割模型
- 我们针对作物、杂草和土壤的语义分割，使用 mIoU，class-specific IoUs 和 Boundary-IoU 等作为网络性能评估指标
- 针对作物和杂草进行实例分割，使用 PQ、 RQ、 SQ 和 mIoU 等作为评估指标