智慧农业赛题——牛只图像分割竞赛

本文围绕牛只图像分割竞赛展开，介绍赛题背景、任务及数据情况，包括训练集和A、B榜测试集，标注文件为COCO格式的json。还阐述了数据处理、环境准备、数据集划分与定义，以及使用Mask RCNN模型训练和预测的过程，经80个epoch训练提交结果约0.2。

一、智慧农业赛题——牛只图像分割竞赛

比赛地址：https://www.dcic-china.com/competitions/10021

参考geoyee大佬： https://aistudio.baidu.com/aistudio/projectdetail/3452878

1.赛题简介

赛题名称： 牛只图像分割竞赛

出题单位： 深圳喜为智慧科技有限公司

赛题背景： 牛只图像分割是智慧畜牧中的重要一环，既实现牛只的智能个体识别，还能掌握牛在养殖过程中的生长状况。本赛题旨在用人工智能为畜牧养殖赋能，使用机器代替饲养员对牛只进行个体识别，节约人力成本，同时快速获取牛只的体格信息数据，作为后续牛只体型评价、健康评价等的重要参考依据。

赛题任务： 本赛题以牛只实例分割图像数据作为训练样本，参赛选手需基于训练样本构建模型，对提供的测试集中的牛只图像进行实例分割检测。任务方法不局限于实例分割等方案，训练数据集不局限于提供的数据，可以加入公开的数据集。

2.数据简介

3.数据说明

本次比赛标注文件中的类别为1类，为牛只,标注的文件格式为json格式，内容格式参照coco数据集标注格式。一个数据集对应一个图片文件夹一个json文件，json文件格式和A榜B榜json文件格式相同，内容格式具体如下：

1、“image”图片描述信息，包含多张图片的id与图片类型、名称信息。

“image”:[{“id”: int,#图片id编号“_id”: str，#图片_id编号“file_name”: str，#图片路径或名称“height”: int,#图片高度“width”: int, #图片宽度“type”: “jpg”#图片类型}，{…},{…}]

2、“categories”类别描述信息，包含类别名称和类别id，该数据集仅为一类，为牛只。

“categories”: [{“supercategory”: “object”,#父类别“name”: “cow”,#类别名称“id”: 1 #类别对应id}]

3、“annotations”标注描述信息，包含标注对应的图片标识id,标注的坐标信息等。

“annotations”:[{“_id”:str,#对应图片_id编号“id”:int,#目标标号“image_id”:int,#对应图片id编号“iscrowd”:int,#固定值0“bbox”:list,#目标定位框[x,y,w,h]“area”:float,#目标面积“segmentation”:list,#实例分割坐标[x1,y1,x2,y2,…]“category_id”:int#类别标识id}，{…},{…}]

4.提交示例

参赛者通过提供的测试数据集图片得出具体的实例分割坐标，提交格式为json文本，utf-8编码，整体为一个数组格式，参考coco的实例分割的输出格式。

[{“image_id”:“images/611e27ff656be64fad34087f.png”,“category_id”:18,“segmentation”:{“size”:[2560,1440],“counts”:“xxx”},“score”:0.236},{…},…]

二、数据处理

主要是解压缩并查看数据

!unzip -qoa data/data127515/train_dataset.zip -d train

!unzip -qoa data/data127515/test_dataset_A.zip -d test

from PIL import Imageimg=Image.open('train/200/images/60ac8ef2b7f3a3763b8340af.jpg')img

三、环境准备

建议使用PaddleX，虽然都是COCO格式的json，但是实际上PaddleDetection的COCO的格式要求更严格，而PaddleX的COCO格式相对来说没那么严格，不用再进行数据处理。

!pip install paddlex

四、数据集处理

1.数据集划分

按照 8:2划分train和eval

!mv train/200/data.json train/200/annotations.json

!paddlex --split_dataset --format COCO --dataset_dir train/200 --val_value 0.2

!ls train/200

annotations.json  images  train.json  val.json

2.统计mean和std

# 统计mean和stdimport osimport cv2import numpy as npfrom tqdm import tqdmimg_list_1440 = []img_list_576 = []means = np.zeros(3)stdevs = np.zeros(3)imgs_path = "train/200/images"imgs_name = os.listdir(imgs_path)for idx, name in tqdm(enumerate(imgs_name)):    if name == ".ipynb_checkpoints":        continue    img = cv2.cvtColor(cv2.imread(os.path.join(imgs_path, name)), cv2.COLOR_BGR2RGB)    img = img[:, :, :, np.newaxis]    if img.shape[0] == 1440:        img_list_1440.append(img)    else:        img_list_576.append(img)for img_list in [img_list_1440, img_list_576]:    imgs = np.concatenate(img_list, axis=-1)    imgs = imgs.astype(np.float32) / 255.    for i in tqdm(range(3)):        pixels = imgs[:, :, i, :].ravel()        means[i] += float(np.mean(pixels))        stdevs[i] += float(np.std(pixels))print(means / 2, stdevs / 2)

3.定义数据集

# 准备数据集import paddlex as pdxfrom paddlex import transforms as Ttrain_transforms = T.Compose([    T.MixupImage(mixup_epoch=-1),     T.RandomDistort(),    T.RandomExpand(im_padding_value=[123.675, 116.28, 103.53]),     T.RandomCrop(),    T.RandomHorizontalFlip(),     T.BatchRandomResize(        target_sizes=[320, 352, 384, 416, 448, 480, 512, 544, 576, 608],        interp="RANDOM"),     T.Normalize(        mean=[0.46157165, 0.46698335, 0.46580717], std=[0.28069802, 0.28096266, 0.28323689])])eval_transforms = T.Compose([    T.Resize(        target_size=608, interp="CUBIC"),     T.Normalize(        mean=[0.46157165, 0.46698335, 0.46580717], std=[0.28069802, 0.28096266, 0.28323689])])train_dataset = pdx.datasets.CocoDetection(    data_dir="train/200",    ann_file="train/200/train.json",    transforms=train_transforms,    shuffle=True)eval_dataset = pdx.datasets.CocoDetection(    data_dir="train/200",    ann_file="train/200/val.json",    transforms=eval_transforms)

五、模型训练

使用 Mask RCNN 模型，Mask RCNN沿用了Faster RCNN的思想，特征提取采用ResNet-FPN的架构，另外多加了一个Mask预测分支。集成了物体检测和实例分割两大功能，并且在性能上上也超过了Faster-RCNN。

具体可参考小度熊分隔； https://gitee.com/paddlepaddle/PaddleX/blob/release/2.1/tutorials/train/instance_segmentation/mask_rcnn_r50_fpn.py

1.PaddleX模型

2.PaddleDetection模型

3.模型训练

采取ResNet50_vd作为Backbone，开始训练，训练较为耗时。

import numpy as npimport paddlex as pdxfrom paddlex import transforms as T# 初始化模型并进行训练num_classes = len(train_dataset.labels)model = pdx.det.MaskRCNN(    num_classes=num_classes,     backbone="ResNet50_vd")        model.train(    num_epochs=200,    train_dataset=train_dataset,    train_batch_size=20,    eval_dataset=eval_dataset,    pretrain_weights="COCO",    learning_rate=0.005 / 12,    warmup_steps=500,    warmup_start_lr=0.0,    save_interval_epochs=5,    lr_decay_epochs=[85, 135],    save_dir="output/maskrcnn_r50vd",    use_vdl=True)

4.预测并提交

# 预测import osimport os.path as ospimport jsonimport numpy as npimport paddlex as pdxfrom tqdm import tqdmfrom pycocotools import mask as maskUtilsdef binary_mask_to_rle(binary_mask):    binary_mask = np.asfortranarray(binary_mask)    rle = maskUtils.encode(binary_mask)    rle["counts"] = str(rle["counts"], encoding="utf-8")    return rlemodel = pdx.load_model("output/maskrcnn_r50vd/best_model")test_path = "test/images/"test_name = os.listdir(test_path)res_json = []for name in tqdm(test_name):    path = osp.join(test_path, name)    if path.split(".")[-1] != "png":        continue    result = model.predict(path)    for res in result:        # print(res)        # print(50*'*')        res_json.append({            "image_id": osp.join("images", name),            "category_id": 1,            "segmentation": binary_mask_to_rle(res["mask"]),            "score": res["score"]        })    # pdx.det.visualize(image_name, result, threshold=0.5, save_dir="./output_picture/maskrcnn_r50vd")with open("test.json", "w", encoding="utf-8") as f:    json.dump(res_json, f)

经过80个epoch训练提交结果为0.2左右