[AI达人特训营第三期] keggle木薯病叶分类【基于PaddleClas】

木薯叶病分类[Cassava Leaf Disease Classification]

       

一.项目背景：

作为非洲第二大碳水化合物来源，木薯是小农种植的一种重要的粮食安全作物，因为它可以承受恶劣的环境。撒哈拉以南非洲至少80%的家庭农场种植这种淀粉质根，但病毒性疾病是产量低的主要原因。在数据科学的帮助下，有可能识别常见疾病，从而对其进行治疗。

现有的疾病检测方法要求农民寻求政府资助的农业专家的帮助，对作物进行目视检查和诊断。这是劳动密集型、供应不足和成本高昂的问题。另一个挑战是，针对农民的有效解决方案必须在重大限制条件下表现良好，因为非洲农民可能只能获得低带宽的移动质量相机。

在这场比赛中，我们介绍了在乌干达定期调查中收集的21367张标记图像的数据集。大多数图像都是由农民拍摄的花园照片众包而来，并由国家作物资源研究所(NaCRRI)与坎帕拉马凯雷雷大学人工智能实验室合作的专家进行注释。这是一种最现实地代表农民在现实生活中需要诊断的格式。

项目目标是将每张木薯图像分为四种疾病类别或第五种表示健康叶子的类别。在你的帮助下，农民可能能够快速识别患病植物，从而在作物遭受无法弥补的损失之前挽救他们的作物。

二.数据集分析：

文件

登录后复制        

[train/test]_images：图像文件。其中供测试的图片只有一张。（由于keggle竞赛的测试数据集不公开，在test_images下只有1张图片）

train.csv：

登录后复制        

image_id：镜像文件名。

label:疾病的ID代码。

sample_submission.csv 给定公开的测试集内容，正确格式化的示例提交。

登录后复制        

image_id:镜像文件名。

label:疾病的ID代码。。

[train/test]_tfrecords

登录后复制        

tfrecords格式的镜像文件。

label_num_to_disease_map

登录后复制        

每个疾病代码与真实疾病名称之间的映射。

三.PaddleClas介绍

飞桨图像识别套件PaddleClas是飞桨为工业界和学术界所准备的一个图像识别和图像分类任务的工具集，助力使用者训练出更好的视觉模型和应用落地。 PaddleClas支持多种前沿图像分类、识别相关算法，发布产业级特色骨干网络PP-HGNet、PP-LCNetv2、 PP-LCNet和SSLD半监督知识蒸馏方案等模型，在此基础上打造PULC超轻量图像分类方案和PP-ShiTu图像识别系统。        

您可以选择自己重新克隆PaddleClas到本地进行训练，也可以直接解压已经修改好的套件进行复现。

将PaddleClas克隆到本地，并安装PaddleClas依赖。

登录后复制    In [ ]

 # !git clone https://github.com/PaddlePaddle/PaddleClas.git

登录后复制    In [ ]

# pip install --upgrade -r /home/aistudio/PaddleClas/requirements.txt

登录后复制    

解压PaddleClas

登录后复制    In [ ]

! unzip /home/aistudio/PaddleClas.zip

登录后复制    In [ ]

# 解压数据集! unzip /home/aistudio/data/data200382/cassava-leaf-disease-classification.zip -d ./dataset/

登录后复制    In [1]

# 导入依赖import osimport cv2import numpy as npimport pandas as pdimport matplotlib.pyplot as plt

登录后复制    

四. 数据分析：

在该数据集中，每张图片的尺寸大小均为6008003，有五种种种类，共21397张训练图片，问题本质是一个多分类问题 样本分布不均匀：通过可视化label的数量，可以发现疾病id为3的图像样本较少，可以对少类别的原图进行裁剪、缩放、旋转等操作增加该类别的图片数量，从而达到类别均衡

In [2]

BASE_PATH = '/home/aistudio/dataset/train_images/1004672608.jpg'image = cv2.imread(BASE_PATH)image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)plt.imshow(image)plt.show()image.shape  # (600, 800, 3)

登录后复制        

登录后复制                

(600, 800, 3)

登录后复制                In [3]

train_dataset = pd.read_csv('/home/aistudio/dataset/train.csv')train_dataset.head()

登录后复制        

         image_id  label0  1000015157.jpg      01  1000201771.jpg      32   100042118.jpg      13  1000723321.jpg      14  1000812911.jpg      3

登录后复制                In [4]

train_dataset.shape #(21397, 2)

登录后复制        

(21397, 2)

登录后复制                In [5]

plt.figure(figsize=(6, 3))train_dataset['label'].value_counts().plot(    kind='bar',    color='#558354',    width=0.7)plt.xlabel('Label', fontsize=12)plt.ylabel('Count', fontsize=12)plt.title('Distribution of Labels', fontsize=15)plt.xticks(rotation=360)plt.show()

登录后复制        

登录后复制                

五. 数据预处理：

我们按照0.5:0.4:0.1的比例划分训练集，测试集，验证集，并写入train_list.txt,test_list.txt,val_list.txt

In [8]

train_image = []train_id = []for i in train_dataset['image_id']:    train_image.append(i)for i in train_dataset['label']:    train_id.append(i)train_rate, test_rate, val_rate = 0.5, 0.4, 0.1 # 互粉si1 = int(len(train_image)*train_rate)i2 = int(len(train_image)*(train_rate + test_rate)) train_data = train_image[:i1]train_label = train_id[:i1]test_data = train_image[i1:i2]test_label = train_id[i1:i2]val_data = train_image[i2:]val_label = train_id[i2:]print(len(train_data),len(train_label))print(len(test_data),len(test_label))print(len(val_data),len(val_label))

登录后复制        

10698 106988559 85592140 2140

登录后复制        

数据存储格式如下：

       

In [8]

for i in range(len(train_data)):    with open("/home/aistudio/dataset/train_list.txt", "a") as f:        f.write("/home/aistudio/dataset/train_images/" + train_data[i] + " " + str(train_label[i]) + '\n')for i in range(len(test_data)):    with open("/home/aistudio/dataset/test_list.txt", "a") as f:        f.write("/home/aistudio/dataset/train_images/" + test_data[i] + " " + str(test_label[i]) + '\n')for i in range(len(val_data)):    with open("/home/aistudio/dataset/val_list.txt", "a") as f:        f.write("/home/aistudio/dataset/train_images/" + val_data[i] + " " + str(val_label[i]) + '\n')

登录后复制    

六. 定义网络：

本项目作为一个分类基础baseline，可以选择套件内预训练好的ResNet_vd网络来进行分类 ··需要注意的是，在网络最后一层我们要改为类别数：5

开始训练

登录后复制        

使用ResNet_cd网络进行训练，配置文件在/home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml中

具体修改如下： 每20轮迭代保存一次模型，使用VisualDl可视化工具，图片尺寸改为224*224，因为是五分类问题，所以改为5个类别

修改训练文件和验证文件路径，数据预处理方式为随机裁剪，水平翻转，标准化等

优化器选择动量优化器，参数0.9，损失选择CELoss,batch_size选择64。

       

In [ ]

%cd ~/PaddleClas!python3 tools/train.py \    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \    -o Global.checkpoints="/home/aistudio/PaddleClas/output/ResNet50_vd/epoch_140" \    -o Arch.pretrained=True \    -o Global.device=gpu \

登录后复制    

七. 数据可视化

点击notebook左边可视化选项 在设置logdir添加 PaddleClas/output val_1,val_2,val_4,val_5,val_6进行可视化 acc稳定在86.6%左右        

八. 模型评估 + 模型预测

In [ ]

%cd ~/PaddleClas!python3 tools/eval.py \    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \    -o Global.pretrained_model=/home/aistudio/PaddleClas/output/ResNet50_vd/best_model

登录后复制    In [ ]

%cd ~/PaddleClas!python3 tools/infer.py \    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \    -o Global.pretrained_model=/home/aistudio/PaddleClas/output/ResNet50_vd/best_model

登录后复制    

九.基于训练得到的权重导出 inference 模型

In [ ]

%cd ~/PaddleClas!python3 tools/export_model.py \    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \    -o Global.pretrained_model=/home/aistudio/PaddleClas/output/ResNet50_vd/best_model \    -o Global.save_inference_dir=deploy/models/ResNet50_vd_base_infer

登录后复制    In [ ]

# !zip -r PaddleClas.zip /home/aistudio/PaddleClas

登录后复制