本项目基于2024年ICASSP论文的SA-NET模型，用paddle2.0复现含Shuffle Attention模块的网络，在10分类动物数据集（按8:2划分训练、验证集）上实验。对比SA-ResNet50与ResNet50，前者验证准确率达86.78%，通过图示训练过程及结果，展现SA模块融合空间与通道注意力的优势。

项目背景

SA-NET是2024年ICASSP上的一篇论文SA-Net: Shuffle Attention for Deep Convolutional Neural Networks中提出的基于注意力机制的卷积网络模型。本项目即对其进行复现。

计算机视觉领域的注意力机制主要涵盖空间注意力和通道注意力两个方面。其中空间注意力用来捕获像素间的关系，而通道注意力用来捕获通道间的关系。SA-NET提出了一个将空间注意力和通道注意力融合起来的模块Shuffle Attention(SA)。本项目复现SA-NET并用其来完成动物图像分类的实验。

项目简介

本项目首次使用paddle2.0复现了含有注意力机制的网络SA-NET，并在动物数据集上进行了训练和验证。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

动物数据集的划分是按8:2的的划分方法进行训练集与验证集划分的。

模型简介

SA-NET网络的核心思想是提出了SA模块。该模块对分组卷积的每个组采取通道分割。对于通道注意力分支，采用全局平均池化产生通道相关的统计信息，然后使用参数来缩放和平移通道矢量并生成通道特征表达。对于空间注意力分支，采用组归一化来产生空间相关的统计信息并生成空间特征表达。将两个分支的特征合并后，使用channel shuffle操作来进行不同子特征间的通信。如图1所示。

图1 SA模块细节示意图

具体实现可以fork后见代码细节。

论文原文：SA-Net: Shuffle Attention for Deep Convolutional Neural Networks

参考代码：

PyTorch的实现

数据集介绍

本项目使用10分类的动物数据集进行训练和测试.

该十分类动物数据集，包含dog,horse,elephant,butterfly,chicken,cat,cow,sheep,spider和squirrel。每一分类的图片数量为2k-5k。

文件结构

解压数据集

In [ ]

!unzip -q data/data70196/animals.zip -d work/dataset

登录后复制

查看图片

In [ ]

import osimport randomfrom matplotlib import pyplot as pltfrom PIL import Imageimgs = []paths = os.listdir('work/dataset')for path in paths:       img_path = os.path.join('work/dataset', path)    if os.path.isdir(img_path):        img_paths = os.listdir(img_path)        img = Image.open(os.path.join(img_path, random.choice(img_paths)))        imgs.append((img, path))f, ax = plt.subplots(3, 3, figsize=(12,12))for i, img in enumerate(imgs[:9]):    ax[i//3, i%3].imshow(img[0])    ax[i//3, i%3].axis('off')    ax[i//3, i%3].set_title('label: %s' % img[1])plt.show()

登录后复制

登录后复制

划分训练集和验证集

In [ ]

!python code/train_val_split.py

登录后复制

finished train val split!

登录后复制

使用SA-ResNet50网络进行动物分类的训练并验证

In [1]

!python code/train.py --net 'sa_resnet'

登录后复制

验证

In [5]

!python code/eval.py --net 'sa_resnet'

登录后复制

Constructing sa_resnet50......W0218 00:13:00.844122 29642 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1W0218 00:13:00.848348 29642 device_context.cc:372] device: 0, cuDNN Version: 7.6.Eval begin...The loss value printed in the log is the current batch, and the metric is the average value of previous step.step 103/103 [==============================] - loss: 0.6799 - acc: 0.8678 - 215ms/step         Eval samples: 3276{'loss': [0.67990136], 'acc': 0.8678266178266179}

登录后复制

图示训练验证过程

图2. 使用SA-ResNet50的训练验证图示

使用ResNet50网络进行动物分类的训练并验证

训练

In [1]

!python code/train.py --net 'resnet'

登录后复制

验证

In [2]

!python code/eval.py --net 'resnet'

登录后复制

图示训练验证过程

图3. 使用ResNet的训练验证图示

比较

图4. 使用SA-NET和ResNet的验证比较图示

相关攻略

热门推荐