【第五期论文复现赛-语义分割】BiSeNet
BiSeNet是实时语义分割网络，针对常见加速方法损失空间信息等问题，提出双路径结构：Spatial Path保留高分辨率特征图，Context Path通过下采样增感受野，结合特征融合模块融合特征。在Cityscapes数据集复现中，以特定配置达75.19% mIoU，兼顾速度与性能。
【第五期论文复现赛-语义分割】BiSeNet-实时语义分割网络
语义分割任务需要丰富的空间信息和大的感受野，大部分模型都通过降低特征图的分辨率来加快推理速度，特征图分辨率的降低会导致模型性能的下降。为了兼顾推理速度的同时保留大的特征图分辨率，作者提出了BiSeNet，引入Spatial Path和Context Path，Spatial Path中步长较小来得到高分辨率的特征图，Context Path引入快速的下采样机制来增加感受野，最后使用特征融合模块将Spatial Path和Context Path的特征图进行有效融合。
论文：BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation
最新repo：https://github.com/CoinCheung/BiSeNet
复现repo：https://github.com/justld/BisNetV1_paddle
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
一、引言
为了使模型达到实时分割的效果，常常用3种方法对模型进行加速：
1、限制输入尺寸。通过resize或者crop来限制模型输入的大小，从而减少计算量；
2、裁剪网络的通道数。降低模型的通道（尤其是靠输入的层）能够减小计算量，但是弱化模型的空间表达能力；
3、ENet减少了下采样比率（抛弃了Encoder的低分辨率的层），从而导致模型的感受野降低，对大物体的分割效果不好。
为了弥补上述方法中的空间信息损失，研究者们使用U型的结构利用高分辨率的特征图来补充下采样时丢失的细节。但是这样的方法也有缺点：
1、高分辨率特征图的引入导致计算量增加，从而降低了模型运行速度；
2、网络浅层通道裁剪导致丢失的空间信息损失不容易被修复。
基于以上，作者提出了BiSeNet，Spatial Path的输出是1/8特征图，保留了丰富的空间信息；在Context Path最后添加了全局平均池化层，使得Context Path特征图的感受野为全局。
二、网络结构
Spatial Path的输出是1/8特征图，保留了丰富的空间信息；在Context Path最后添加了全局平均池化层，使得Context Path特征图的感受野为全局；Attention Refinement Module和Feature Fusion Module模块都引入了注意力机制。需要注意图(a)中右下角的白色方框表示global average pooling层。
三、实验结果
BiSeNet在Cityscapes数据集上的实验结果如图所示，fps在显卡NVIDIA Titan XP上计算。
四、复现环境
paddlepaddle=2.2.2
tesla V100 * 4
五、复现结果
六、快速体验
按照以下步骤即可快速体验BiSeNet训练验证过程。（想要复现完整的训练过程请使用脚本任务）
In [ ]# step 1: git clone-已包含文件，无需clone# !git clone https://github.com/justld/BisNetV1_paddle.git登录后复制 In [ ]
# step 2: unzip data%cd ~/data/data64550!tar -xf cityscapes.tar%cd ~/登录后复制 In [ ]
# step 3: training%cd ~/BisNetV1_paddle/!python train.py --config configs/bisenetv1/bisenetv1_cityscapes_1024x512_160k.yml --num_workers 4 --do_eval --use_vdl --log_iter 20 --save_interval 2000登录后复制 In [12]
# step 4: val%cd ~/BisNetV1_paddle/!python val.py --config configs/bisenetv1/bisenetv1_cityscapes_1024x512_160k.yml --model_path output/best_model/model.pdparams登录后复制
/home/aistudio/BisNetV1_paddle2024-03-11 16:09:12 [INFO]---------------Config Information---------------batch_size: 4iters: 160000loss: coef: - 1 - 1 - 1 types: - type: OhemCrossEntropyLoss - type: OhemCrossEntropyLoss - type: OhemCrossEntropyLosslr_scheduler: end_lr: 0.0 learning_rate: 0.01 power: 0.9 type: PolynomialDecaymodel: backbone: output_stride: 8 type: ResNet18_vd type: BiseNetV1optimizer: momentum: 0.9 type: sgd weight_decay: 0.0005train_dataset: dataset_root: /home/aistudio/data/data64550/cityscapes mode: train transforms: - max_scale_factor: 2.0 min_scale_factor: 0.5 scale_step_size: 0.25 type: ResizeStepScaling - crop_size: - 1024 - 512 type: RandomPaddingCrop - type: RandomHorizontalFlip - brightness_range: 0.4 contrast_range: 0.4 saturation_range: 0.4 type: RandomDistort - type: Normalize type: Cityscapesval_dataset: dataset_root: /home/aistudio/data/data64550/cityscapes mode: val transforms: - type: Normalize type: Cityscapes------------------------------------------------W0311 16:09:12.629894 2833 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1W0311 16:09:12.629941 2833 device_context.cc:465] device: 0, cuDNN Version: 7.6.2024-03-11 16:09:16 [INFO]No pretrained model to load, ResNet_vd will be trained from scratch.2024-03-11 16:09:16 [INFO]Loading pretrained model from output/best_model/model.pdparams2024-03-11 16:09:16 [INFO]There are 206/206 variables loaded into BiseNetV1.2024-03-11 16:09:16 [INFO]Loaded trained params of model successfully2024-03-11 16:09:16 [INFO]Start evaluating (total_samples: 500, total_iters: 500)...500/500 [==============================] - 81s 161ms/step - batch_cost: 0.1608 - reader cost: 0.13142024-03-11 16:10:37 [INFO][EVAL] #Images: 500 mIoU: 0.7519 Acc: 0.9572 Kappa: 0.9445 2024-03-11 16:10:37 [INFO][EVAL] Class IoU: [0.9796 0.8391 0.9183 0.4422 0.5683 0.6251 0.703 0.7758 0.92 0.6217 0.9425 0.8053 0.5925 0.9467 0.7111 0.8287 0.7332 0.5678 0.7654]2024-03-11 16:10:37 [INFO][EVAL] Class Acc: [0.9883 0.9169 0.9508 0.8329 0.8072 0.7926 0.8402 0.8981 0.9518 0.8052 0.9601 0.8769 0.7613 0.9691 0.9346 0.9342 0.9139 0.7919 0.8579]登录后复制
七、复现经验
1、如果复现的精度未达到要求，且与目标精度差距不大，可以尝试增加训练次数，若与目标精度相差较大，需要检查网络、预处理过程等是否有误；
2、优先使用PaddleSeg框架复现论文，可以节省大量的时间，同时能够在PR时提高效率。
相关攻略
Pywinrm 通过Windows远程管理（WinRM）协议，让Python能够像操作本地一样执行远程Windows命令，真正打通了跨平台管理的最后一公里。 在混合IT环境中，Linux机器管理Wi
早些时候，聊过 Python 领域那场惊心动魄的供应链攻击。当时我就感叹，虽然我们 JavaScript 开发者对这类套路烂熟于心，但亲眼目睹这种规模的“投毒”还是头一次。 早些时候，聊过 Pyth
Toga 是 BeeWare 家族的核心成员，号称“写一次，跑遍所有平台”，而且用的是系统原生控件，不是那种一看就是网页套壳的界面 。 写了这么多年 Python，你是不是也想过：要是能一套代码跑
异常处理的核心：让错误在正确的地方被有效处理。正确的地方，就是别在底层就把异常吞了，也别在顶层还抛裸奔的 Exception。 异常处理写得好，半夜不用起来改 bug。1 你是不是也这么干过？tr
1 Skills机制概述 提起OpenClaw的Skills机制，不少人可能会把它想象成传统意义上的可执行插件。其实，它的内涵要更精妙一些。 简单说，Skills本质上是一套基于提示驱动的能力扩展机制。它并不是一个可以独立“跑”起来的程序模块，而是通过一份结构化描述文件（核心就是那个SKILL m
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票