基于PPSeg框架的HRNet_W48_Contrast复现
该项目复现相关论文，基于PaddleSeg实现全监督语义分割训练范式，借跨图像像素对比优化特征空间。在Cityscapes验证集上，HRNet_W48模型mIou达82.47%，超复现要求，使用Tesla V100及PaddlePaddle 2.1.2。
论文简介
论文作者提出一种新的、全监督语义分割训练范式，可应用于语义分割的训练中，能够显著提高语义分割的效果。论文在cityscapes验证集上进行实验，HRNet_W48的mIou为81.0%，本次复现赛要求复现的精度为82.2%，本项目复现结果为82.47%。
论文核心思想
作者提出一种新的、全监督语义分割训练范式，利用跨图像的像素-像素之间的关系，来学习一个更好的特征空间。如上图所示，（a）和（b）是训练图片及其对应的标签，传统的语义分割训练时忽略了不同图片之间的上下文信息，而本篇论文提出的跨图像像素对比学习，利用不同图片之间的像素关系，使得特征空间中同种类别的像素相似性变高、不同类别的像素相似度变低（如图d），从而得到一个更好的结构化的特征空间（如图e）。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
网络结构
上图为网络结构，fFCN为backbone模块，fSEG为语义分割head模块，从fSEG平行引出fPROJ模块，fPROJ用来进行对比训练，fSEG训练方法与传统方法相同。
损失函数
损失函数如上图，由2部分构成，交叉熵损失和对比损失组成，其中对比损失为本篇论文的核心。
交叉熵损失如上图所示，此处不做介绍。
上图为对比损失，亦是本篇论文的核心。其中i是真实标签为c的特征向量，i+为正样本像素特征，i-为负样本像素特征，由上式可以看出，通过像素-像素对比学习，在特征空间上同一类别的像素拉近，不同类别的像素原理，从而使得不同类别的像素特征空间能够更好的可区分。
对比损失的anchor采样方法
预测错误的像素被认为是hard anchor，预测正确的像素被认为是easy anchor，在对比度损失计算过程中，一半的anchor是hard anchor，另一半是easy anchor。
实验
上左图为像素交叉熵损失的特征可视图，上右图是对比损失的特征可视化图，可以看出，使用了像素对比损失的语义分割模型特征空间更具结构化。
项目介绍
本项目为第四届百度论文复现赛Exploring Cross-Image Pixel Contrast for Semantic Segmentation复现结果，本项目基于PaddleSeg实现，并复现了论文实验结果，非常感谢百度提供的比赛平台以及GPU资源。
复现环境
硬件： Tesla V100 * 4
框架： paddlepaddle==2.1.2
参数调试
1、project dimension：此参数不影响最后的模型大小，可以适度调整来获得好的效果；
2、迭代次数：40k次迭代时mIou为81.8%，不满足验收标准，60k次迭代mIou为82.47%，可以适当提高迭代次数；
3、训练时长：Tesla V100 * 4， batch_size为2，60k次迭代，训练总时长为13.5h。
复现经验
1、使用paddleseg语义分割框架可以有效的减少复现的代码量，提高复现速度；
2、论文提供的源码使用的框架是pytorch，需要注意不同框架模型转换的细节（尤其是部分函数的不同）。
项目结果
项目实现思路
本项目基于PaddleSeg开发，由于PaddleSeg已经包含了数据处理，验证等多项功能，本篇论文的复现仅需要实现HRNet_W48 Head和Contrast loss部分。
项目运行实践
1、按照以下步骤可运行本项目。
2、由于HRNet_W48参数较大，无法上传至Aistudio，可从github的百度云连接下载训练好的权重参数。
# step 1: git clone, 本项目已clone过，跳过此步骤!git clone https://hub.fastgit.org/justld/contrast_seg_paddle.git登录后复制 In [ ]
# step 2: 解压数据集%cd /home/aistudio/data/data64550!tar -xf cityscapes.tar%cd /home/aistudio登录后复制 In [ ]
# step 3: 训练# 注意：把configs目录下的HRNet_W48_cityscapes_1024x512_60k中数据集目录更换为自己的数据集目录，如：dataset_root: /home/aistudio/data/data64550/cityscapes%cd /home/aistudio/contrast_seg_paddle!python train.py --config configs/HRNet_W48_cityscapes_1024x512_60k.yml --do_eval --use_vdl --log_iter 100 --save_interval 1000 --save_dir output登录后复制 代码解释In [3]
# step 4: 验证# 注意：由于训练好的参数文件太大，请移步github（https://hub.fastgit.org/justld/contrast_seg_paddle.git）从百度云下载权重文件，并把model_path更换为自己的参数路径%cd /home/aistudio/contrast_seg_paddle!python val.py --config configs/HRNet_W48_cityscapes_1024x512_60k.yml --model_path output/best_model/model.pdparams登录后复制
相关攻略
Pywinrm 通过Windows远程管理（WinRM）协议，让Python能够像操作本地一样执行远程Windows命令，真正打通了跨平台管理的最后一公里。 在混合IT环境中，Linux机器管理Wi
早些时候，聊过 Python 领域那场惊心动魄的供应链攻击。当时我就感叹，虽然我们 JavaScript 开发者对这类套路烂熟于心，但亲眼目睹这种规模的“投毒”还是头一次。 早些时候，聊过 Pyth
Toga 是 BeeWare 家族的核心成员，号称“写一次，跑遍所有平台”，而且用的是系统原生控件，不是那种一看就是网页套壳的界面 。 写了这么多年 Python，你是不是也想过：要是能一套代码跑
异常处理的核心：让错误在正确的地方被有效处理。正确的地方，就是别在底层就把异常吞了，也别在顶层还抛裸奔的 Exception。 异常处理写得好，半夜不用起来改 bug。1 你是不是也这么干过？tr
1 Skills机制概述 提起OpenClaw的Skills机制，不少人可能会把它想象成传统意义上的可执行插件。其实，它的内涵要更精妙一些。 简单说，Skills本质上是一套基于提示驱动的能力扩展机制。它并不是一个可以独立“跑”起来的程序模块，而是通过一份结构化描述文件（核心就是那个SKILL m
热门专题
热门推荐
加密货币行业翘首以盼的监管里程碑，终于有了实质性进展。美国证券交易委员会（SEC）主席保罗·阿特金斯（Paul Atkins）近日证实，那份允许加密项目在早期获得注册豁免权的“安全港”框架提案，已经正式送抵白宫，进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上，阿特金斯透露了这
微策略Strategy报告：第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大？看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告，受市场剧烈波动影响，这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿
稳定币巨头Tether的动向，向来是加密世界的风向标。这不，它向Web3基础设施的版图扩张，又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露，其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出，立刻引发了行业的广泛猜想。 采用D
基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol，日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议，在运营不到三年后，终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets（ILMs）——一
PAAL代币揭秘：深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中，谁真正掌握了项目的话语权？PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介，更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币，用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票