Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

mobilevit模型评估的结果不一致问题 #31

Open
021022 opened this issue Mar 29, 2023 · 11 comments
Open

mobilevit模型评估的结果不一致问题 #31

021022 opened this issue Mar 29, 2023 · 11 comments

Comments

@021022
Copy link

021022 commented Mar 29, 2023

在用mobilevit网络进行评估时,在配置文件中已经把路径给修改成训练过程中保存的val集acc最高的那个模型权重文件了,窗口也显示加载的是这个模型,但是评估的结果和保存的结果不一致,并且多次执行python tools/evaluation.py models/mobilevit/mobilevit_s.py时每次结果都不一样,按理说模型确定,test集确定,每次的预测结果应该都一样的,可以看到从模型名称看到结果应该是84%才对,找不到是哪个步骤出了问题

QQ图片20230329125953

@Fafa-DL
Copy link
Owner

Fafa-DL commented Mar 30, 2023

预测时的batch size设置为1

@021022
Copy link
Author

021022 commented Mar 31, 2023

预测时的batch size设置为1

导儿你好,之前在B站上发消息您建议我试一下其他模型是否有同样的问题,今天我又试了repvggA0还是一样的问题.....训练过程中val集的准确率和最后评估时不一样,我全程是按照步骤走的,只有中间split数据集那一步,因为我是自己划分好的训练集和测试集,所以没有运行那个split的文件,但是我的数据集也放在datasets文件夹下,位置都跟您一样的,实在不知道问题在哪了....下面是此次训练repvggA0的截图,第一张是训练过程最好epoch截图,一张是评估截图

2D{J% EWYAHA $00SU0PHL2

)O5RXA2_U8)7Z~@1L7ZH117

@Fafa-DL
Copy link
Owner

Fafa-DL commented Apr 1, 2023

你验证和训练时的机器是一样的吗,多运行几次验证看看浮动大不大,我这好像在范围内

@021022
Copy link
Author

021022 commented Apr 1, 2023

你验证和训练时的机器是一样的吗,多运行几次验证看看浮动大不大,我这好像在范围内

是一样的,同一台机器,同一块显卡,验证就是会比训练过程中保存的值低很多个点,而且每次验证结果都不一样,还挺奇怪的。然后就是我每次训练时,开头会提示参数匹配不上,但是训练完之后评估时那个权重参数加载之后就会显示matched successfully。

@021022
Copy link
Author

021022 commented Apr 3, 2023

你验证和训练时的机器是一样的吗,多运行几次验证看看浮动大不大,我这好像在范围内

您好!请问是不是验证时模型相当于又训练了一轮?我看了一晚上代码也没太搞明白为什么会每次验证不一样....我怕是自己操作错误,所以我还找了同学让他随便找了个网络试了一下,结果还是每次评估都不一样,真的很奇怪....

@Fafa-DL
Copy link
Owner

Fafa-DL commented Apr 3, 2023 via email

@huisuli
Copy link

huisuli commented Apr 25, 2023

想问下这个问题解决了吗?我也出现了这种情形,预测结果相差5%

@huisuli
Copy link

huisuli commented Apr 27, 2023

我猜测是由于评估时每次图像都会被随机裁剪导致,测试输入不同

@021022
Copy link
Author

021022 commented Apr 28, 2023

我猜测是由于评估时每次图像都会被随机裁剪导致,测试输入不同

是的,我后面去看预处理部分,有些随机处理肯定是会影响预测结果的,所以后面我把测试图片的预处理部分给改成确定的操作之后就好了。

@hefan14
Copy link

hefan14 commented Aug 15, 2024

你验证和训练时的机器是一样的吗,多运行几次验证看看浮动大不大,我这好像在范围内

是一样的,同一台机器,同一块显卡,验证就是会比训练过程中保存的值低很多个点,而且每次验证结果都不一样,还挺奇怪的。然后就是我每次训练时,开头会提示参数匹配不上,但是训练完之后评估时那个权重参数加载之后就会显示matched successfully。

您好,我也遇到了相同的问题,请问您最终是如何解决的?

@Fafa-DL
Copy link
Owner

Fafa-DL commented Aug 20, 2024 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants