03 导师不敢和你说的水论文隐藏技巧,模型复现后,性能低了怎么办?

人工智能85

0:10

这只是其中一种解释:

对于 AI 模型,用不同的显卡跑,结果很大可能不一样

求偏导的结果一定是不准确的,有有限循环小数

然后由于每个显卡精度不一样

导致反向传播和梯度下降的精度不一样

一个不一样,微乎其微,但是 1000 多万个参数,都有一点区别,一点点小小的变化会导致最后发生一个很大的变化

我和他的显卡一样,但是性能还是和原作者不一样:

第二个解释(可能造假了):

卖论文,卖论文的人大都掌握了写论文的精髓(花里胡哨即可)

有能力的人基本不会做这种事

这个时候你需要叫他给你一份他保存的模型文件,然后用相同的代码(一模一样)跑

或者作者上传的代码最后进行了一种微调。

因为我有一行代码(看起来不重要的代码),没有注释

这也是一种解释

一个模型没有设定随机数种子,导致模型参数初始化的时候,每次结果不一致()

用复现的结果,一定要记住,保存证据,保存你跑出来的模型文件,然后写论文的时候记住,标明一下

你还可以做一件什么事情呢?????

原论文91

复现后 89(它的模型,他论文标明的参数,最好是相同的显卡)

那你只要达到 90 就行了。这个 90 不需要你和他的参数一致,

它的 bs32,你的可以是 16,它的 lr 是 0.05,你的可以是,0.005

调到最优值后,你是 90

Original: https://www.cnblogs.com/nickchen121/p/16728555.html
Author: 二十三岁的有德
Title: 03 导师不敢和你说的水论文隐藏技巧,模型复现后,性能低了怎么办?