分类实验结果无法复现

[myflash163]

分类实验中，分别跑了下面几个模型，算出ACC平均值如下，与论文实验结果不符：

TimesNet 平均值 0.726112379
Informer 平均值 0.698233222
Autoformer 平均值 0.595744996
iTransformer 平均值 0.699916293

模型	数据集	accuracy
TimesNet	EthanolConcentration	0.326996198
TimesNet	FaceDetection	0.6861521
TimesNet	Handwriting	0.328235294
TimesNet	Heartbeat	0.756097561
TimesNet	JapaneseVowels	0.972972973
TimesNet	PEMS-SF	0.895953757
TimesNet	SelfRegulationSCP1	0.877133106
TimesNet	SelfRegulationSCP2	0.561111111
TimesNet	SpokenArabicDigits	0.987721692
TimesNet	UWaveGestureLibrary	0.86875
TimesNet	平均值	0.726112379

模型	数据集	accuracy
Informer	EthanolConcentration	0.292775665
Informer	FaceDetection	0.675652667
Informer	Handwriting	0.284705882
Informer	Heartbeat	0.741463415
Informer	JapaneseVowels	0.967567568
Informer	PEMS-SF	0.832369942
Informer	SelfRegulationSCP1	0.873720137
Informer	SelfRegulationSCP2	0.527777778
Informer	SpokenArabicDigits	0.98317417
Informer	UWaveGestureLibrary	0.803125
Informer	平均值	0.698233222

模型	数据集	accuracy
Autoformer	EthanolConcentration	0.296577947
Autoformer	FaceDetection	0.539727582
Autoformer	Handwriting	0.14
Autoformer	Heartbeat	0.682926829
Autoformer	JapaneseVowels	0.956756757
Autoformer	PEMS-SF	0.820809249
Autoformer	SelfRegulationSCP1	0.546075085
Autoformer	SelfRegulationSCP2	0.533333333
Autoformer	SpokenArabicDigits	0.984993179
Autoformer	UWaveGestureLibrary	0.45625
Autoformer	平均值	0.595744996

模型	数据集	accuracy
iTransformer	EthanolConcentration	0.25095057
iTransformer	FaceDetection	0.678490352
iTransformer	Handwriting	0.230588235
iTransformer	Heartbeat	0.751219512
iTransformer	JapaneseVowels	0.964864865
iTransformer	PEMS-SF	0.832369942
iTransformer	SelfRegulationSCP1	0.921501706
iTransformer	SelfRegulationSCP2	0.533333333
iTransformer	SpokenArabicDigits	0.982719418
iTransformer	UWaveGestureLibrary	0.853125
iTransformer	平均值	0.699916293

比如下面执行命令：

classification

bash ./scripts/classification/iTransformer.sh

显卡: RTX 2080 Ti CPU: Xeon(R) Platinum 8255C CPU @ 2.50GHz

[wuhaixu2016]

您好，感谢关注，UEA这个数据集一些子集的数据量很小，比如EthanolConcentration，训练数据集只有261条数据，所以可能会波动比较大。另外需要确认pytorch版本，是不是1.7.1，因为fft的改版也可能会造成效果波动。

[myflash163]

pytorch版本是1.7.1，完全按照示例跑的，其他baseline的跑分也完全达不到论文的情况

[666-will]

哥们，你知道时序分类数据集的格式是啥不，一般都是TS 文件么

[myflash163]

github 上 提供了论文测试数据集下载的链接， 再找找 ---- 回复的原邮件 ---- ***@***.***>发送日期2024年5月22日 ***@***.***>***@***.***>, ***@***.***>主题Re: [thuml/Time-Series-Library] 分类实验结果无法复现 (Issue #321) 哥们，你知道时序分类数据集的格式是啥不，一般都是TS 文件么 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[holderhe]

pytorch版本是1.7.1，完全按照示例跑的，其他baseline的跑分也完全达不到论文的情况

@myflash163 您好，我跑的结果跟您的差不多，CPU、GPU都这样，请问您后续是怎么处理的？

[myflash163]

这个模型本来就不行，论文数据估计也是假的，不过这个git上有很多模型的实现，自己魔改模型吧，针对不同的数据改造模型，是能取得好的效果的 Yonghou He ***@***.***> 于2024年6月28日周五 20:00写道：

…

pytorch版本是1.7.1，完全按照示例跑的，其他baseline的跑分也完全达不到论文的情况 @myflash163 <https://github.com/myflash163> 您好，我跑的结果跟您的差不多，CPU、GPU都这样，请问您后续是怎么处理的？ — Reply to this email directly, view it on GitHub <#321 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ADGDJIRHIEVHJ6LZD5ZLVALZJVF45AVCNFSM6AAAAABB6UILR6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCOJWG42TAMBUG4> . You are receiving this because you were mentioned.Message ID: ***@***.***>

[holderhe]

@myflash163 我也跑了一些其他的模型像DLinear和SegRNN的git，好像复现都有些差距，都麻了，不知道是硬件还是软件有差异，后续都不知道怎么对比了。不知道大佬一般怎么处理这种复现有差异的情况，论文结果全部采用自己跑的结果可行吗？

[wuhaixu2016]

大家好，时序分类任务的代码为了算法库的简洁性做了适配，一些细节没有与实验保持一致。

我在实验中使用的code base在这里：https://github.com/thuml/Flowformer/tree/main/Flowformer_TimeSeries ，近期大家可以先用这个codebase进行实验，如果我会找时间更新代码库。

===07/14更新===

大家好，我初步对比了一下我们实验代码与TSLib之间的差别，主要变化在learning rate strategy，我们在整理算法库的时候额外增加了learning rate decay的过程，但是这一设计会降低模型训练的波动性，对于一些数据量较小的数据集反而不友好，因此我们在最近的commit中已经去掉了这一过程（1c7f843 ），我这边测试是可以复现结果的，请大家再次尝试

关于其他的baseline的效果，我们这个算法库也只是复现论文，并在一个相对统一的代码框架下实现对比，如果想完整复现其他baseline的效果建议使用论文官方的code base，因为其他论文的代码量一般也都不少，我们很难把每个细节注意到。例如对于long-term forecasting的实验，不同论文有些输入长度设置不一致，但是这样会造成test set的sample个数不一样：https://github.com/thuml/Time-Series-Library/blob/main/data_provider/data_loader.py#L106 ，类似的细节如果全部兼顾，我们也很难实现了一个统一的code base