-
Notifications
You must be signed in to change notification settings - Fork 213
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
对于实验结果召回率不高的情况有什么优化建议吗 #31
Comments
是的,在CSD最大化精确和召回的情况下,只有通过用性能更好的MLM来召回更多正确候选项从而提高模型整体的召回。 |
我尝试用RoBERTa-wwm-ext-large模型替换bert生成候选字符,确实在召回率上有了约6%的提升。同时调研资料时看到去年又出了一个新的MLM叫ELECTRA,作者有关注到吗,由于RoBERTa跟bert用法是一样的所以比较好验证,但我不知道ELECTRA是不是可以继续用你的源码微调训练后替换bert做DAE |
hi 请问你复现实验结果是在什么样的机器上fine-tune的模型呀,这里的fine-tune实际上是bert的pre-train对吧?对机器gpu要求有多高, 谢谢 |
实验复现是bert基础上fine-tune和pre-training,bert的GPU要求12G |
pre-train steps learning_rate设置的多少呢, 跑了多长时间呀 |
train_batch_size=32 --max_seq_length=128 --max_predictions_per_seq=20 --num_train_steps=10000 --num_warmup_steps=2000 --learning_rate=2e-5 |
哦哦, 感谢! 是单gpu跑的是吧, 具体gpu什么型号方便告知一下吗, 想入手一台捣鼓一下。。。 |
Fri Apr 10 10:16:16 2020 |
十分感谢, 那看起来一块Tesla T4 16G的就够的样子? |
请问是在什么数据集上做的优化呢,我用RoBERTa-wwm-ext-large复现结果不太理想,还有能透露一下目前达到的效果是什么样子的吗,感谢感谢 |
@18782961008 求助大佬,一直无法复现char_meta.txt,能发一份处理好的给我吗?或者复现这一步的code也行。[email protected] |
你好,请问你的char_meta.txt文件处理好了吗?方不方便分享一下或者指导一下过程 |
CSD过滤是人工画曲线写过滤函数,可否分享下这个过滤函数的定义?看看大概是什么样的函数簇 |
在作者提供的测试集上跑出的结果(只用了 rank0,difference 配置): corretion: |
@hscspring difference 配置,这个是怎么配置的呢,我试验了下没有跑出来你这么好的效果呢,方便沟通下吗 |
@AnddyWang 就是设置 top_difference 为 True 时的结果。主要是要手工画出那条分割线。 |
我们建议按照如下顺序来为每组子候选字符组来寻找过滤曲线: top_difference=True, sim_type='shape', rank=0 @hscspring 我按照作者建议的这种方式,画出来的图好多是空的呢,difference_1-rank_0-results_0的图是上边这个,该怎么画分割线呢。 |
你这个不好画,是配置还是计算相似度那里有问题,看起来应该类似这样:
[image: shape_split_curve_difference_1-rank_0-results_0.png]
AnddyWang <[email protected]> 于2020年11月10日周二 下午5:27写道:
… @AnddyWang <https://github.com/AnddyWang> 就是设置 top_difference 为 True
时的结果。主要是要手工画出那条分割线。
我们建议按照如下顺序来为每组子候选字符组来寻找过滤曲线:
top_difference=True, sim_type='shape', rank=0
top_difference=True, sim_type='shape', rank=1
top_difference=True, sim_type='shape', rank=2
... , ... , ...
top_difference=True, sim_type='sound', rank=0
top_difference=True, sim_type='sound', rank=1
top_difference=True, sim_type='sound', rank=2
... , ... , ...
top_difference=False, sim_type='shape', rank=0
top_difference=False, sim_type='shape', rank=1
top_difference=False, sim_type='shape', rank=2
... , ... , ...
top_difference=False, sim_type='sound', rank=0
top_difference=False, sim_type='sound', rank=1
top_difference=False, sim_type='sound', rank=2
[image: difference_1-rank_0-results_0]
<https://user-images.githubusercontent.com/19400072/98654926-da92c980-2379-11eb-8244-2e0a708af317.png>
@hscspring <https://github.com/hscspring>
我按照作者建议的这种方式,画出来的图好多是空的呢,difference_1-rank_0-results_0的图是上边这个,该怎么画分割线呢。
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub
<#31 (comment)>, or
unsubscribe
<https://github.com/notifications/unsubscribe-auth/ABZDQ4I4B2FALM2LXW3KSGTSPEBRFANCNFSM4LRTMTVA>
.
|
@hscspring 上传的图没法查看,方便重新传下么?另外 difference 配置和计算相似度哪里可能会有问题呢,大佬,方便具体说下么?做划线实验的时候是用默认的curve_null吧? |
你好,我在运行到训练CSD时的总体设置,第一个命令top_difference=True, sim_type='shape', rank=0,一开始弹出来的图只有一个红点,后来保存的两个图一片空白,什么都没有,其中运行时我遇到了一个问题,就是在faspell第292行:char = sentences[i][j - 1],访问字符串越界,然后我限定了j<=len(sentences[i]),可否请问这是怎么了 |
以及想知道readme csd 中Setting the dump_candidates to a saving path will help you save the candidates,這段我該如何產生candidates,以及保存的格式是什麼呢?謝謝 |
通过CSD过滤我获取到了较高的精准度,但召回率仅有56%,即使无过滤召回率也只有65%,请问有进一步提高召回率的思路吗,比如更换bert模型哈工大的Chinese-BERT-wwm和最新albert模型,增加更丰富的训练数据,这样可行吗?
The text was updated successfully, but these errors were encountered: