-
Notifications
You must be signed in to change notification settings - Fork 30
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
模型优化的问题 #7
Comments
你好,gru的话你可以把我原代码的LSTM cell 换成GRU ccell就行了,capsule net的话我没有相关的实现,你可以去github搜一下capsule net,然后把embedding部分替换成bert的输出就行了 |
okok,谢啦,我去试一下。 |
数据集如果很好的话,在bert后接模型反而没有直接finetune效果好,这是为什么呢 |
我个人认为,bert拟合能力已经很强了,接层的话很大可能会破坏bert已预训练好的分布,直接使用dense就行了,而对于不太好的数据,拟合能力不足,添加层可能会效果好点,但大多数情况,bert在很多数据集上添加层都会下降,我也只是在这个比赛有提升 |
你好,我是一个初学者。我看到你的模型后接了rcnnatt,我考虑接其他网络去尝试一下(gru,capsule net之类)。我看了你的rcnn代码部分,感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现,请问你还有其他网络的加入方法吗或者说获取方式?
谢谢
The text was updated successfully, but these errors were encountered: