mini-monky学习率设置问题

[pangr]

请问这个学习率为什么设置的这么低，好像无法学习到什么东西

[mxin262]

Hi~, 这里的训练是为了让模型能接受论文提出的MSAC的输入，但是我们没有这么多的数据去训练模型，所以学习率设置比较小，让模型学习到MSAC的输入，而不破坏预训练好的能力

[pangr]

Hi~, 这里的训练是为了让模型能接受论文提出的MSAC的输入，但是我们没有这么多的数据去训练模型，所以学习率设置比较小，让模型学习到MSAC的输入，而不破坏预训练好的能力

明白，感谢回复，还有个问题是mini-monkey的整个预训练中都只训练了文本大模型、没有训练视觉模块和模态对齐的模块吗

[mxin262]

是的，只训练了文本大模型，全部模块都进行训练的话，8卡3090会爆显存

[pangr]

是的，只训练了文本大模型，全部模块都进行训练的话，8卡3090会爆显存

全参训练会有提升吗

[mxin262]

应该是会有提升的，但是由于计算资源有限，没有进行这个实验