为什么预训练的数据是打乱的

[NiPeiyuan]

我想问一下为什么预训练的数据句子和句子之间输入给llm的是打乱的？这是一种普遍的做法吗？
如果打乱的话不就不能学到句子之间的逻辑关系吗？