您好，请问下，一个纯文本的txt文档来做预训练的话，dataset_info.json该如何添加这个新数据集？我需要将这个txt的内容转换成这种格式吗[ {"text": "document"}, {"text": "document"} ]？如果我不想转，就是想使用一个书本txt做预训练该如何做

[cheun726]

Reminder

• I have read the README and searched the existing issues.

System Info

x

Reproduction

"my_demo": {
"file_name": "天龙八部.txt",
"columns": {
"prompt": "text"
}
}
我这个天龙八部.txt里面是没有将其内容按照 {"text": "document"}这种格式处理的，就是纯文本。我想问下，直接这样直接使用纯文本做预训练可以吗

Expected behavior

No response

Others

No response

[cheun726]

您好，打扰您一下，我还想问下，一条训练数据里面最多可以放多少个token？这是由什么决定的呀？比如说这条数据
{
"instruction": "识别并解释给定列表中的两个科学理论：细胞理论和日心说。",
"input": "",
"output": "细胞理论是生物科学的一个理论，它认为所有生命体都是由微小的基本单元——细胞所构成。这是生物学的一个基础理论，认为细胞是所有生物的基本结构和功能单位，所有的生物都是由一个或多个细胞组成，细胞只能通过细胞分裂产生新的细胞。这一理论由薛定谔、施瓦内和雪莱于1839年首次提出。\n\n日心说是指太阳是太阳系的中心，也就是说，行星围绕太阳旋转的理论。这个理论打破了传统的地心说观点，认为地球并不是宇宙的中心。日心说的提出者是尼古拉·哥白尼，他在16世纪初发表了他的著作《天体运行论》，阐述了太阳系行星围绕太阳运行的模型，为天文学的发展做出了巨大贡献。"
}，"instruction"，"input"，"output"加起来最多可以有多少个token？我在构造自己的数据集时该如何考虑

[mgcyung]

纯文本可参考 wiki_demo

[Ayanami07]

纯文本的那个你后来
咋弄的