我负责的一个相当大的文本数据集（540万个短文本），我试图执行情感分析证实他们RAM和16GB。
我一直运行内存每当我试图建立语言模型：
data_lm = text_data_from_csv(DATASET_PATH, data_func=lm_data, chunksize=4000)
# Out of memory
data_clas = text_data_from_csv(DATASET_PATH, data_func=classifier_data, vocab=data_lm.train_ds.vocab, chunksize=500)
我打得周围与CHUNKSIZE但内存使用量似乎保持随着时间的推移上升，最终会导致内存错误。
有没有什么办法来解决此问题？
保持低于100 chunksize，并尝试使用GPU参考此链接可以找到更多信息fastai