如何定义类型集的新变量并在其中存储单词的文本列表？

Question

**代码是**

lines_en = codecs.open(r'C:\Qur’an\english.txt','r','utf-8-sig').readlines()
for line in lines_en:
    tokens = line.split()
all_tokens =[]
for line in lines_en :
    tokens = line.split()
    all_tokens.append(tokens)

这里的错误

set(all_tokens)

文件“”，第1行，在排序（设置（all_tokens））TypeError：无法散列的类型：“列表”

Answer 1

    tokens = line.split()
    all_tokens.append(tokens)

令牌是列表。

all_tokens是列表的列表。

我想您想做的是聚集all_tokens中的所有令牌，因此用令牌扩展all_tokens

    tokens = line.split()
    all_tokens.extend(tokens)