我正在尝试使用 python 将字符串转换为单词列表。我想采取如下内容:
string = 'This is a string, with words!'
然后转换成这样的东西:
list = ['This', 'is', 'a', 'string', 'with', 'words']
注意标点符号和空格的省略。解决这个问题最快的方法是什么?
我认为对于其他人来说,鉴于迟到的回复,这是最简单的方法:
>>> string = 'This is a string, with words!'
>>> string.split()
['This', 'is', 'a', 'string,', 'with', 'words!']
试试这个:
import re
mystr = 'This is a string, with words!'
wordList = re.sub("[^\w]", " ", mystr).split()
工作原理:
来自文档:
re.sub(pattern, repl, string, count=0, flags=0)
返回通过用替换 repl 替换字符串中最左边不重叠的模式而获得的字符串。如果未找到模式,则字符串原样返回。 repl 可以是字符串或函数。
所以在我们的例子中:
模式是任何非字母数字字符。
[\w] 表示任意字母数字字符并且等于字符集 [a-zA-Z0-9_]
a 到 z、A 到 Z、0 到 9 和下划线。
因此我们匹配任何非字母数字字符并将其替换为空格。
然后我们 split() 它,按空格分割字符串并将其转换为列表
所以“你好世界”
变成“你好世界”
与 re.sub
然后['你好','世界']
分割()之后
如果有任何疑问请告诉我。
要正确地做到这一点是相当复杂的。对于您的研究,它被称为单词标记化。如果你想看看其他人做了什么,你应该看看 NLTK,而不是从头开始:
>>> import nltk
>>> paragraph = u"Hi, this is my first sentence. And this is my second."
>>> sentences = nltk.sent_tokenize(paragraph)
>>> for sentence in sentences:
... nltk.word_tokenize(sentence)
[u'Hi', u',', u'this', u'is', u'my', u'first', u'sentence', u'.']
[u'And', u'this', u'is', u'my', u'second', u'.']
最简单的方法:
>>> import re
>>> string = 'This is a string, with words!'
>>> re.findall(r'\w+', string)
['This', 'is', 'a', 'string', 'with', 'words']
使用
string.punctuation
来保证完整性:
import re
import string
x = re.sub('['+string.punctuation+']', '', s).split()
这也处理换行符。
嗯,你可以使用
import re
list = re.sub(r'[.!,;?]', ' ', string).split()
请注意,
string
和list
都是内置类型的名称,因此您可能不想使用它们作为变量名称。
受到@mtrw的回答的启发,但进行了改进,仅删除单词边界处的标点符号:
import re
import string
def extract_words(s):
return [re.sub('^[{0}]+|[{0}]+$'.format(string.punctuation), '', w) for w in s.split()]
>>> str = 'This is a string, with words!'
>>> extract_words(str)
['This', 'is', 'a', 'string', 'with', 'words']
>>> str = '''I'm a custom-built sentence with "tricky" words like https://stackoverflow.com/.'''
>>> extract_words(str)
["I'm", 'a', 'custom-built', 'sentence', 'with', 'tricky', 'words', 'like', 'https://stackoverflow.com']
就我个人而言,我认为这比提供的答案稍微干净一些
def split_to_words(sentence):
return list(filter(lambda w: len(w) > 0, re.split('\W+', sentence))) #Use sentence.lower(), if needed
单词的正则表达式会给你最大的控制权。 您需要仔细考虑如何处理带有破折号或撇号的单词,例如“I'm”。
list=mystr.split(" ",mystr.count(" "))
这样您就可以消除字母表之外的每个特殊字符:
def wordsToList(strn):
L = strn.split()
cleanL = []
abc = 'abcdefghijklmnopqrstuvwxyz'
ABC = abc.upper()
letters = abc + ABC
for e in L:
word = ''
for c in e:
if c in letters:
word += c
if word != '':
cleanL.append(word)
return cleanL
s = 'She loves you, yea yea yea! '
L = wordsToList(s)
print(L) # ['She', 'loves', 'you', 'yea', 'yea', 'yea']
我不确定这是否是快速或最佳的,甚至是正确的编程方式。
def split_string(string):
return string.split()
此函数将返回给定字符串的单词列表。 在这种情况下,如果我们按如下方式调用该函数,
string = 'This is a string, with words!'
split_string(string)
函数的返回输出为
['This', 'is', 'a', 'string,', 'with', 'words!']
这是我对不能使用正则表达式的编码挑战的尝试,
outputList = "".join((c if c.isalnum() or c=="'" else ' ') for c in inputStr ).split(' ')
撇号的作用似乎很有趣。
可能不是很优雅,但至少你知道发生了什么。
my_str = "Simple sample, test! is, olny".lower()
my_lst =[]
temp=""
len_my_str = len(my_str)
number_letter_in_data=0
list_words_number=0
for number_letter_in_data in range(0, len_my_str, 1):
if my_str[number_letter_in_data] in [',', '.', '!', '(', ')', ':', ';', '-']:
pass
else:
if my_str[number_letter_in_data] in [' ']:
#if you want longer than 3 char words
if len(temp)>3:
list_words_number +=1
my_lst.append(temp)
temp=""
else:
pass
else:
temp = temp+my_str[number_letter_in_data]
my_lst.append(temp)
print(my_lst)
string = '这是一个字符串,有单词!'
list = [string.split() 中逐字逐句]
打印(列表)
['这个', '是', 'a', '字符串,', 'with', '单词!']
使用关键字方法开始字典理解并填写相关部分。
您可以使用 .split() 方法获取字符串中的单词列表:https://www.w3schools.com/python/ref_string_split.asp
sentence = "What is the Airspeed Velocity of an Unladen Swallow?"
split_word = sentence.split()
words = {word for word in split_word}
print(words)
output - {'What', 'the', 'of', 'an', 'Unladen', 'Airspeed', 'Swallow?',
'Velocity', 'is'}
你可以尝试这样做:
tryTrans = string.maketrans(",!", " ")
str = "This is a string, with words!"
str = str.translate(tryTrans)
listOfWords = str.split()