我试图使用Whoosh索引一些文档。但是,当我尝试将文档添加到Whoosh索引时,Python最终会返回以下错误:
RecursionError: maximum recursion depth exceeded while calling a Python object
我尝试过使用索引编写器的limitmb
设置,以及更改索引提交到硬盘驱动器的频率。这似乎改变了成功编制索引的文档数量,但索引在一段时间后停止了RecursionError。
我的代码如下:
from whoosh.index import create_in
from whoosh.fields import *
from whoosh.qparser import QueryParser
from bs4 import BeautifulSoup
import os
schema = Schema(title=TEXT(stored=True), docID=ID(stored=True), content=TEXT(stored=True))
ix = create_in("index", schema)
writer = ix.writer(limitmb=1024, procs=4, multisegment=True);
for root, dirs, files in os.walk('aquaint'):
for file in files:
with open(os.path.join(root, file), "r") as f:
soup = BeautifulSoup(f.read(), 'html.parser')
for doc in soup.find_all('doc'):
try:
t = doc.find('headline').string
except:
t = "No title available"
try:
d = doc.find('docno').string
except:
d = "No docID available"
try:
c = doc.find('text').string
except:
c = "No content available"
writer.add_document(title=t, docID=d, content=c)
writer.commit()
我加载的文件来自TRAC强大的轨道(https://trec.nist.gov/data/t14_robust.html)并具有以下格式(由于许可我无法共享整个文件):
<DOC>
<DOCNO> APW1XXXXXXXXX </DOCNO>
<DOCTYPE> NEWS STORY </DOCTYPE>
<DATE_TIME> 1998-01-06 00:17:00 </DATE_TIME>
<HEADER>
XXXX
</HEADER>
<BODY>
<SLUG> BC-Sports-Motorcycling-Grand Prix-Doohan </SLUG>
<HEADLINE>
Doohan calls for upgrade to 1000cc bikes
</HEADLINE>
<TEXT>
News article text here
</TEXT>
(PROFILE
(WS SL:BC-Sports-Motorcycling-Grand Prix-Doohan; CT:s;
(REG:EURO;)
(REG:BRIT;)
(REG:SCAN;)
(REG:MEST;)
(REG:AFRI;)
(REG:INDI;)
(REG:ENGL;)
(REG:ASIA;)
(LANG:ENGLISH;))
)
</BODY>
<TRAILER>
AP-NY-06-01-98 0017EDT
</TRAILER>
</DOC>
加载的每个文件都包含几个这样的文档,以<DOC>
标记开头和结尾。
我不明白是什么导致了这个错误,有人可以帮帮我吗?非常感谢您的帮助!
我发现问题是什么,我错误地认为BeautifulSoup在调用doc.find('headline').string
时会返回一个字符串,用str(doc.find('headline').string)
替换它似乎已经解决了我的问题,而且Whoosh现在正确索引。