构建嗖嗖索引时超出了最大递归深度

问题描述 投票:1回答:1

我试图使用Whoosh索引一些文档。但是,当我尝试将文档添加到Whoosh索引时,Python最终会返回以下错误:

RecursionError: maximum recursion depth exceeded while calling a Python object

我尝试过使用索引编写器的limitmb设置,以及更改索引提交到硬盘驱动器的频率。这似乎改变了成功编制索引的文档数量,但索引在一段时间后停止了RecursionError。

我的代码如下:

from whoosh.index import create_in
from whoosh.fields import *
from whoosh.qparser import QueryParser
from bs4 import BeautifulSoup
import os

schema = Schema(title=TEXT(stored=True), docID=ID(stored=True), content=TEXT(stored=True))
ix = create_in("index", schema)

writer = ix.writer(limitmb=1024, procs=4, multisegment=True);

for root, dirs, files in os.walk('aquaint'):
    for file in files:
        with open(os.path.join(root, file), "r") as f:
            soup = BeautifulSoup(f.read(), 'html.parser')
            for doc in soup.find_all('doc'):
                try:
                    t = doc.find('headline').string
                except:
                    t = "No title available"
                try:
                    d = doc.find('docno').string
                except:
                    d = "No docID available"
                try:
                    c = doc.find('text').string
                except:
                    c = "No content available"

                writer.add_document(title=t, docID=d, content=c)
        writer.commit()

我加载的文件来自TRAC强大的轨道(https://trec.nist.gov/data/t14_robust.html)并具有以下格式(由于许可我无法共享整个文件):

<DOC>
<DOCNO> APW1XXXXXXXXX </DOCNO>
<DOCTYPE> NEWS STORY </DOCTYPE>
<DATE_TIME> 1998-01-06 00:17:00 </DATE_TIME>
<HEADER>
XXXX
</HEADER>
<BODY>
<SLUG> BC-Sports-Motorcycling-Grand Prix-Doohan </SLUG>
<HEADLINE>
Doohan calls for upgrade to 1000cc bikes 
</HEADLINE>
<TEXT>
       News article text here
</TEXT>
(PROFILE
(WS SL:BC-Sports-Motorcycling-Grand Prix-Doohan; CT:s; 
(REG:EURO;)
(REG:BRIT;)
(REG:SCAN;)
(REG:MEST;)
(REG:AFRI;)
(REG:INDI;)
(REG:ENGL;)
(REG:ASIA;)
(LANG:ENGLISH;))
)
</BODY>
<TRAILER>
AP-NY-06-01-98 0017EDT
</TRAILER>
</DOC>

加载的每个文件都包含几个这样的文档,以<DOC>标记开头和结尾。

我不明白是什么导致了这个错误,有人可以帮帮我吗?非常感谢您的帮助!

python recursion indexing beautifulsoup whoosh
1个回答
2
投票

我发现问题是什么,我错误地认为BeautifulSoup在调用doc.find('headline').string时会返回一个字符串,用str(doc.find('headline').string)替换它似乎已经解决了我的问题,而且Whoosh现在正确索引。

© www.soinside.com 2019 - 2024. All rights reserved.