抓取数据框中的超链接文本并将其附加到 CSV 中的一行

Question

我在数据框中有一列超链接，我必须提取文本进行情感分析。我可以阅读文本，但无法进一步继续，循环该过程并将其附加到文件就是我正在寻找的。

import urllib.request
import requests
import csv
from bs4 import BeautifulSoup

quote_page = 'https://www.sec.gov/Archives/edgar/data/3662/0000950170-98-000413.txt'
page = urllib.request.urlopen(quote_page)
soup = BeautifulSoup(page,'html.parser')
name_box = soup.find
print(name_box)
with open('index1.csv', 'a') as csv_file:
  writer = csv.writer(csv_file)
  writer.writerows([name_box])

现在，当我执行此操作时，我得到了一个 CSV，但文本不是连续的。那么，要做什么，以及如何对数据框中的每个链接执行此操作。

Answer 1

我们可以将所有数据写入

.txt

进行分析。

import urllib.request
import requests
import csv
from bs4 import BeautifulSoup
from time import sleep

quote_page = 'https://www.sec.gov/Archives/edgar/data/3662/0000950170-98-000413.txt'
page = urllib.request.urlopen(quote_page)
soup = BeautifulSoup(page,'html.parser')
name_box = soup.find


with open('myfile1.txt', 'w+') as f:

    the_text = str(name_box)
    file = f.write(the_text)

将其写入 csv，其中每一行只是文本中的一行。

# if you really want to write it as a csv
with open('index1.csv', 'a+') as f:
    mydoc = csv.writer(f)
    for i in the_text.split('\n'):
        mydoc.writerow([i])