我一直在尝试从雅虎财经专门收集有关标准普尔 500 指数历史数据的数据，其网页网址为“https://finance.yahoo.com/quote/%5EGSPC/history/?period1=1574074965&period2=1731927744”
从下图中可以看出，雅虎财经似乎没有提供对我的网络抓取行为的访问。有没有其他解决方案来克服这个问题并网络抓取数据
由于您使用的 URL 是 Yahoo Finance，它会重定向到多个站点并获取数据，但您使用的 beautifulsoup 最多只能尝试获取 30 个重定向。
您可以使用 Python 的 Yahoo Finance 模块来代替 Web Scrap。 我注意到，您想要获取从2019年11月18日到2024年11月18日的数据
因此请使用下面的代码来获取所需的数据。 您可以根据您的意愿更改日期或使用以下行获取所有数据
data = sp500.history(period="max")
这是您应该使用的代码：
import yfinance as yf
ticker = "^GSPC"
data = yf.Ticker(ticker)
hist = data.history(start="2019-11-18", end="2024-11-18") # Specify date range
hist.to_csv("sp500_data.csv")