在远程服务器上抓取推文的速度取决于什么?

问题描述 投票:1回答:1

我正在开发我的第一个Webapp项目,我打算使用远程服务器进行发布。我对架构有疑问。

我的网络应用程序将使用twitterscraper Python软件包抓取推文。访问该网站的用户输入一些关键字,然后单击“抓取”按钮。 Python后端会刮擦包含关键字的推文,进行一些自然语言处理分析,并在图表中可视化结果。通过此twitterscraper程序包,您可以使用twitterscraper抓取推文,因此您无需创建API凭据。抓取速度取决于您使用的Internet带宽。

我制作了Python脚本,JavaScript文件,html文件和css文件。在我的本地环境中,webapp完美运行。

所以问题是,在我将这些文件放到托管服务器上并发布了Webapp之后,当用户单击“抓取”按钮时,抓取速度取决于什么?用户正在使用的互联网带宽?还是服务器依赖任何“带宽”?

正如我说的那样,我对这种架构非常陌生。因此,很高兴向我建议构建这种webapp的另一种方法。谢谢!

javascript python twitter web-applications
1个回答
0
投票

瓶颈在哪里取决于一堆不同的变量。]​​>

如果您要进行大量数据操作,但没有为该程序分配大量CPU时间(即,处理器要处理的用户太多,则可能会降低速度。

如果您没有足够的内存,并且您试图解析并返回大量数据,那么那里的速度可能会变慢。

由于您也在与Twitter交谈,因此服务器与Twitter服务器之间的带宽限制都会影响您从其API检索结果的速度,因此也会影响程序响应用户的时间。 。

您和用户之间也有联系。如果那很慢,可能会影响您的程序。

© www.soinside.com 2019 - 2024. All rights reserved.