Heroku Twitter API应用程序部署

Question

我最近通过Heroku成功部署了一个node.js服务器，可以在这里找到该机器：https://congress-tracker-app.herokuapp.com/

它基本上与Twitter的API通信，每次从我预定义的参数集接收到推文时更新.csv文件 - 在这种情况下，推文的ID。然后我使用D3.js显示该CSV以显示数据。

数据正在使用D3 javascript库... d3.queue().defer(d3.csv, "public/data/twitterData.csv").await(update)

然后更新回调函数传递数据，并创建我的可视化。

我有两个问题：

1. 我无法让应用程序在后台运行，当网页未打开时，AKA仍会更新CSV。我希望Twitter API能够继续与我的应用程序通信，因此数据会随着时间的推移而累积，而无需保持页面打开。它是通过Twitter的流API获取的。
2. 重新加载应用程序会导致我的CSV清除回标题下的单行数据，这是我在初始构建中输入的。此外，当我将文件克隆到桌面时，公用文件夹中的CSV不会显示从Twitter获取的任何新数据。

在Heroku应用程序页面上，我的日志显示正在添加数据。出现“文件已保存”消息，当fs.appendFile向我的CSV添加行时，我在代码中触发。这是消息：

正如您所见，CSV文件位于我的应用程序的公共文件夹中。如何确保在应用程序退出后1）服务器继续运行并且2）保存对CSV的更改？

这是我的代码的一部分：

var param = {follow: '21111098,958191744683782144,18061669,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,21111098,18061669,2891210047,1869975300,19394188,4107251,16056306,259459455,968650362,343041182,5558312,111671288,476256944,378631423,803694179079458816,30354991,224285242,45645232,235217558,20879626,150078976,278124059,102477372,249787913,381577682,15324851,435500714,823302838524739584,20597460,555355209,15745368,229966028,3001665106,2863210809,1397501864,78403308,253252536,47747074}
var followIds = ['21111098','958191744683782144','18061669','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','21111098','18061669','2891210047','1869975300','19394188','4107251','16056306','259459455','968650362','343041182','5558312','111671288','476256944','378631423','803694179079458816','30354991','224285242']

twitterClient.stream('statuses/filter',param,function(stream) {
 stream.on('data', function(tweet) {

 const fields = ["name","text","URL","time"]

 for(i = 0; i <followIds.length; i++){
   if(followIds[i] == tweet.user.id_str){ // if so, get contents

    // WRITE TO CSV HERE:
   let name = tweet.user.name;
   let text = tweet.text;
   let URL = `https://twitter.com/${tweet.user.screen_name}/status/${tweet.id_str}`
   let time = tweet.created_at;

    update = [{name,text,URL,time}]

    var toCsv = { 
        data: update, 
        fields: fields, 
        hasCSVColumnTitle: false
    };

    var csv = json2csv(toCsv) + "\r\n";

    fs.appendFile('public/data/twitterData.csv',csv,function(err){
        if (err) throw err;
        console.log('File Saved')
    })
    }
    }
});

Answer 1

1. 我认为你的问题的解决方案是启动“后台作业” - 这会使你长时间运行的应用程序逻辑超出正常的HTTP请求/响应周期。 https://devcenter.heroku.com/articles/background-jobs-queueing
2. Heroku dynos有短暂的文件系统 - 这意味着一旦你重新启动应用程序，你将丢失任何临时文件，包括你的CSV。您可能希望在作业完成后将其推送到更永久的存储。 https://help.heroku.com/DGUDV63H/how-much-disk-space-on-the-dyno-can-i-use