将记录收集到Eve / mongodb中的单个阵列中以减少带宽

Question

我有一个记录，它是我们源代码的特定版本的性能采样字典。我将它存储在我们的前夕数据库中。我们为每个修订进行性能测试。我们有超过20,000个修订版。

我可以使用http://host/api/performance?projection= {“FileIO.Reads”：1，“Revision”：1}来获取值，它为我提供了20,000条记录，其中包含以下内容：

{
    "_items" : [
        { "_id" : ... ,
          "_updated": ...,
          "_created":...,
          "_etag":...,
          "Revision":1000,
          "FileIO" : {
            { "Reads": [20.34,10,30] } # avg/min/max
          }
        },
        # next item
        { "_id" : ... ,
          "_updated": ...,
          "_created":...,
          "_etag":...,
          "Revision":1001,
          "FileIO" : {
            { "Reads": [23,10,50] } # avg/min/max
          }
        }
        # and so on
]
}

有没有办法让Eve甚至更好的MongoDB将所有这些组合成[[Revision，Reads]，[Revision，Reads] ...]甚至[Revision，Avg，Min，Max]形式的单个值]最小化JSON转换，性能和带宽成本？

我应该在事件挂钩中进行自己的处理吗？如果是这样的话？

我想我应该可以通过某种类型的聚合来做到这一点，但不清楚如何将我的修订与我的FileIO读取合并。

我真的没有任何其他想法如何存储这些数据 - 我们只有一个每个版本的性能值字典。

谢谢。

Answer 1

我做了一些调查和捣乱，并提出了以下聚合管道。我不知道它是否有效，但它做了我需要它做的事情。我想我很了解它是如何工作的但是双重分组似乎应该是不必要的。

db.getCollection('test_profiles').aggregate( [
    { $group: { 
        _id : { revision :"$revision", value : "$FileIO.Reads" }
    }},
    { $unwind : "$_id"},
    { $group: { 
        _id : null,
        values:
        { $push: "$_id" }
    }}
])

这产生以下类型的记录：

{
    "_id" : null,
    "values" : [ 
        {
            "revision" : 109999,
            "value" : [ 
                0.903873742, 
                0.00723229861, 
                1.23190153
            ]
        }, 
        {
            "revision" : 109998,
            "value" : [ 
                0.903873742, 
                0.00723229861, 
                1.23190153
            ]
        },
        // .. and on and on 
    ]
}