如何在DataStore上“聚合”实体

Question

我理解Cloud Datastore查询引擎不支持“加入”和“聚合”查询。

但是，如果我必须做“聚合”，如何聚合实体？

哪种方式更好？或者其他什么方式？

• 如果实体值是更新，则同时更新并汇总到另一个实体以进行聚合。
• 阅读每个实体并使用Dataflow减少。
• 导出到Bigquery。

Answer 1

不需要实时数据

如果您不需要实时数据，请定期从Cloud Datastore到BigQuery执行exports：

gcloud datastore export --kinds="myKind" gs://${BUCKET}

有人甚至做了一个shell script来帮助向GCS导出一种，然后导入到BigQuery。

Need Live Data

这里要研究的一件事是使用projections。投影查询更快更便宜，因为您可以告诉Datastore只返回您想要聚合的属性，并将其从索引中流出。

如果您有更大的数据集，那么Dataflow可以派上用场。