将BI从SSAS Olap迁移到免费的ElasticSearch

Question

我在一家正在考虑将其BI结构（SSAS Olap和Power BI）迁移到ElasticSearch / Kibana的公司工作。我们的BI基本上在多个层次结构级别（组织级别，客户级别，单位级别等）的聚合中进行汇总，包括求和，最大，最小，计数，第一个，最后一个，平均值，以及多个度量之间的表达式聚合并根据datetime来查找第一个/最后一个），例如总和，减法，乘法，除法，百分比，我们还进行一些日期操作。我们总共处理超过10亿行。在使用SSAS Olap之前，我们使用SQL Server OLTP，并且查询耗时很长时间。因此，我们更改为OLAP，现在可以在几秒钟内获得汇总度量。但是Microsoft许可超出了我们的新预算，现在该公司需要一个免费软件。目前，我们的商业智能解决方案没有数据挖掘，机器学习，只有聚合在多个层次结构级别上的度量以及这些聚合之间的操作。

而且我们的解决方案是整个内部部署。

我有2个问题：

1-使用免费/基本的Elasticsearch许可证，我们将能够将我们的商业智能解决方案迁移到ElasticEngine，并在所有级别的操作中进行所有这些层次结构，聚合和搜索？

2-使用免费/基本的Elasticsearch引擎，我们将在与OLAP多维数据集相似的时间，在数百万个寄存器之间以及这些度量之间的操作之间进行这些度量聚合？

最好的问候，

路易斯

Answer 1

通常，可以按照您描述的方式使用ElasticSearch。但是，只有当您经常使用按文本列进行基于“赞”的过滤时，这才有意义，此用例非常适合ElasticSearch。

如果您需要的只是快速聚合和'完全匹配'过滤，使用与SQL兼容的列式数据库可能会更好：

• MemSQL-免费版本应足以容纳10亿行，如果您需要同时支持OLAP / OLTP DB的使用（例如，经常更新行），这是一个不错的选择
• Yandex ClickHouse-免费/开源，如果您的数据仅是追加数据（无频繁更新/删除），则适用。它的综合查询性能确实是终极的，即使在单节点配置中，它也可以足够快地处理10亿行查询。

[您提到您现有的BI基础结构使用SSAS OLAP，并且我可能假设许多报告实际上是数据透视表。大多数免费的BI工具（包括Kibana）根本不支持数据透视表，或者仅非常非常原始的基本数据透视表。幸运的是，可以使用PowerBI / Excel PivotTable替代它-但它不是完全免费的。在这里，我的意思是SeekTable：它可以连接到我提到的所有DB（MemSQL，ClickHouse），甚至可以连接到ElasticSearch [免责声明：我与该BI工具关联]。