如何创建对象集合的数据集?

问题描述 投票:0回答:1

我最近几个月一直在努力工作。使用数据集作为对象的分布式集合。

我不担心它如何分布,而担心一个基本的数据结构。我很好奇如何将其放置在java中,如果可以创建自己的数据集,就像这样。

看起来像是Dataset<Row>。行记录在哪里,可以有很多。

这就是创建Dataset<Row>的工作方式>

List<Row> rows = new ArrayList<Row>();
for (Employee e : emp) {

    rows.add(RowFactory.create(e.getFirstname(), e.getLastname(), e.getTitle(), e.getId(),
    e.getDivision(), e.getSupervisor()));
}

return rows.iterator();

并且上面给了我这样的Dataset<Row>

任何人都可以分享如何将其放置在Java中吗?我的意思是说Java中有一些代码负责创建类似Dataset<Row>

的代码

我不是要完整的抵押代码,只是一个基本的想法,看起来像这样,这样我就可以清楚地想象后端的样子。

基本的小样本数据结构将非常有帮助。

谢谢

我最近几个月一直在努力工作。其中数据集用作对象的分布式集合。我不必担心它的分布方式,而只担心基本的数据结构。我很好奇...

java apache-spark data-structures apache-spark-dataset
1个回答
0
投票

您可以通过createDataFrame通过几种方式从列表创建行的数据集:

© www.soinside.com 2019 - 2024. All rights reserved.