spark-graphx 相关问题

GraphX是Apache Spark中用于图形和图形并行计算的组件

[从论文“ GraphX：分布式数据流框架中的图形处理”（Gonzalez等，2014）中，我了解到GraphX修改了Spark随机播放：基于内存的随机播放：Spark的默认随机播放...

apache-spark spark-graphx

回答 1 投票 0

我正在尝试使用Pyspark和来自graphframe的预凝胶包装器来实现Rocha＆Thatte（http://cdsid.org.br/sbpo2015/wp-content/uploads/2015/08/142825.pdf）中的算法。我在这里...

pyspark graph-theory spark-graphx graphframes pregel

回答 1 投票 2

在graphX中，如何使用自定义PartitionStrategy对其拓扑进行分区？

我想使用图拓扑信息添加一个新的PartitionStrategy。不过，我发现PartitionStrategy仅具有以下功能。我找不到任何可以接收图形的函数...

scala apache-spark spark-graphx

回答 1 投票 1

如何使用图拓扑添加新的PartitionStrategy？

我想使用图拓扑信息添加一个新的PartitionStrategy。不过，我发现PartitionStrategy仅具有以下功能。我找不到任何可以接收图形的函数...

scala apache-spark spark-graphx sparkcore

回答 1 投票 1

如何从顶点输入文件创建VertexRDD？

我有一个这样的顶点输入文件（1L，（0.5,0.5））（2L，（0.25,0.0625））（3L，（0.125,0.125））（4L，（0.0625,0.0625））（5L，（ 0.0625,0.25）），我将其转换为RDD [（Long，Array [Double]）]。我知道...

scala apache-spark spark-graphx

回答 1 投票 0

圆搜索算法

我正在尝试创建一个能够使用graphx和scala在图中找到圆的算法。我正在考虑的是将所有vertexID加载到数组中，创建一个循环，该循环创建一个...

apache-spark spark-graphx

回答 1 投票 0

Spark中使用Windows功能每周汇总

我从2017年1月1日开始2017年1月7日的数据，这是一个星期要每周汇总。我在下面的方式VAL df_v_3 = df_v_2.groupBy（窗口（COL（ “日期时间”），“7中使用的窗函数...

scala apache-spark dataframe spark-graphx

回答 2 投票 1

抽象方法错误在GraphLoader对象

我已经创造了Graphx一个简单的项目，只要我试图运行这个测试项目中，我得到AbstractMethodError，误差这种方法edgeListFile正在添加里面，看起来像是......

scala apache-spark spark-graphx

回答 1 投票 0

如何RDD [（字符串，可迭代[VertexId]）转换成数据帧？

我已经创建从Graphx的RDD看起来像这样：VAL图表= GraphLoader.edgeListFile（spark.sparkContext，文件名）变种S：VertexRDD [VertexId] = graph.connectedComponents（）顶点VAL ...

scala apache-spark dataframe apache-spark-sql spark-graphx

回答 1 投票 2

星火graphX从数据帧使边/顶点RDD

我有2个大dataframes，边和顶点，我知道他们需要在特殊类型的顶点和边RDDS，但每次我发现教程指定的边缘和Vertex RDDS为阵列...

scala apache-spark type-conversion spark-graphx

回答 1 投票 0

如何使用spark将大表中两个用户的相互（倒数）时间相加

我在spark中有一个像下面这样的大表：（a，b，1）（a，c，2）（b，a，3）（b，c，4）（c，a，5）每行代表（user1 ，user2，次）我想在这里做的是总结每个用户对的倒数时间。那......

apache-spark apache-spark-sql rdd spark-graphx

回答 1 投票 0

使用sbt-spark-package插件了解build.sbt

我是新的scala和SBT构建文件。从介绍性教程中添加spark依赖项到scala项目应该是直截了当的sbt-spark-package插件，但我得到了......

scala apache-spark sbt spark-graphx sbt-plugin

回答 1 投票 0

在Graphframes中实现自定义算法

我想使用运行pyspark 2.3的GraphFrames在图表上运行双连接图算法。我确定所有内置算法都在Scala中运行GraphX。是......

apache-spark pyspark spark-graphx connected-components graphframes

回答 1 投票 -4

如何从数据框构建图表？（GraphX）

我是scala和spark的新手，我需要从数据框构建一个图形。这是我的数据帧的结构，其中S和O是节点，列P表示边。 + --------------------------- + ------...

scala apache-spark dataframe graph spark-graphx

回答 1 投票 -1

如何从文件中读取数据（GraphX）？

我是Scala的新手，我正试图从文本文件中将无向图读作图形（GraphX）。文本文件的格式为：1,8,9,10 2,5,6,7,3,1表示节点1连接到节点...

scala apache-spark spark-graphx

回答 1 投票 0

从LinkedBasher的LinkedHashMap和ListBuffer中删除元素，将其用作顶点属性到图形结构中

我使用GraphX API在Scala中构建了一个图形。在我的图中，每个顶点都有一个LinkedHashMap [Int，ListBuffer [ListBuffer [Int]]]作为属性：LinkedHashMap的每对（key，value）...

scala linkedhashmap spark-graphx listbuffer

回答 1 投票 1

Scala：GraphX：error：class Array接受类型参数

我正在尝试为GraphX构建Edge RDD。我正在读取一个csv文件并转换为DataFrame然后尝试转换为Edge RDD：val staticDataFrame = spark。读。选项（“标题”，true）。 ...

scala apache-spark spark-graphx

回答 1 投票 0

循环RDD以使用Scala在Spark中创建图形

尝试循环使用RDD并使用每条记录上的数据创建Graphs。代码是这样的：bigjoin具有结构RDD [（String，List [（Long，Long）]）] bigjoin.foreach（a => {...

rdd spark-graphx

回答 1 投票 0

spark-graphx 相关问题

最新问题