Spark Python API（PySpark）将apache-spark编程模型暴露给Python。
我有一个带有纬度和经度列的Spark SQL DataDrame，我试图通过计算到输入的距离来过滤低于阈值的行。我目前的代码看起来像。我在用 ...
我有一个pyspark数据框，我通过hive数据存储区的spark sql查询加载。我知道只有当我在数据帧上调用类似show（）的操作时才会执行查询。如果我打电话给...
IndexToString转换与StringIndexer中的标签
如何通过从labelIndexer获取标签来使用IndexToString进行转换？ labelIndexer = StringIndexer（inputCol =“shutdown_reason”，outputCol =“label”）idx_to_string = IndexToString（inputCol =“...
我有第一个表有数百万行的多列，例如：ID名称Dept City State 11 sam sales Boston MA 22 Bob market Atlanta GA 25 Mike IT SF CA和...
使用SparkSQL HiveContext“INSERT INTO ...”
我正在尝试使用我的HiveContext运行一个insert语句，如下所示：hiveContext.sql（'insert into my_table（id，score）values（1,10）'）1.5.2 Spark SQL文档没有明确说明。 ..
我使用spark-redshift并使用pyspark查询红移数据进行处理。如果我使用workbench等在redshift上运行，查询工作正常。但是spark-redshift将数据卸载到s3然后......
所以我有一个像这样的UDF：tudf = udf（lambda值：1如果值> = 1，则为0，IntegerType（））我通常只传递这样的UDF：df = fdf.withColumn（'COLUMN1'，tudf（df） .COLUMN1））我是......
我有一个日期数据类型的python变量（我正在使用pyspark）：变量值是2016-10-31打印类型（load_dt）>> 我很难将其传递给...
Spark中的Broadcast Annoy对象（对于最近的邻居）？
由于Spark的mllib没有最近邻功能，我正在尝试将Annoy用于近似邻居。我尝试播放Annoy对象并将其传递给工人;但它确实......
有人可以解释VectorAssembler的行为吗？来自pyspark.ml.linalg导入来自pyspark.ml.feature的向量导入VectorAssembler assembler = VectorAssembler（inputCols = ['CategoryID'，'...
DataFrame Write PartitionBy - 无法参数化多个列
创建一个接受TableName和Partition列作为输入的通用代码。但是在尝试将数据帧写为分区表时遇到问题。 partAttr ='product_category_id，product_id'......
我有一个带有100个cols的pysaprk数据帧：df1 = [（col1，string），（col2，double），（col3，bigint），...等等]我有另一个pyspark数据帧df2具有相同的col count和col name但不同数据类型。 ...
如何在ipython中将Spark RDD转换为pandas数据帧？
我有一个RDD，我想将其转换为pandas数据帧。我知道要转换和RDD到正常的数据帧我们可以做df = rdd1.toDF（）但我想将RDD转换为pandas数据帧而不是...
model.getVectors（）。keys（）是否会返回模型中的所有键
下面是一个示例代码。我正在尝试获取newfile.txt中所有单词的向量表示（文件有新闻文章）。想知道model.getVectors（）。keys（）是否输出所有键（...
有什么方法可以在pyspark中的大约两三行代码中执行以下操作吗？ c1 23:34 00:30 c1 c2 23 34 00 30然后我们将小时乘以3600和分钟乘以60并将各表相加。 ...
Pyspark，从具有空值的子集中删除行，保存它们，然后再次添加它们
所以在这里，基本上我有这样的东西：C1 C2 C3 C4 a 0 1 null 4 b 0 1 3 4 c 0 1 4 4 d 0 null 5 4至于去除，我...
那个头衔，是可怕的，对不起。这就是我的意思：这是起始数据集C1 C2 AA H AB M AC M AA H AA L AC L然后它将变成一个包含4列的新数据集：C1 CH CM ...
这是我的mongodb集合模式的一部分：| - variables：struct（nullable = true）| | - actives：struct（nullable = true）| | | - data：struct（nullable = true）| | | ...
假设我有一个字符串列，如此小时0045 2322我希望它变成这样：小时00:45 23:22为了变成时间戳之后。我该怎么办呢？
我的要求如下df + ------------- + ---- + ------ + -------- + ---- + | DES | ID | veh_cd | veh_p_cd |码| + ------------- + ---- + ------ + -------- + ---- + | BodilyInjured | 1001 | 45 | 50 | ...