user-defined-functions 相关问题

有没有一种方法可以通过使用通配符来迁移BigQuery表？

我在BigQuery上有一组带有某种数据的表，我想通过我定义的JavaScript函数来处理这些数据。这个JS函数将旧数据映射到一个新的模式中，这必须是 ...

Redshift。不能在UDF中使用聚合函数？

我写了下面的代码：创建或替换函数max_price()返回真实的易失性为$$ select max(main_amount) from table $$ language sql; 我 ...

Pandas用户自定义函数Py4JJavaError

我开始在pyspark中使用@pandas_udf 当我用他们的文档中的例子进行测试时 我发现了一个我无法解决的错误。我正在运行的代码是： from pyspark.sql import ...。

在PySpark中计算Lat Long & Lat Long数组之间最小哈弗逊距离的最快方法？

上下文。我在寻找一种方法，在PySpark中有效地计算一对长纬线和一个长纬线数组之间的距离，然后取这些距离的最小值。这将如何...

如何使用pyspark从python列表中随机选择一个文本值？

是否有办法从下面的pyspark python列表中随机选择一个文本值：- data_list = ["abc", "xyz", "pqr"]我知道我可以实现一个pyspark UDF，它将返回一个随机文本......

如何在Scala中使用TimeStampDate List获取事件发生的小时平均值。

时间戳的样本数据 2018-04-07 07:07:17 2018-04-07 07:32:27 2018-04-07 08:36:44 2018-04-07 08:38:00 2018-04-07 08:39:29 2018-04-08 01:43:08 2018-04-08 01:43:55 2018-04-09 07:52:31 2018-04-09 ...

Pyspark 字符串到十进制的转换，以及像Java十进制格式器一样的精度和格式。

我试图将字符串转换为十进制。我可能会收到十进制数据，如下所示，有时1234.6789-（-在结束时）在java中，我可以指定格式，如下面的解析上面，DecimalFormat dfmt =新...

带有循环的UDF非常缓慢和低效。

我有一段代码，它可以在电子表格中的数千行中进行排序，当它在两个不同的列中找到有特定匹配的行时，它在第三列中返回一个值。然而这个UDF ...

父-子火花scala递归udf与蜂巢

我有一个问题。我想选择一个上级组织和它的所有子组织和下属组织，例如： 父组织的ID是： 63261 我有下面的组织表（org_id，...）。

Python卡片打印机

我不明白为什么第二次没有打印出牌，即使 "玩家的手 "这串字又被打印出来了。谁能帮我找到打印它们的解决方 ...

循环浏览一个表值函数

我有一个表x，其中有列y和z它有10行数据。然后我有一个表值函数getDetails(y,z)，它将存储在表x中的y和z列的值返回一个表tb ...

pickle.loads给出 "模块 "对象在Pyspark Pandas Udf中没有属性'<ClassName>'。

我试图在PySpark Pandas udf中拾取和取消拾取一个类实例。在udf之外，pickling工作得很好： class ExampleModel: pass clf = ExampleModel(args) pickled_val = ...

根据命名的rangeecell赋值

我想根据当前单元格的名称来分配当前单元格的值。例如，(见工作表图片)单元格B3分配了名称 "ABC"，B4分配了名称 "EFG"，B5分配了名称 "XYZ"，我想让单元格B3:B5...。

在非活动表中更新Excel中的UDF时出错。

我已经创建了一些UDF来自动化一些微积分我和一些同事经常使用。为了简单起见，我粘贴了一个我有问题的MWE，我的实际代码比较长，但需要 ...

PySpark 计数出现的次数，并用UDF创建一个新的列。

我有一个数据框架，其中有几列，包括video_id和tags。我需要在df中创建一个新的列，名为 occurrencias_music，将字符串 "music "的出现次数作为 ...

R用户定义函数没有看到参数

我想做一个函数，其中我必须提供两个参数。对于第一个参数，我可以输入任何东西，但对于第二个参数，只允许输入'A'或'B'。那么我希望...

我使用的是spark 2.1版本，我有一些电话号码，我需要给相似的电话号码分配相同的随机数，在scala中。

我正在使用scala.util.Random.Shuffle(phoneNumber.toList)来获取我所有电话号码的随机数，但是我的电话号码列表中有重复的电话号码，我想给所有重复的电话号码分配相同的随机数。

雪花UDF和数据加密

我想知道是否可以创建UDF，通过使用私钥解密插入表内的加密值。我通过google搜索，真的找不到任何东西。这个...

Scala中的UDF串联 Spark中的UDF

我写了下面的代码，它工作得很好，但我想把UDF连接起来，使这段代码可以压缩成几行。但是我想把UDF连起来，这样这段代码就可以压缩成几行。请建议我如何能做到这一点。下面是我的代码...

ArrayType Pyspark列中唯一元素行间的平均值

我有一个大的pyspark数据框(23M行)，格式如下：姓名，情感["Lily"，"Kerry"，"Mona"]，10["Kerry"，"Mona"]，2["Mona"]，0 我想计算一下... ...