程序或环境的用户提供的功能
如何重写使用 udf 的 INSERT INTO SELECT 子查询以使其返回 1 个值
我正在尝试创建一个新表，但使用 INSERT INTO SELECT 语句更改旧表中的一些数据。我正在尝试获取一个包含数字和字母的字段并取出数字...
我有一个列，其值为： “{”“ab””：0.7220268151565864，““cd””：0.2681795338834256，““ef””：1.0，““gh””：1...
将 python UDF 转换为 pandas UDF 以提高 PySpark 中的性能
我在Python中有多个函数在PySpark中用作UDF，但问题是我的数据太大，应用所有这些UDF需要很长时间才能完成转换。
pyspark - 分解一个数据帧 col，其中包含 json
我在 Spark 数据框中有一列“user_contacts_attributes”： +------------------+---------------------------------------- --------+ | 用户名 |用户联系人属性 | +------------...
始终返回 Null：在 Oracle SQL Developer 中创建函数时使用 Select 语句
我需要帮助，我已经被困在这里太久了。我已经尝试过很多事情了。如有任何故障排除，我们将不胜感激。 我有一个现有的表，其中行是 KPI 的类型，...
以下用户定义函数引用了之前的 Excel 工作表。 函数上一页（） 应用程序.易失性 PrevSheet = 工作表(ActiveSheet.Index - 1).Name 结束功能 下面...
我有一个用例，我的目标是仅在 Snowflake 中以键和值格式存储多个变量。这些变量需要在 Snowflake SQL 语句中可访问，我打算维护...
TLDR-我正在尝试编写一个 udf 来转换 pyspark 数据帧。当输入是数据帧并且输出是相同的数据帧时，只是有几列映射到不同的值。 在
是否可以允许用户调用 BigQuery UDF 但看不到其定义？
我有一个 BigQuery 用户定义函数 (UDF)，其中定义包含一个秘密： 创建函数 mydataset.HashWithPepper(输入 STRING, y INT64) 返回字符串 AS SHA256(输入 + "
我有一个函数返回一个包含单行的表。 基本上，该表存储有关字符串的信息，例如： |IsPrintable|OriginalString|CleanString| 让我们假设一个有两列的表...
下面的示例可选参数必须按顺序给出；因此 ShowHeaders 必须先于 ValueAdd 等等。如果我想指定 ValueAdd，我*必须*指定 ShowHeaders： 函数示例(Val...
尝试从网站获取表格（ValueError：如果使用所有标量值，则必须传递索引）
我正在尝试创建一个自动从网站（维基百科）获取表格的功能，对其进行一些清理然后显示它，我的前两个表格一切正常，但第三个表格是给...
我正在尝试优化查询以删除返回逗号分隔列表示例“cor tag 1，tag test，testing，test”的标量值函数。我在网上读到，使其内联应该......
在 Databricks 中面临 python udf 的问题
我正在 PySpark 中处理分层数据，其中每个员工都有一个经理，我需要找到每个员工的所有内联经理。内联经理被定义为男人的经理......
Spark UDF 不会在 DataFrame 上计算最终值，但会在测试 DataFrame 上计算最终值
我有一个数据框，它是 hive_metastore 中的 Delta 表列表。 对于每个表，我想获取增量日志以提取一些信息。我可以通过在 A 中收集 DataFrame 来做到这一点...
我正在使用 ColdFusion 9。 我包含一个 UDF 库 (UDF_Library.cfm)，其中只有几个函数。当我尝试访问这些函数时，收到一条错误消息“Variable POPUP is undefi...
我正在尝试找到一种解决方法来计算 SQL Server 中的字符串，就像 JavaScript 上的 eval() 函数一样。让它变得困难的是我需要它在功能上做到这一点，以便我可以在我的设备上使用它......
我想创建一个函数，其中一个参数是所选内容下方的一个单元格。 我想将 A、B 相乘，并在 B 的单元格选择下方偏移一行。 函数 MYFUNCTION(Num_1 As Inte...
Spark 无法使用 Spark-xml 提取 rootTag 元素
我想使用Spark（spark-xml版本0.13.0 scala 2.11）从xml文件中提取rootTag元素。但它无法这样做。 例如xml如下： 我想使用 Spark （spark-xml 版本 0.13.0 scala 2.11）从 xml 文件中提取 rootTag 元素。但它无法这样做。 例如xml如下： <?xml version="1.0"?> <catalog> <dt_creation>13-03-2023</dt_creation> <book id="bk101"> <author>Gambardella, Matthew</author> <title>XML Developer's Guide</title> <price>44.95</price> <publish_date>2000-10-01</publish_date> <description> Oracle Streams Advanced Queuing XMLType support. </description></book><book id="bk102"> <price>5.95</price> </book> </catalog> 我想使用 Spark 代码从 rootTag 获取 dt_creation 字段，如下所示： val df = sparkSession.read .format("xml") .option("rootTag", "catalog") .option("rowTag", "book") .load(above-xml-file) df.select("dt_creation").collect() 它导致 AnalysisException@12599“org.apache.spark.sql.AnalysisException： 无法解析给定输入列的“dt_creation”：[描述， 价格、流派、发布日期、标题、_id、作者]；； '项目 ['dt_creation] 如何真正提取存在于 rowTag 之外的此类 rootTag 元素？ 我认为不可能获取rootTag属性。请参考此问题：https://github.com/databricks/spark-xml/issues/503 您可以在根处读取 rowTag，然后将其分解并展开，如下所示。 df = (spark.read.format("com.databricks.spark.xml") .option("rowTag", "catalog") .load(xmlFile) ) df.printSchema() (df.withColumn("book", explode(col("book"))) .select("dt_creation", "book.*") .show(truncate=False))```
AWS EMR PySpark UDF 失败并显示“无法运行命令 /usr/bin/virtualenv (...)”
我有一个 emr 版本为 6.10.0 的 emr 集群，我尝试在代码中使用 pyspark udf，但它始终失败并出现相同的错误。 数据 = [("AAA",), ("BBB",)...