删除列pyspark数据帧中的前n个字符

Question

我试图在我的pyspark数据框中的每一行中删除列中的前两个字符。以下字符的长度不同，所以我不能使用substring的解决方案。

示例数据框：

columns = ['text']
vals = [(h0123),(b012345), (xx567)]

编辑实际上问题变得更复杂，因为有时我有一个字母和两个零作为第一个字符，然后需要删除0。

例：

columns = ['text']
vals = [(h0123),(b012345), (x00567), (L0034)]

预期结果：

(123),(12345), (567), (34)

Answer 1

您可以使用pyspark.sql.functions.expr()调用substring并传入字符串的长度减去n作为len参数。

from pyspark.sql.functions import expr

n = 2
df.withColumn(
    "new_text",
    expr("substring(text, {n}+1, length(text)-{n})".format(n=n))
).show()
#+-------+--------+
#|   text|new_text|
#+-------+--------+
#|  h0123|     123|
#|b012345|   12345|
#|  xx567|     567|
#+-------+--------+

你也把它变成了一个函数：

def lstrip(column, n):
    # should probably add error checking on inputs
    return expr("substring(`{col}`, {n}+1, length(`{col}`)-{n})".format(col=column, n=n))

df.withColumn("new_text", lstrip(column="text", n=n)).show()
# Same as above