在sparksql中将日期从字符串转换为日期

Question

我有一个sparksql日期框架，日期格式如下：“26MAR2015”。在下面的问题中，他们使用to_date函数和java simpledataformat：Convert date from String to Date format in Dataframes来转换日期中的字符串。我在以下问题中找不到有关此格式的更多信息：Convert pyspark string to date format。

我找不到我的案例的正确格式：

spark.sql("""
SELECT TO_DATE(CAST(UNIX_TIMESTAMP('15MAR2015', '??????') AS TIMESTAMP)) AS newdate"""
).show()

Answer 1

您应该使用ddMMMyyyy作为格式字符串。

例如，您可以这样做：

spark.sql("""
SELECT CAST(FROM_UNIXTIME(UNIX_TIMESTAMP('15MAR2015', 'ddMMMyyyy')) AS date) AS newdate"""
).show()
#+----------+
#|   newdate|
#+----------+
#|2015-03-15|
#+----------+

您可以找到有关Java SimpleDateFormat here的更多信息。