我需要在我的Hive表中的所有列上执行正则表达式替换功能。有没有办法在不调出每列的情况下对所有列执行操作?
使用regexp_replace。以下是Hive REGEXP_REPLACE函数的语法。 regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT);
val col : DataFrame = hiveContext.sql("show columns in dbname.table_name")
val arry = col.collectAsList().toArray
def regexpReplace(x: AnyRef): String =
return "select regexp_replace(" + x + ",[^0-9a-zA-Z]," + "' ') from dbname.tbl_name"
for( col <- arry)
{
val res = regexpReplace(col.toString.substring(1,x.toString.length-1))
sqlContext.sql(res)
}