我们可以使用Spark将数据移动到Vertica并且不使用hadoop作为暂存环境吗？

Question

我正在尝试在spark中传输数据并将其加载到vertica中，我所提到的每篇文章都谈到让hdfs首先保留来自DF或RDD的数据，是否有办法在不使用Hadoop和任何其他数据存储的情况下移动数据

Answer 1

不是Vertica Connector for Apache Spark，不幸的是连接器确实需要先将数据写入HDFS。

您可以使用df.write()直接从Spark保存到Spark连接表。

import org.apache.spark.sql.{SQLContext, SaveMode}

df.write
  .mode(SaveMode.Append)
  .format("jdbc")
  .option("url", "jdbc:vertica://vertica:5433/database")
  .option("dbtable", "schema.table")
  .option("user", "dbadmin")
  .option("password", "password")
  .save()

这对我来说使用Spark版本2.2.1。 Vertica版本9.1。