是否有Spark SQL jdbc驱动程序?

问题描述 投票:7回答:1

我正在寻找支持Spark SQL的客户端jdbc驱动程序。

到目前为止,我一直在使用Jupyter在Spark上运行SQL语句(在HDInsight上运行),我希望能够使用JDBC进行连接,因此我可以使用第三方SQL客户端(例如SQuirreL,SQL Explorer等)。 ),而不是笔记本界面。

我从Microsoft找到了ODBC驱动程序,但这对基于Java的SQL客户端没有帮助。我还尝试从群集中下载Hive jdbc驱动程序,但是Hive JDBC驱动程序似乎不支持Spark所支持的更多高级SQL功能。例如,Hive驱动程序抱怨不支持非等连接的联接语句,我知道这是Spark的受支持功能,因为我已经在Jupyter中成功执行了相同的SQL。

apache-spark jdbc apache-spark-sql hdinsight
1个回答
0
投票

Hive JDBC驱动程序似乎不支持Spark所支持的更多高级SQL功能

无论提供何种支持,Spark Thrift服务器均为fully compatible with Hive/Beeline's JDBC connection

因此,这就是您需要使用的JAR。我已经在DBVisualizer中验证了此功能。

替代解决方案是直接在Java客户端(非第三方工具)中运行Spark代码,而无需使用JDBC连接。

© www.soinside.com 2019 - 2024. All rights reserved.