我正在寻找支持Spark SQL的客户端jdbc驱动程序。
到目前为止,我一直在使用Jupyter在Spark上运行SQL语句(在HDInsight上运行),我希望能够使用JDBC进行连接,因此我可以使用第三方SQL客户端(例如SQuirreL,SQL Explorer等)。 ),而不是笔记本界面。
我从Microsoft找到了ODBC驱动程序,但这对基于Java的SQL客户端没有帮助。我还尝试从群集中下载Hive jdbc驱动程序,但是Hive JDBC驱动程序似乎不支持Spark所支持的更多高级SQL功能。例如,Hive驱动程序抱怨不支持非等连接的联接语句,我知道这是Spark的受支持功能,因为我已经在Jupyter中成功执行了相同的SQL。
Hive JDBC驱动程序似乎不支持Spark所支持的更多高级SQL功能
无论提供何种支持,Spark Thrift服务器均为fully compatible with Hive/Beeline's JDBC connection。
因此,这就是您需要使用的JAR。我已经在DBVisualizer中验证了此功能。
替代解决方案是直接在Java客户端(非第三方工具)中运行Spark代码,而无需使用JDBC连接。