运行 Hive 查询的 Python 脚本

Question

任何人都可以指导我如何使用 Python 运行 .hql 查询。尝试了 Hiveutils lib，但它不存在于开发环境中。还有其他方法来执行查询吗？

Answer 1

您可以使用PyHive：PyHive 是 Presto 和 Hive 的 Python DB-API 和 SQLAlchemy 接口的集合。

示例：

from pyhive import hive
cursor = hive.connect('localhost').cursor()
cursor.execute('SELECT * FROM my_awesome_data LIMIT 10')
print(cursor.fetchone())
print(cursor.fetchall())

Answer 2

您可以尝试使用 pyhs2，尝试像下面给出的示例一样工作

    import pyhs2
    with pyhs2.connect(host='localhost',
           port=10000,
           authMechanism="PLAIN",
           user='your_user',
           password='your_password',
           database='your_default_db') as conn:
        with conn.cursor() as cur:
            print cur.getDatabases()
            cur.execute("select * from table")
            #Return info from query
            print cur.getSchema()

Answer 3

出现错误：找不到 pyhive 的匹配发行版。请指教

pip 安装 pyhive

收集 pyhive 警告：在连接因 'NewConnectionError(': 无法建立新连接：[Errno - 2]名称或服务未知'，）'：/ simple / pyhive /警告：在连接被'NewConnectionError中断后重试（重试（total = 3，connect = None，read = None，redirect = None，status = None）） (': 无法建立新连接: [Errno -2] 名称或服务未知',)': /simple/pyhive/ 警告: 重试 (重试(total=2, connect=None, read=None, 重定向=None, status=None)) 连接被 'NewConnectionError(': 无法建立新连接: [Errno -2] 名称或服务未知',)': /simple/pyhive/ 警告：重试（重试） (total=1、connect=None、read=None、redirect=None、status=None)) 连接因“NewConnectionError(': 无法建立新连接：[Errno -2] 名称或服务未知”而中断后,)': /simple/pyhive/ 警告: 在连接因 'NewConnectionError(': 无法建立连接新连接：[Errno -2] 名称或服务未知',)': /simple/pyhive/ 错误：找不到满足 pyhive 要求的版本（来自版本：无）错误：找不到 pyhive 的匹配发行版