如何使用ODBC连接器连接胶水ETL / Spark中的关系数据库

Question

我需要在AWS生态系统中使用ODBC Connector从RDBMS中提取数据。 AWS Glue不提供ODBC连接。如何使用spark中的ODBC驱动程序将我的spark代码与Relational DB连接起来。

我尝试使用EMR进行sqoop。但它也不提供ODBC连接。然后我尝试了火花。但我仍然无法找到解决方案。

需要使用ODBC Driver在spark中连接关系数据库

Answer 1

我使用pymysql作为zip文件，将其添加到我的AWS Glue作业中。然后我在我的AWS Glue中导入了pymysql库。希望您也可以按照相应的RDBMS进行操作。由于信息不完全可用，我假设你想读/写rdbms。以下是我连接到AWS RDS的示例代码。

import pymysql

rds_host  = "rds.url.aaa.us-west-2.rds.amazonaws.com"
name = "username"
password = "userpwd"
db_name = "dbname"
conn = pymysql.connect(rds_host, user=name, passwd=password, db=db_name, connect_timeout=5)

with conn.cursor() as cur:
    cur.execute("select * from your table query)
    result = cur.fetchall()
    for row in result:
       print("Column1 value=>: ", row[0])
    conn.commit()
    cur.close()

如果您需要任何进一步的指示，请告诉我，如果这是您正在寻找的。