以前是否有人在Sqoop从Hive Table导出到SQLDatabase的Sqoop中使用自定义映射器的经验?
我使用了以下带有33个映射器的sqoop命令来执行sqoop导出:
sqoop导出-Dmapred.job.queue.name =项目名称-Dsqoop.export.records.per.statement = 1000 --connect“ jdbc:sqlserver:// svrname; database = dbname” --username'usrname'-密码'pwd'--hcatalog数据库hive_schema_name --hcatalog-table hive_obj_name --table'SQL_DB_OBJ_NAME'---schema SQL_DB_SCHEMA_NAME --fields终止于$'\ x01'-m 33 -batch
但是结果,由于数据量巨大,我只能看到4个映射器正在从应用程序主服务器使用,并且需要很长时间才能完成。因此,我想知道是否有人可以帮助确认自定义映射器是否可以在sqoop导出中使用
Sqoop导出支持number of mappers参数,但是在您的命令中它将被忽略。由于Sqoop CLI具有以下结构,因此必须将-- --schema <schema-name>
移至命令末尾:
sqoop TOOL PROPERTY_ARGS SQOOP_ARGS [-- EXTRA_ARGS]