无法在Sqoop导出中自定义的映射器数量

问题描述 投票:0回答:1

以前是否有人在Sqoop从Hive Table导出到SQLDatabase的Sqoop中使用自定义映射器的经验?

我使用了以下带有33个映射器的sqoop命令来执行sqoop导出:

sqoop导出-Dmapred.job.queue.name =项目名称-Dsqoop.export.records.per.statement = 1000 --connect“ jdbc:sqlserver:// svrname; database = dbname” --username'usrname'-密码'pwd'--hcatalog数据库hive_schema_name --hcatalog-table hive_obj_name --table'SQL_DB_OBJ_NAME'---schema SQL_DB_SCHEMA_NAME --fields终止于$'\ x01'-m 33 -batch

但是结果,由于数据量巨大,我只能看到4个映射器正在从应用程序主服务器使用,并且需要很长时间才能完成。因此,我想知道是否有人可以帮助确认自定义映射器是否可以在sqoop导出中使用

bigdata sqoop
1个回答
1
投票

Sqoop导出支持number of mappers参数,但是在您的命令中它将被忽略。由于Sqoop CLI具有以下结构,因此必须将-- --schema <schema-name>移至命令末尾:

sqoop TOOL PROPERTY_ARGS SQOOP_ARGS [-- EXTRA_ARGS]
© www.soinside.com 2019 - 2024. All rights reserved.