我们最近在 Server AIX 7.1 上将 DataStage 从 9.1 升级到 11.7。 我正在尝试使用新的连接器“文件连接器”在镶木地板文件上写入。我创建了简单的作业,以 teradata 作为源,并在 parquet 文件上写入作为目标。 工作形象
但面临以下错误:
> File_Connector_20,0: java.lang.NoClassDefFoundError: org.apache.hadoop.fs.FileSystem
at java.lang.J9VMInternals.prepareClassImpl (J9VMInternals.java)
at java.lang.J9VMInternals.prepare (J9VMInternals.java: 304)
at java.lang.Class.getConstructor (Class.java: 594)
at com.ibm.iis.jis.utilities.dochandler.impl.OutputBuilder.<init> (OutputBuilder.java: 80)
at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 340)
at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 302)
at com.ibm.iis.cc.filesystem.FileSystem.getBuilder (FileSystem.java: 2586)
at com.ibm.iis.cc.filesystem.FileSystem.writeFile (FileSystem.java: 1063)
at com.ibm.iis.cc.filesystem.FileSystem.process (FileSystem.java: 935)
at com.ibm.is.cc.javastage.connector.CC_JavaAdapter.run (CC_JavaAdapter.java: 444)
我按照以下链接中的步骤操作: https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.im.iis.conn.s3.usage.doc/topics/amaze_file_formats.html
1-我将 jar 文件上传到“/ds9/IBM/InformationServer/Server/DSComponents/jars”
2-将它们添加到agent.sh中的CLASSPATH,然后重新启动数据阶段。
3-我已将环境变量 CC_USE_LATEST_FILECC_JARS 设置为值 parquet-1.9.0.jar:orc-2.1.jar。
我还尝试将 CLASSPATH 添加为作业中的环境变量,但没有成功。
注意到我在文件系统中使用
Local
。
所以任何提示都是值得赞赏的,因为我很久以前就在搜索。 预先感谢,
您使用的是哪种文件系统模式?如果您使用
Native HDFS
作为文件系统模式,那么您需要配置 CLASSPATH 以包含一些第三方 jar。
也许这些链接应该为您提供一些指导。
注意:根据您使用的hadoop发行版和版本,jar的版本可能会有所不同。
如果上述信息无法帮助解决问题,那么您可能需要联系 IBM 支持来解决此问题。
要使用文件连接器,无需在agent.sh中添加CLASSPATH,除非您想从IMAM导入HDFS文件。
如果您的要求是读取 Parquet 文件,则设置 $CC_USE_LATEST_FILECC_JARS=parquet-1.9.0.jar $FILECC_PARQUET_AVRO_COMPAT_MODE=TRUE
如果您仍然遇到问题,请使用 $CC_MSG_LEVEL=2 运行作业,并打开 IBM 支持案例以及作业设计、完整作业日志和引擎层的 Version.xml 文件。
我正在尝试从镶木地板文件中读取数据,并且正在使用文件连接器,但我找不到环境变量 CC_USE_LATEST_FILECC_JARS,您能帮忙吗?