尝试在数据阶段 11.7 中写入镶木地板文件时出错(File_Connector_20,0:java.lang.NoClassDefFoundError:org.apache.hadoop.fs.FileSystem)

问题描述 投票:0回答:3

我们最近在 Server AIX 7.1 上将 DataStage 从 9.1 升级到 11.7。 我正在尝试使用新的连接器“文件连接器”在镶木地板文件上写入。我创建了简单的作业,以 teradata 作为源,并在 parquet 文件上写入作为目标。 工作形象

但面临以下错误:

> File_Connector_20,0: java.lang.NoClassDefFoundError: org.apache.hadoop.fs.FileSystem
    at java.lang.J9VMInternals.prepareClassImpl (J9VMInternals.java)
    at java.lang.J9VMInternals.prepare (J9VMInternals.java: 304)
    at java.lang.Class.getConstructor (Class.java: 594)
    at com.ibm.iis.jis.utilities.dochandler.impl.OutputBuilder.<init> (OutputBuilder.java: 80)
    at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 340)
    at com.ibm.iis.jis.utilities.dochandler.impl.Registrar.getBuilder (Registrar.java: 302)
    at com.ibm.iis.cc.filesystem.FileSystem.getBuilder (FileSystem.java: 2586)
    at com.ibm.iis.cc.filesystem.FileSystem.writeFile (FileSystem.java: 1063)
    at com.ibm.iis.cc.filesystem.FileSystem.process (FileSystem.java: 935)
    at com.ibm.is.cc.javastage.connector.CC_JavaAdapter.run (CC_JavaAdapter.java: 444)

我按照以下链接中的步骤操作: https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.im.iis.conn.s3.usage.doc/topics/amaze_file_formats.html

1-我将 jar 文件上传到“/ds9/IBM/InformationServer/Server/DSComponents/jars”

2-将它们添加到agent.sh中的CLASSPATH,然后重新启动数据阶段。

3-我已将环境变量 CC_USE_LATEST_FILECC_JARS 设置为值 parquet-1.9.0.jar:orc-2.1.jar。

我还尝试将 CLASSPATH 添加为作业中的环境变量,但没有成功。

注意到我在文件系统中使用

Local

所以任何提示都是值得赞赏的,因为我很久以前就在搜索。 预先感谢,

java hadoop etl parquet datastage
3个回答
0
投票

您使用的是哪种文件系统模式?如果您使用

Native HDFS
作为文件系统模式,那么您需要配置 CLASSPATH 以包含一些第三方 jar。

也许这些链接应该为您提供一些指导。

注意:根据您使用的hadoop发行版和版本,jar的版本可能会有所不同。

如果上述信息无法帮助解决问题,那么您可能需要联系 IBM 支持来解决此问题。


0
投票

要使用文件连接器,无需在agent.sh中添加CLASSPATH,除非您想从IMAM导入HDFS文件。

如果您的要求是读取 Parquet 文件,则设置 $CC_USE_LATEST_FILECC_JARS=parquet-1.9.0.jar $FILECC_PARQUET_AVRO_COMPAT_MODE=TRUE

如果您仍然遇到问题,请使用 $CC_MSG_LEVEL=2 运行作业,并打开 IBM 支持案例以及作业设计、完整作业日志和引擎层的 Version.xml 文件。


0
投票

我正在尝试从镶木地板文件中读取数据,并且正在使用文件连接器,但我找不到环境变量 CC_USE_LATEST_FILECC_JARS,您能帮忙吗?

© www.soinside.com 2019 - 2024. All rights reserved.