[在databricks中使用cobrix处理大型机文件-Pyspark python 3

Question

没有人知道如何将cobrix集成到azure数据块-pyspark中以处理具有comp-3列的大型机文件（Python 3）

请查看以下链接以获取详细信息。https://github.com/AbsaOSS/cobrix/issues/236#issue-550885564

Answer 1

要使第三方或本地构建的代码可用于群集上运行的笔记本和作业，您可以安装库。库可以用Python，Java，Scala和R编写。您可以上载Java，Scala和Python库，并指向PyPI，Maven和CRAN存储库中的外部软件包。

安装第三方库的步骤：

Step1：创建Databricks群集。

Step2：选择创建的集群。

Step3：选择库=>安装新=>选择库源=“ Maven” =>坐标=>搜索软件包=>选择Maven Central =>搜索所需的软件包。示例：（spark-cobol，cobol-parser，scodec）=>选择所需的版本=>安装

有关更多详细信息，请参见“ Azure Databricks - libraries”和“ Cobrix: A Mainframe Data Source for Spark SQL and Streaming”。

希望这会有所帮助。如果您还有其他疑问，请告诉我们。