为每个数据工程师提供一个专用的数据块开发环境

问题描述 投票:0回答:0

我对使用 Databricks 比较陌生,我来自 SQL Server 平台,每个开发人员通常都有一个小型的本地开发环境,每个人都可以在其中部署代码、运行本地测试等等。

重点不是服务器在本地,更多的是开发人员 A 可以从他的本地分支 repo 部署代码,开发人员 B 也可以这样做,而不会互相覆盖代码。

所以我的场景是有一个特性分支,两个数据工程师或更多数据工程师在同一个特性上一起工作。他们各自交付部分工作,当然他们处理不同的对象(即他们交付单独的视图和表格)。

有一个远程功能分支,两个本地功能分支,每个开发人员一个。

开发者A写了一个视图的代码,想在代码提交到远程分支之前测试它,他/她在哪里测试视图?在不干扰第二个开发人员的工作的情况下,“创建视图......”代码将在哪里运行,针对该功能的特定开发人员本地分支?

这是可靠的 CI 流程所必需的,每个开发人员都可以在提交到远程分支之前用数据测试自己的代码,加上 devops 触发提交到分支共享环境的能力,在那里运行进一步的测试以确保开发人员 A 提交并没有破坏开发人员 B 的工作等

这在数据块设置中如何工作?有谁做过类似的事情吗?有没有工具可以创建这样的环境?

我知道在数据块中,每个开发人员都可以拥有自己的笔记本和代码回购协议,但是我如何为每个开发人员(以及每个分支)管理单独的目录\架构?

database apache-spark continuous-integration devops databricks
© www.soinside.com 2019 - 2024. All rights reserved.