pipeline 相关问题

流水线是一系列功能（或其等价物），其组成使得一个输出为下一个输入，以便创建复合变换。一般来说，shell管道看起来像“command | command2 | command3”（但为此使用标签“pipe”）。它还用于计算机体系结构中，以定义一系列串行级，这些串级级在馈送到管道中的元件上并行执行，以便提高整体吞吐量。

GitLab CI/CD 构建/管道仅触发一次而不是两次

我正在使用 GitLab CI/CD（编辑：v10.2.2）。我的项目有 2 个分支：开发和测试两者都受到保护。 devel 是默认分支。工作流程是：我推送开发，然后合并开发...

yaml gitlab pipeline gitlab-ci continuous-deployment

回答 1 投票 0

Dagster 中的并行、深度优先操作，将操作、图形和作业结合在一起

（也发布在 r/dagster 上）达格斯特 N00b 在这里。我有一个非常具体的用例。我的ETL执行以下步骤：查询数据库以获取 CSV 文件列表转到文件系统并针对每个 CSV 文件： ...

python pipeline duckdb dagster data-engineering

回答 1 投票 0

在 Dagster 中收集/加入/等待并行、深度优先操作

在 @zyd 在 Dagster 中并行、深度优先执行的答案中得到了非常赞赏的帮助后，我现在正在寻找一种方法来在图形运行的收集结果上运行 @op，或者至少。 ..

python pipeline duckdb dagster data-engineering

回答 1 投票 0

Dagster 中的并行、深度优先操作，将操作、图形和作业结合在一起

在 @zyd 在 Dagster 中并行、深度优先执行的答案中得到了非常赞赏的帮助后，我现在正在寻找一种方法来在图形运行的收集结果上运行 @op，或者至少。 ..

python pipeline duckdb dagster data-engineering

回答 1 投票 0

从 Dagster 图收集 dyn @op 输出的方法

在 @zyd 在 Dagster 中并行、深度优先执行的答案中得到了非常赞赏的帮助后，我现在正在寻找一种方法来在图形运行的收集结果上运行 @op，或者至少。 ..

python pipeline duckdb dagster data-engineering

回答 1 投票 0

GitLab Runner 身份验证失败 - “致命：https://***.com 身份验证失败

我在 Ubuntu 服务器上使用 GitLab Runner 运行管道时遇到身份验证错误。我的代码驻留在 GitLab 存储库中，并且运行器已配置并正在运行。我已经确认了...

gitlab-ci pipeline gitlab-ci-runner cicd gitlab-ci.yml

回答 1 投票 0

Ansible 连接到具有多个跳转主机的服务器

我遇到一个问题：我设置了 3 个服务器： Jumphost1 --> Jumphost2 --> 节点服务器在本地我可以使用这个 ssh 命令及其工作，因此没有网络、ssh 或防火墙问题： ssh...

ansible devops pipeline ansible-2.x

回答 1 投票 0

GCP CloudBuild 替换在管道中失败

根据 GCP CloudBuild 文档，可以在管道替换中使用 shell 参数扩展。我想根据 git 分支的名称为 docker 镜像定义一个标签名称。 ...

shell google-cloud-platform parameters pipeline substitution

回答 1 投票 0

如何在podTemplate中合并yaml？

我在groovy中有以下代码： void call(闭包闭包) { pod_template_maven_image = ... pod_template_maven_m2 = ... pod_template_nodejs_image = ... pod_template_sonar_image...

kubernetes groovy jenkins-pipeline pipeline jenkins-declarative-pipeline

回答 2 投票 0

ADF 使用带有 GET 请求的延续令牌复制数据活动分页

我正在 ADF 服务中构建 ETL 管道以从 API 加载数据，但我在使用延续令牌实现分页规则时遇到困难。我知道，根据 Azure 文档，它

azure azure-data-factory etl pipeline

回答 1 投票 0

一种并行运行 Dagster 操作的方法，在 UI 中也可见

python pipeline duckdb dagster data-engineering

回答 1 投票 0

Powershell管道累积缓冲区

以基本管道为例：命令A |命令B CommandA 很慢++，而 CommandB 需要用户输入才能继续。当 CommandB 继续执行下一个管道项目时，它会经历相当大的延迟，而

powershell pipeline