pipeline 相关问题

流水线是一系列功能（或其等价物），其组成使得一个输出为下一个输入，以便创建复合变换。一般来说，shell管道看起来像“command | command2 | command3”（但为此使用标签“pipe”）。它还用于计算机体系结构中，以定义一系列串行级，这些串级级在馈送到管道中的元件上并行执行，以便提高整体吞吐量。

添加设置变量活动时 Azure Synapse Pipeline 出现错误请求

我有一个简单的 Synapse 管道来查询 SQL 数据库。查询按预期工作，但是当我尝试添加“设置变量”活动来输出结果时，出现以下错误： {“鳕鱼...

pipeline azure-synapse bad-request

回答 1 投票 0

图像以 X 大小发送到本地 Harbour，并通过 CI/CD 管道发送到 Y 大小

使用 GitLab、Harbor 和 Rancher 设置 CI/CD 管道后，我发现应用程序部署存在问题，无法正常运行。但是，当手动部署时（

docker gitlab pipeline rancher harbor

回答 1 投票 0

传递 GitHub Actions 作业之间的依赖关系

我在工作流程中的工作很少，每次都应该安装依赖项： - 名称：安装依赖项运行：| cd 项目文件夹 gem 安装捆绑器捆绑安装吊舱

github-actions pipeline cicd fastlane

回答 1 投票 0

Gitlab CI 在阶段之间传递多个变量

我想在阶段之间传递多个变量我的文件夹的结构 .gitlab-ci.yaml terraform/main.tf terrfaorm/变量.tf $ 猫 .gitlab-ci.yaml 图像：docker_image：0.0 变量：计划：

gitlab gitlab-ci pipeline

回答 1 投票 0

sklearn“transform_output”设置在 Flask 应用程序上下文和请求上下文中不同

我正在修改一个工作 Flask 应用程序，我一直用它来提供 ML 模型，现在可以通过新的、更新的模型提供预测。该模型是我训练过的 sklearn 管道对象

machine-learning flask scikit-learn pipeline werkzeug

回答 1 投票 0

GitLab CI/CD 构建/管道仅触发一次而不是两次

我正在使用 GitLab CI/CD（编辑：v10.2.2）。我的项目有 2 个分支：开发和测试两者都受到保护。 devel 是默认分支。工作流程是：我推送开发，然后合并开发...

yaml gitlab pipeline gitlab-ci continuous-deployment

回答 1 投票 0

Dagster 中的并行、深度优先操作，将操作、图形和作业结合在一起

（也发布在 r/dagster 上）达格斯特 N00b 在这里。我有一个非常具体的用例。我的ETL执行以下步骤：查询数据库以获取 CSV 文件列表转到文件系统并针对每个 CSV 文件： ...

python pipeline duckdb dagster data-engineering

回答 1 投票 0

在 Dagster 中收集/加入/等待并行、深度优先操作

在 @zyd 在 Dagster 中并行、深度优先执行的答案中得到了非常赞赏的帮助后，我现在正在寻找一种方法来在图形运行的收集结果上运行 @op，或者至少。 ..

python pipeline duckdb dagster data-engineering

回答 1 投票 0

Dagster 中的并行、深度优先操作，将操作、图形和作业结合在一起

在 @zyd 在 Dagster 中并行、深度优先执行的答案中得到了非常赞赏的帮助后，我现在正在寻找一种方法来在图形运行的收集结果上运行 @op，或者至少。 ..

python pipeline duckdb dagster data-engineering

回答 1 投票 0

从 Dagster 图收集 dyn @op 输出的方法

在 @zyd 在 Dagster 中并行、深度优先执行的答案中得到了非常赞赏的帮助后，我现在正在寻找一种方法来在图形运行的收集结果上运行 @op，或者至少。 ..

python pipeline duckdb dagster data-engineering

回答 1 投票 0

GitLab Runner 身份验证失败 - “致命：https://***.com 身份验证失败

我在 Ubuntu 服务器上使用 GitLab Runner 运行管道时遇到身份验证错误。我的代码驻留在 GitLab 存储库中，并且运行器已配置并正在运行。我已经确认了...

gitlab-ci pipeline gitlab-ci-runner cicd gitlab-ci.yml

回答 1 投票 0

Ansible 连接到具有多个跳转主机的服务器

我遇到一个问题：我设置了 3 个服务器： Jumphost1 --> Jumphost2 --> 节点服务器在本地我可以使用这个 ssh 命令及其工作，因此没有网络、ssh 或防火墙问题： ssh...

ansible devops pipeline ansible-2.x

回答 1 投票 0

GCP CloudBuild 替换在管道中失败

根据 GCP CloudBuild 文档，可以在管道替换中使用 shell 参数扩展。我想根据 git 分支的名称为 docker 镜像定义一个标签名称。 ...

shell google-cloud-platform parameters pipeline substitution

回答 1 投票 0

如何在podTemplate中合并yaml？

我在groovy中有以下代码： void call(闭包闭包) { pod_template_maven_image = ... pod_template_maven_m2 = ... pod_template_nodejs_image = ... pod_template_sonar_image...

kubernetes groovy jenkins-pipeline pipeline jenkins-declarative-pipeline

回答 2 投票 0

ADF 使用带有 GET 请求的延续令牌复制数据活动分页

我正在 ADF 服务中构建 ETL 管道以从 API 加载数据，但我在使用延续令牌实现分页规则时遇到困难。我知道，根据 Azure 文档，它

azure azure-data-factory etl pipeline

回答 1 投票 0

一种并行运行 Dagster 操作的方法，在 UI 中也可见

python pipeline duckdb dagster data-engineering

回答 1 投票 0

Powershell管道累积缓冲区

以基本管道为例：命令A |命令B CommandA 很慢++，而 CommandB 需要用户输入才能继续。当 CommandB 继续执行下一个管道项目时，它会经历相当大的延迟，而

powershell pipeline