batch-processing 相关问题

批处理是指以最少的人工交互进行编程执行。

Dataproc Serverless for Spark Batch 在 4 小时后超时

如何延长时间限制? 日志显示“发现 1 个无效租约”和“任务 srvls-batch-d702cb8b-1d45-44d2-bf2e-6bf6275f66bf 租约授予已撤销,取消工作。” T...

回答 1 投票 0

使用 Java 将多个数据库的数据高效导出到 CSV

我有一个独特的要求,即从两个不同的数据库中获取选定的记录和列 - 一个在 SQL Server 中,另一个在 MongoDB 中。目标是将这些数据存储到文件中,我看起来......

回答 1 投票 0

移动给定卷(大小)的文件

需要将任意给定数量的文件从给定类型(例如 csv)从 ./source 移动到 ./target 文件夹,并且: 所有移动文件的总大小低于给定值 SrcMax 文件是...

回答 1 投票 0

如何在为 Windows 命令提示符编写的批处理脚本中输入正则表达式?

下面的脚本对源目录中的文件进行计数,并根据计数和文件名执行不同的操作。如果有两个或更多文件,则以代码 2 退出。如果有...

回答 1 投票 0

在 pyomo Python 中优化批处理 - 如何为每个批设置恒定的操作功率?

我想在Python中使用pyomo优化工业批处理过程。目标函数是最小化系统成本。在我的简化示例中,我随机指定生产成本...

回答 2 投票 0

RabbitMQ 批量消费消息并一次全部确认

我有一个 RabbitMQ 队列,我在其中发布了数千条消息。我需要一个后台服务来: 批量检索消息,每组消息 100 条 将这 100 条消息存储在数据库中 确认...

回答 1 投票 0

在批处理脚本中更改文件名

我需要在批处理脚本中更改文件名。 下面是我制作的示例 设置日期 = 20210803 设置作业 = 69187 cd "H: rbortray 文件夹\" 对于 (*.txt*) 中的 %%i,执行 REN %%i randum_%job%-text-%date%%...

回答 3 投票 0

Salesforce APEX:运行批次的测试类

我有这个类正在执行 APEX 批处理: 公共类DeleteUtilizationDetailsRunBatch { @AuraEnabled 公共静态无效runBatch(布尔isReport,日期时间开始日期,日期时间

回答 1 投票 0

从 Google Function 内部运行 DocumentAI ocr 作业

我尝试使用Cloud Function(类型2)内的文档ai处理器对pdf文档进行批处理以获取ocr。我收到以下错误: 从 exc 引发异常。from_grpc_error(exc) 谷歌。

回答 1 投票 0

聚合查询不支持queryMore(),使用LIMIT将结果限制为单批次错误

我正在使用如下所示的 SOQL 从 Analysis_set_header__c 组中选择 COUNT(Transaction_Type_Id__c) tt, Id__c by Id__c 该对象总共有 42 条记录。但是我收到如下错误 聚合q...

回答 1 投票 0

spring batch RepositoryItemWriter不将数据写入数据库

@配置 公共类数据源配置{ @豆 @ConfigurationProperties(“spring.datasource”) 公共数据源appDataSource() { DataSourceBuilder 构建器 =

回答 1 投票 0

使用两个数据源的 Spring 批处理

我正在开发一个 Spring Batch 项目,我需要使用两个不同的数据源。我计划使用 RepositoryItemReader 和 RepositoryItemWriter 来读取和写入这些数据库。哈...

回答 1 投票 0

如何在 FIFO SQS 队列中完成批处理?

假设我有一个 FIFO SQS,以及一个消耗来自 FIFO SQS 的一批消息的 lambda。如此处所述,此批次大小的最大限制为 10。我想知道这将如何运作......

回答 2 投票 0

使用 R 中的循环将数百个数据帧导出为 xlsx

我在 R 中创建了数百个数据框,我想将它们导出到本地位置。所有数据框的名称都存储在一个向量中: 名称.vec<-c('df1','df2','df3','df4','df5','df5')...

回答 1 投票 0

通过在正则表达式模式的最后一个字符之前插入引号来批量重命名文件

01 - 情况 假设我有数百个这样的文件: (不关心文件类型) 史蒂文·斯科特 - 史蒂文斯与桑迪共进晚餐.txt 马特·朗 - 马茨第一首歌.txt 马丁朱利安 - 马丁...

回答 2 投票 0

用于工作流程数据迁移的 Spring 批处理

在执行数据迁移时,通常会涉及到需要从多个存储库中提取数据、转换数据然后保存到新存储库的工作流程。解决这个问题的一种方法...

回答 1 投票 0

Boto 3 Redshift 客户端执行语句滞后

我正在尝试将一些数据从 MySQL 复制到 RS。该表有 650,000 行左右,所以我以 10,000 左右的批次进行处理,并且还使用 python 的多处理模块。前几次迭代...

回答 1 投票 0

使用 quarkus-jberet 扩展支持 quarkus 和 Jberet 的水平缩放

我习惯了quarkus作为一个整体并探索quarkus Jberet。我想弄清楚如何使用 quarkus-jberet 扩展运行 quarkus 并在 kubernetes 中扩展应用程序以进行批处理?我知道我可以...

回答 1 投票 0

在pyomo Python中优化批处理 - 如何为每个批设置固定的操作时间?

我想在Python中使用pyomo优化工业批处理过程。目标函数是最小化系统成本。在我的简化示例中,我随机指定生产成本...

回答 1 投票 0

ClassifierCompositeItemProcessor 的项目处理器中未调用之前/之后步骤

这是示例代码块(我删除了我们的东西并只保留了骨架代码) 公共类 ItemProcessor1 实现 ItemProcessor{ 私有 StepExecution 步骤执行; @之前...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.