hpc 相关问题

高性能计算(HPC)是指使用超级计算机和计算机集群来解决各种计算密集型问题。

在多个节点上运行 python 脚本的 Slurm 参数

我正在尝试在集群上并行运行 python 脚本,但我发现 slurm 非常混乱。 我可以访问不允许我在单个节点上运行脚本的 HPC 集群,我必须重新...

回答 0 投票 0

bwa 索引文件定位失败

我目前在使用bwa mem时遇到了一些麻烦。 我已经为我的参考文件编制了索引,甚至通过 samtools 创建了一个 fai 索引。 所有需要的文件都在同一个目录中。但是...

回答 0 投票 0

Microsoft HPC Pack API:以编程方式设置“首选节点”

您可以通过 UI 执行此操作: 如何通过 HPC API 执行此操作?我在 ISchedulerJob 上找不到任何适用的属性。 谢谢

回答 0 投票 0

Segmentation fault (11) Error while running a CFD solver in Linux cluster

我正在为许多设计点运行 CFD 求解器(CFD++ by metacomp technologies)。每个设计点都有一个单独的文件夹,其中包含所有需要的文件并用于在 Linux 中提交一个模拟

回答 0 投票 0

有没有人在HPC上用SBATCH设置成功地在bash中使用shopt -s extglob(扩展glob)?

总结一下:我使用的是bash shell,版本:4.2.46(2)。4.2.46(2)-release,我想提交一个批处理作业脚本到slurm作业调度器,在脚本中我使用了扩展的globbing,是用shopt打开的...。

回答 1 投票 0

Chapel中的回调功能

我有以下Chapel代码。 proc update(x: int(32)) { return 2*x; } proc dynamics(x: int(32)) { return update(x); } writeln(dynamics(7)); 我想发送一些回调到 ...

回答 1 投票 1

相当于Octave在Chapel的 "meshgrid"。

Octave提供了一个名为meshgrid的实用函数,可以生成点域。这在大规模模拟中对评估某些点的函数非常有用。通过Chapels Domain功能,...

回答 1 投票 0

对fastutil基元ArrayLists(如IntArrayList)进行迭代的最佳实践?

从Java中的fastutil库中读取迭代IntArrayList最好的是什么? fastutil是一个用于提高性能的库,高于标准库的集合... ...

回答 1 投票 0

在不同架构的集群上应该指定哪些AVX和march?

我目前正在尝试使用英特尔编译器编译软件,以便在HPC集群上使用。登录节点,也就是我编译和准备计算的地方,使用的是Intel Xeon Gold 6148处理器, ...。

回答 1 投票 0

如何在HPC上访问和查询mongodb?

我想使用pymongo对MongoDB数据库进行并行查询。我使用的是一个HPC系统,它使用Slurm作为工作负载管理器。我的设置在单个节点上运行良好,但...

回答 1 投票 1

如何在slurm id的同一个节点上运行一个多输入的python代码?

我想运行一个python程序10次,并将不同的输出文件保存为output_1、output_2、output_3......等等。它可以使用1个处理器和10个线程来运行。我可以使用96个CPU,在一个 ...

回答 1 投票 0

为了快速读写性能,HDF5推荐使用什么压缩方式(在Pythonpandas中)?

我曾多次读到,在HDF5中开启压缩功能可以提高读写性能。我想知道,在:data_df......的理想设置下,可以实现良好的读写性能。

回答 1 投票 11

我如何分析在Windows(AMD Ryzen处理器)上运行的C ++代码?

我有一个在Windows10(AMD Ryzon处理器)上运行的C ++应用程序,我正在对其进行基准测试和优化。谁能在AMD Ryzen下推荐性能分析工具...

回答 1 投票 0

使用Slurm Scheduler在多个节点上运行MPI作业

我正在尝试运行具有特定任务/节点配置的MPI应用程序。我总共需要运行8个MPI任务,其中4个在一个节点上,另外4个在另一个节点上。这是我正在使用的脚本文件:#!/ ...

回答 1 投票 0

教堂中分散的子阵列的有效收集和转移

最近,我遇到了教堂。我喜欢这些教程中提供的示例,但在我看来,其中许多令人尴尬地平行。我正在研究多体量子物理中的散射问题...

回答 1 投票 2

我如何同时在多个目录中执行SLURM脚本?

我想同时从多个目录中执行SLURM脚本。更具体地说,我有十个数组文件夹,编号为array_1到array_10,我要从中执行脚本。 ...

回答 1 投票 0

分析分布式系统

我想知道跟踪分布式系统中性能瓶颈的可能方法。我知道诸如X-Trace及其后代之类的工具(例如Dapper),但我对...

回答 2 投票 5

我应该更改原始的Python / Tensorflow代码以使其在HPC上更快地运行吗?

如果这个问题太基础,请原谅。我既不熟悉并行化的概念,也从未使用过HPC系统。我正在训练一个深度学习模型,这在我的PC上花费了很长时间。 ...

回答 2 投票 0

dask-ssh在hpc上失败:没有可用的身份验证方法

[当我尝试运行命令:dask-ssh sn010 sn179时,我得到以下信息:Dask.distributed v2.12.0 Worker节点:0:sn010 1:sn179调度程序节点:sn010:8786 [dask-ssh]:SSH ...

回答 1 投票 0

如何使用Slurm C API获取内存使用信息?

我正在寻找使用C API从Slurm获取每个作业的内存使用情况信息的方法,即使用的内存和保留的内存。我以为我可以通过调用slurm_load_jobs(...)获得此类统计信息,但是...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.