parallel-processing 相关问题

与并发处理形成鲜明对比的是,并行处理保证以并行方式执行所有线程级和/或指令级任务,并保证同时执行的代码路径的完成。

有人可以解释一下 Spark 应用程序是如何在本地模式下执行的吗?

我正在努力将机器集群上的 Spark 框架知识调整为本地模式。 我的问题是: a) SparkContext 连接到集群,然后如果 master="local[*]"...

回答 1 投票 0

如何正确等待多个 I/O 任务并进行单独的异常处理?

我需要从同步方法(不能是异步!)并行发送多个 HTTP 调用(httpclient.SendAsync()),然后等待所有调用。另一个要求是:我必须单独处理

回答 1 投票 0

同时加载和处理数据 - Python

我有大量数据需要处理,并且存在一些 IO 限制。最终,读取和写入数据所花费的总时间与处理数据所花费的总时间大致相同。然而,虽然我...

回答 1 投票 0

计算 350 万个 ID 组合中同时出现的实体的最大数量的函数?

我得到了这个: x| y 1 | a、b、c、d、e 2 | a、b、c、d 3 |甲、丙、丁 ... 我想要这个: 1,2 | 4(甲、乙、丙、丁) 1,3 | 3(a、c、d) 2,3 | 3(a、c、d) 我有 3*10^6 这样的行(300 万条记录) 你可能是 -...

回答 1 投票 0

OpenMPI 1.4.3 与 Intel MPI 效率问题

我注意到完全相同的代码在 OpenMPI 上运行的时间比 Intel 多 50%。我使用以下语法来编译和运行: 英特尔 MPI 编译器:Redhat Fedora Core 版本 3(海德堡),Ke...

回答 1 投票 0

GOMAXPROCS 未按预期设置处理器数量

我只是做一些测试,看看我是否可以在出于某些科学目的调用 Fortran 函数时运行 Go。我想比较在一个核心上运行的 goroutine 与在所有 22 个核心上运行的 goroutine 的功能...

回答 1 投票 0

PyPolars:加速应用功能查找共同元素

我试图在引用单元格的列表列中查找公共元素。我可以用一个小数据集来完成它,但我面临两个问题。即使是 25 行,速度也慢得要命

回答 1 投票 0

使用#pragma omp paralle for

我正在使用 C++ 和 OMP 库练习 2 个线程的暴力破解: #包括 #包括 #包括 #包括 #包括 我正在使用 C++ 和 OMP 库练习 2 个线程的暴力破解: #include <iomanip> #include <sstream> #include <openssl/md5.h> #include <cstring> #include <iostream> #include <omp.h> #define NUM_THREADS 2 int main() { unsigned char digest[MD5_DIGEST_LENGTH]; std::cout << "Enter hash: "; std::string target; std::cin >> target; char password[11] = "0000000000"; bool flag = true; std::ostringstream password_stream; std::ostringstream hex_hash; while (flag) { #pragma omp parallel for num_threads(NUM_THREADS) for (unsigned long long i = 0; i <= 9999999999ULL; ++i) { password_stream << std::setfill('0') << std::setw(10) << i; std::string password_str = password_stream.str(); MD5(reinterpret_cast<const unsigned char*>(password_str.c_str()), password_str.length(), digest); for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) { #pragma omp critical hex_hash << std::hex << std::setw(2) << std::setfill('0') << (int)digest[i]; } std::string hex_hash_str = hex_hash.str(); //std::cout << omp_get_thread_num() << std::endl; if (hex_hash_str == target) { #pragma omp critical std::cout << "Orginal password: " << password_str << std::endl; flag = false; } if (i % 100000 == 0) { std::cout << "Wrong: " << password_str << " " << hex_hash_str << " Trying again..." << std::endl; } } } return 0; } 但是他们要么试图写入一个流,要么我得到了错误的十六进制数字哈希计算,或者是分段错误或总线错误。 我正在尝试使用 #pragma omp critical 以避免线程写入一个流。另外,我尝试在 #pragma omp parallel for 之前将带有密码和十六进制哈希的变量放入全局变量中。所有这些都会导致哈希计算错误或分段错误。 密码由10位数字组成 我认为有几个问题: password_stream 和 hex_hash 不是线程安全的 std::ostringstream 不是线程安全的 变量 flag 和 password_stream 由所有线程共享。 password_stream、hex_hash和digest未本地化到线程 没有测试自己,但试试这个: while (flag) { #pragma omp parallel for num_threads(NUM_THREADS) for (unsigned long long i = 0; i <= 9999999999ULL; ++i) { std::ostringstream password_stream; // moved inside the loop password_stream << std::setfill('0') << std::setw(10) << i; std::string password_str = password_stream.str(); unsigned char local_digest[MD5_DIGEST_LENGTH]; // changed to local MD5(reinterpret_cast<const unsigned char*>(password_str.c_str()), password_str.length(), local_digest); std::ostringstream hex_hash; // moved inside the loop for (int j = 0; j < MD5_DIGEST_LENGTH; ++j) { hex_hash << std::hex << std::setw(2) << std::setfill('0') << (int)local_digest[j]; } std::string hex_hash_str = hex_hash.str(); if (hex_hash_str == target) { #pragma omp critical { std::cout << "Original password: " << password_str << std::endl; flag = false; } } if (i % 100000 == 0) { #pragma omp critical { std::cout << "Wrong: " << password_str << " " << hex_hash_str << " Trying again..." << std::endl; } } #pragma omp flush(flag) // improved if (!flag) break; } }

回答 1 投票 0

如何将多个插补的并行处理结果合并到单个 mids 对象中?

我一直在尝试使用 mouseadds 并行进行多重插补(我使用 2l.pmm 方法,该方法在小鼠中不可用)。这是并行处理的代码: 库(foreach) 库...

回答 1 投票 0

如何在Python joblib中写入共享变量

以下代码并行化了一个for循环。 将网络x导入为nx; 将 numpy 导入为 np; from joblib import 并行,延迟; 导入多重处理; def core_func(repeat_index, G, numpy_arrary_2D...

回答 3 投票 0

是否有并行洪水填充实现?

我有 openMP 和 MPI 可供使用,并且想知道是否有人遇到过任何洪水填充算法的并行版本(最好是在 c 中)。如果没有,我会对如何...的草图感兴趣

回答 1 投票 0

如何加快使用 Polars/pandas 在 Python 中的数据帧列表上应用数据清理和转换的计算时间?

如何在 python 中以非常快的计算时间迭代大量的 Polars/Pandas 数据帧,同时对每个数据帧执行数据清理/转换? 我的问题...

回答 2 投票 0

memcached能否充分利用多核?

memcached能够充分利用多核吗?或者有什么办法可以调整吗?

回答 4 投票 0

Oracle 中的并行提示

我正在对拥有数百万条记录的表进行许多更新,我尝试使用并行提示,但它不起作用,有时比没有并行提示更糟糕, 合并 /*+

回答 1 投票 0

如果没有昂贵的英特尔编译器,英特尔至强融核是否可以使用?

要用作并行平台,英特尔至强融核协处理器是否需要英特尔 Composer XE 编译器的许可证,或者是否有替代编译器?

回答 2 投票 0

使用并行的 Minimax 树实现 Tic tac toe

我正在尝试找到使用Minimax树并行实现Tic tac toe游戏的源代码,无论是在Java中使用Fork/Join还是在C/C++中使用pthread。我可以找到很多连续版本...

回答 2 投票 0

并行框架并避免错误共享

最近,我回答了一个关于优化可能的可并行方法来生成任意基数的每个排列的问题。我发布了一个类似于并行化的答案,可怜的

回答 2 投票 0

使用 Unity 的作业系统创建和初始化作业非常慢

为什么Unity作业系统中作业结构的初始化需要这么长时间?使用下面的代码,每次更新我需要大约 2 毫秒来声明和初始化 20 个 TestJob 结构。可能看起来不像...

回答 1 投票 0

并行改变动态大小的向量

我正在尝试并行改变动态大小(即在某些条件下,推送新值,并在每次迭代中调用 pop())Vec。 我在这项工作中做错了什么吗...

回答 1 投票 0

使用TaskGroup时如何处理任务完成后的情况?

我理解使用较新的 TaskGroup 代替基于 create_task() 的旧机制的论点。 但是,TaskGroup 在所有任务完成后退出。 如果您想开始处理怎么办...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.