我有一个python脚本,可以使用joblib并行运行程序,并且效果很好(本地计算机上100%的CPU消耗)。
最近,我已经将python脚本天蓝色地迁移到了数据科学虚拟机(DSVM),但是发现多处理逻辑不起作用(cpu消耗平均保持在5%的较低水平)。
有人知道azure VM是否支持并行化吗?如果是,我应该使用什么python包?当前使用“ joblib”。
如果没有,您可以建议在Azure虚拟机上进行并行化的任何替代方法?
谢谢您,保持健康!
关于,开尔文
您的本地计算机操作系统是什么(Windows,Linux,发行版,版本)?测试是在真实硬件还是虚拟环境中运行?什么虚拟化技术(Hyper-V,vmware等)?Azure提供的虚拟化应该与真正的硬件相匹配,因此我首先要看一下操作系统和与并行化有关的依赖关系,即进程或线程库等。我不是Python专家,但是认为应该有一种方法可以识别什么阻止了一个进程或线程来启动另一个瓶颈。知道这一点将引导正确的方向解决此问题。塞萨尔