Dask是一个灵活的并行计算库，用于分析计算。它支持针对计算和大数据集合优化的动态任务调度。
npartitions 在 Dask 数据框中的作用是什么？
我在很多函数中看到参数npartitions，但我不明白它有什么用/有什么用。 http://dask.pydata.org/en/latest/dataframe-api.html#dask.dataframe.read_csv 头（...） 埃莱梅...
Dask 如何管理文件描述符？ 例如，从 hdf5 文件创建 dask.array 时。当数组大到足以进行分块时。 创建的任务是否继承创建的文件描述符...
我尝试使用dask来代替pandas，但我不知道该怎么做，有人可以帮忙吗？ 这是代码： 新文件名=“测试.xlsx” 列 = ['A', 'B', 'C', 'D'] 数据 = pd.read_...
读取文件csv并与多个worker、dask.distributed、dask.dataframe进行聚合
我有服务器 IP：192.168.33.10 启动 schudeler dask 调度程序 --host 0.0.0.0 这是该服务器中的主机，我有文件“/var/shared/job_skills.csv”，工作人员是 192.168.33.11，...
运行分布在数十个节点的 Dask，我发现如果在发送到 Dask 之前使用 zlib 压缩数据，计算往返时间从大约 10 秒减少到 5 秒。通过压缩，数据...
我正在使用 Dask Bag 在特殊集群上运行一些简单的映射缩减计算： 导入 dask.bag 作为包 summed_image = bag.from_sequence(my_ids).map(gen_image_from_ids).reduction(sum, sum).comp...
将字符串转换为字典，然后访问键：值？？？如何在 Python 中访问 <class 'dict'> 中的数据？
我在访问字典中的数据时遇到问题。 系统：Macbook 2012 Python：Python 3.5.1 :: Continuum Analytics, Inc. 我正在使用从 csv 创建的 dask.dataframe。 编辑曲...
以一列方式清除约 100GB csv 重复项的最快速、最有效的方法
我有大约 100GB 的 csv 文件，其中包含以下列： 性别；姓名；出生日期；哈希值 该文件是在对另一个 .csv 文件进行一些处理后创建的。而且它可以包含元组，这就是为什么有这个哈希列....
我已经使用 GKE 设置了一个 kubernetes 集群并安装了 dask-kubernetes-operator。 当我尝试像这样启动集群时 集群：KubeCluster = KubeCluster(custom_cluster_spec="集群....
为什么dask显示的大小比数据（numpy数组）的实际大小小？
Dask 显示的大小比 numpy 数组的实际大小稍小。下面是一个大小正好为 32 Mb 的 numpy 数组的示例： 将 dask 导入为 da 导入 dask.array 将 numpy 导入为 np 形状 = (1...
我来这里是因为我不明白我的问题。 我创建了一个 dockerfile + compose，它创建了 1 个 dask 调度程序和 2 个工作线程： docker-compose.yaml： 版本：'3.8' 服务： dask 调度程序...
如何使用普通 python（不是 ipython）查看或保存 <IPython.core.display.Image object>？
在学习dask的过程中，我尝试使用“visualize”方法/函数生成程序图可视化。但是，我不使用笔记本电脑。据我所知，我...
Xarray/Dask：map_block 计算 - 变量大小不一致
Python 代码的可行示例： 将 numpy 导入为 np 将 xarray 导入为 xr 从 scipy.optimize 导入 curve_fit 将 pandas 导入为 pd 将 xesmf 导入为 xe 从 dask.distributed 导入客户端 定义
使用dask数组时xarray.open_mfdataset(parallel=True)和xarray.concat有什么区别？
我正在使用Python处理经典的数据处理工作流程，即加载大量文件，预处理它们，连接它们并应用一些缩减。 目前，我正在使用...
AttributeError：导入 Dask 时模块“pandas.core.strings”没有属性“StringMethods”
即使 import dask 有效，我在尝试导入 dask.dataframe 接口时收到问题标题中所述的错误。 我当前的 dask 版本是 2022.7.0。可能是什么问题？
我正在使用 dask 和 zarr 来操作一些非常大的图像。 我设置了一个管道，可以对这些图像执行一些转换，然后我想测量图像的属性......
我正在使用 SLURM 集群，并且希望能够在我的任务中添加自定义日志，这些日志在检查特定工作人员时应显示在仪表板上的日志中。 或者我会...
Dask DataFrame - 根据分隔符将多个字符串列同时拆分为多行
我有一个大型 Dask DataFrame，看起来像这样： 铬 销售点 ID 参考文献 丙氨酸转氨酶 结果 Ensebl_geneid Ensembl_蛋白质ID Ensebl_transcriptid ETC 1 10000 1-10000-A-C A C 康11,康12,康13 ...
经过一番搜索，我未能找到 fastparquet 和 pyarrow 的彻底比较。 我找到了这篇博文（速度的基本比较）。 以及一个 github 讨论，声称文件创建...
我有多个 .csv.gz 文件，我正在尝试将其读入 dask 数据帧，我能够使用以下代码实现此目的： file_paths = glob.glob(file_pattern) @延迟 def read_csv(文件路径):