memory-efficient 相关问题

将此标记用于与内存高效代码/应用程序/等相关的问题。 。

如何在Python中并行处理大量文件,同时保持顺序并优化内存使用?

我正在开发一个 Python 项目,我需要并行处理一个非常大的文件(例如,多 GB 的 CSV 或日志文件)以加快处理速度。但是,我有三个具体要求

回答 1 投票 0

如何有效地反序列化压缩的对象列表,添加到其中,然后再次压缩而不使用太多内存

我继承了一些执行以下步骤的代码: 从压缩数据的字节数组开始,流式传输并解压缩它 将其反序列化为对象列表 添加到列表 序列化...

回答 1 投票 0

Python 代码的优化,包括从大文件中读取,然后用分隔符分割,然后使用保留格式加密每个字符串

我正在做一个项目,当我进行格式保留加密(包括三种类型的字母、字母数字和数字)时,为了实现这一点,我编写了几种方法,然后我编写了一个...

回答 1 投票 0

NumPy 广播数组会在二进制运算期间创建吗?

我有两个具有不同形状的 numpy.ndarray 实例。如果我添加这两个数组,它们之间将发生广播: 将 numpy 导入为 np x = np.array([1, 2, 3]) y = np.array([[2, 3, 5], ...

回答 1 投票 0

多处理池:返回最小元素

我想使用 multiprocessing.Pool 运行一个任务并仅返回最小元素,而不占用内存来存储每个输出。 到目前为止我的代码: 以 Pool() 作为池: 程序 = pool.map(任务,

回答 1 投票 0

使用条件/过滤器和列类型分配将 CSV 读取到元组列表的最快方法? (Python)

我需要将 CSV 读入元组列表,同时根据值 (>=0.75) 调节列表并将列更改为不同的类型。 请注意,你不能!!使用熊猫,不使用熊猫 我正在努力...

回答 1 投票 0

如何高效计算两个二维数组对应列之间的皮尔逊相关性?

我有两个大型 2D numpy 数组 A 和 B (每个数组的维度为 (18000,18000))。我想计算两个数组的相应列之间的皮尔逊相关性(即天真地计算

回答 1 投票 0

R:部分修改矩阵对角线的有效方法

我有一个方阵,尺寸范围从 100x100 到 10,000x10,000。该矩阵表示函数的参数值。我经历了一个循环,尝试各种参数组合......

回答 1 投票 0

在计数排序算法中使用额外数组并计算较小元素的原因

在确定输入数组中每个元素的频率后,仅利用计数数组(C)来简化计数排序算法是否可行?而不是创建一个

回答 1 投票 0

计算复杂numpy ndarray的abs()**2的最节省内存的方法

我正在寻找最节省内存的方法来计算复杂的 numpy ndarray 的绝对平方值 arr = np.empty((250000, 150), dtype='complex128') # 常用大小 我还没找到你...

回答 5 投票 0

如何让我的代码更高效(Python 中的 IMEI 验证器)

有人可以评价这段代码的效率吗? 它应该模仿电话号码的 IMEI 验证器,只是作为一个有趣的项目。 如果您不知道它应该包含什么...

回答 2 投票 0

迭代 df 行的有效方法

我正在尝试为数据框中的日期字段生成该月的最后一天: 所以有字段开始日期,我想添加 5 列,例如 nep_0,nep_1,nep_2,nep_3,nep_4 所以对于 nep_0 逻辑是...

回答 1 投票 0

如何生成包含每个元素至少一次的 k 个元素(带替换)的所有长度 n 个组合?

我有一个包含 7 个元素的列表,我将用这些元素填充另一个长度为 50 的列表。我想生成一个数据框,其中每一行代表选择这 7 个元素的一种可能方式...

回答 1 投票 0

给定两个数组A和B,如何有效地组合它们,使得输出是一个数组,其中每个元素都是一个元组(Aij,Bij)?)

考虑两个数组 A 和 B,维度均为 NxN。 我希望生成一个新数组 NxN ,以便每个新元素都是类型 (A_ij,B_ij) 的元组(或列表,并不重要)。 我可以做到

回答 3 投票 0

Python 数组:给定两个数组 A 和 B,如何有效地组合它们,使得输出是一个数组,其中每个元素都是一个元组 (Aij,Bij)?)

考虑两个数组 A 和 B,维度均为 NxN。 我希望生成一个新数组 NxN ,以便每个新元素都是类型 (A_ij,B_ij) 的元组(或列表,并不重要)。 我可以做到

回答 1 投票 0

如何在 Fortran 上提高代码效率?我解决了一个练习,但我对自己的答案不满意

为了一份工作,我正在自学 Fortran,我对此很陌生。我尝试了以下练习并得到了正确答案。然而我相信一定有更多处理有效的方法来解决这个问题......

回答 1 投票 0

高效枚举具有常数和的多项式 - R

假设我有一个 N 面骰子,每一面的概率不均匀,我将其扔了 M 次。现在我们不再观察个体结果,而是只观察总和。 我必须编码

回答 1 投票 0

在Python中读取较大文件的最有效方法是什么?

我必须写一些东西来打开包含 1000 个非空单词的“signals.txt”文件,每 40 个单词取第 10 个字母,并将这些字母写入文件“结果”(字母正在制作

回答 1 投票 0

修改长字符串时内存不足

我通过 JSON 接收包含任意数量 PDF 文件的文件。我必须拆分文件并删除反斜杠字符才能将它们转换为 PDF 文件。这与捆绑的...

回答 1 投票 0

随机计算效率

假设为了完成某项任务n次,计算机使用了相对低效的算法。进一步假设相反,计算机开始在不同的算法中随机选择......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.