large-files 相关问题

即使对于有经验的程序员来说,大文件(无论是二进制文件还是文本文件)有时也会出现问如果出现与在文本编辑器中打开和/或写入大文件,管理运行到千兆字节的资源或大量数据的战略决策相关的问题,则应使用此标记。

如何优化 Python 脚本以高效处理大型 CSV 文件?

我正在开发一个涉及处理大型 CSV 文件(大小为 2-5 GB)的 Python 项目。该脚本读取 CSV 文件,执行数据转换,并将输出写入新文件。然而...

回答 1 投票 0

如何处理大图片?

我需要处理(导出小节)大图像(33600x19200),但我不知道如何开始。 我尝试使用 openframeworks 简单地分配图像,但出现此错误: 终止调用

回答 3 投票 0

编辑大文件的第一行和最后一行

我想编辑一个非常大的文件(~500GB)中的第一行和最后一行。怎样才能这样做呢?例如,在第一行我有: -标志 我想省略“-flag”。我试过了

回答 5 投票 0

R 中基于多个条件对行进行排序

我正在处理包含超过 130 万个鱼类检测点的大型数据集。我正在尝试根据位置和时间戳数据计算距离和游泳速度。然而,我注意到跑了...

回答 1 投票 0

迭代大文件的不同起始索引

首先我想说我已经很多很多年没有编程了,如果这是一个有点微不足道的问题,我很抱歉。过去几年我的兴趣一直是数学 这是我的代码:

回答 1 投票 0

当操作取决于行时,迭代 pandas 数据帧并对列执行操作的最快方法

我有一张桌子,布局有点像这样: t 线数 许多其他专栏 1234567 0 ... 1234568 0 ... 1234569 0 ... 1234570 1 ... 1234571 1 ... 除了它非常非常大。就像,t...

回答 1 投票 0

从 S3 存储桶读取大型 XML 文件并使用 XSD 进行验证

我正在创建一个 Lambda 来根据 XSD 验证 XML 消息。我的所有 python 代码都在 AWS 上正常工作,但是由于文件可能非常大(大约 2GB),我需要找到一种方法......

回答 1 投票 0

将 SpringBoot API 中生成的大型 CSV 文件流式传输到浏览器,抛出损坏的管道异常

我正在开发一个端点,该端点查询数据源并生成一个大型 CSV 文件并将其流式传输到浏览器。 当流通过流发送 ~2Gb 时遇到问题,此错误是

回答 1 投票 0

Minizip 无法压缩大小 > 4 GB 的文件

我的程序使用minizip(zlib-版本1.2.3)来压缩xml文件。当xml文件大小大于4GB时(实际上 int 32 - 4294967295 的最大值)然后我发现当我尝试额外...

回答 1 投票 0

美丽的汤和大html

我试图抓取一些像这样的大型维基百科页面。 不幸的是,BeautifulSoup 无法处理如此大的内容,并且它会截断页面。

回答 2 投票 0

迭代多个列表的最快方法

我正在尝试获取 2 个巨大的文本文件,将它们的数据合并到一个文本文件中。 一个文本文件包含 200 000 - 500 000 行 [node_id、x、y、z、温度],另一个包含 203 000 行文件...

回答 1 投票 0

VBA 读取大型 utf8 csv 的第一行

我尝试使用 ADODB 只读取大型 utf8 文件的第一行。 出于我的目的,我只需要 csv 中第一行的值(具有表格的标题) 公共子流() 福...

回答 1 投票 0

如何以良好的性能和内存使用平衡来解析多个大型 XML 文件?

我正在实现一个程序,该程序应该从 Angular 中的用户那里获取文件,将它们发送到 node.js 后端,在那里这些文件将被读取并解析为对象数组。 我用的是 javascript

回答 1 投票 0

HTML5 - 如何流式传输大型 .mp4 文件?

我正在尝试设置一个非常基本的 html5 页面来加载 20MB 的 .mp4 视频。 看来浏览器需要下载整个内容,而不是只播放视频的第一部分......

回答 3 投票 0

如何将大型 .zip 文件从 Azure Blob 存储直接流式传输到浏览器?

要求 支持用户通过 .NET Core 端点或通过 Azure 的 SAS URL 批量下载存储在 Azure Blob 存储上的文件 规格 内容类型? - 应用程序/zip 怎么...

回答 1 投票 0

Git推送-选择:内存不足

对于游戏开发项目,我们有一个包含大型二进制文件的 git 存储库。总结帐大小在 10-70MB 到 ~700MB 之间变化。 我正在使用以下软件: Windows 7 64 位 吉特...

回答 2 投票 0

使用Python读取大文本文件并写入另一个文件

我正在尝试转换一个大文本文件(大小超过 5 GB),但我从这篇文章中得到了一个,我设法将文本文件的编码格式转换为可读的格式: 路径='p...

回答 1 投票 0

如何在 Vim 中处理大文件?

我尝试在 Vim 中打开一个巨大的(~2 GB)文件,但它被卡住了。我实际上不需要编辑文件,只需高效地跳转即可。 我如何在 Vim 中处理非常大的文件?

回答 10 投票 0

如何通过pandas过滤巨大的csv文件

我有一个巨大的csv文件,大小为10GB数据/历史记录_{待搜索的日期}.csv,该文件有超过27000个邮政编码。根据邮政编码,我必须过滤 csv 文件,然后每个过滤后的文件我...

回答 1 投票 0

从 git 存储库/历史记录中删除文件夹

我不小心将大文件夹提交/推送到了 github,并且无法进一步推送。当尝试提交和推送时,我收到以下消息。 “批量响应:此存储库已结束

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.