large-files 相关问题

即使对于有经验的程序员来说,大文件(无论是二进制文件还是文本文件)有时也会出现问如果出现与在文本编辑器中打开和/或写入大文件,管理运行到千兆字节的资源或大量数据的战略决策相关的问题,则应使用此标记。

制作指向已分配内存的C ++向量

我正在使用一些较旧的代码,该代码会分配一 块RAM,然后将一个二进制文件加载到其中。二进制文件是X尺寸为X的一系列8位灰度图像平面,Z深度为Z平面。文件是...

回答 1 投票 2

损坏的文件或空白文件正在通过Web应用通过电子邮件获取-Google脚本

问题下面的google脚本运行正常,但通过电子邮件上载时通过电子邮件发送的文件已损坏或为空白。附加的文件名,内容类型与上载相同...但是得到...

回答 1 投票 0

无法使用html 标签 显示电影

我正在尝试使用HTML的 标签来显示电影。我想我做对了所有事情,但视频没有播放。

回答 1 投票 -1

加载大型Json文件的替代方法

我正在尝试将大的json文件(大约4G)作为pandas数据帧加载,但是以下方法不适用于文件> 2G左右。有其他替代方法吗? data_dir ='data.json'my_data ...

回答 1 投票 2

过滤大文件将返回一个空的新文件

我是python的新手,如果这个问题太基础了,请原谅我。我一直在尝试使用另一个文件(大约100,000行)中的模式来过滤大文件(> 85,000,000行)中的行。我想阅读...

回答 2 投票 0

使用python过滤大文件,返回空的新文件

我是python的新手,如果这个问题太基础了,请原谅我。我一直在尝试使用另一个文件(大约100,000行)中的模式来过滤大文件(> 85,000,000行)中的行。我想阅读...

回答 2 投票 0

在具有写行的python错误中合并具有不同列的多个csv文件

我有大量的csv文件/数据框,它们太大而无法一起存储在内存中。但是,我注意到这些数据框之间的列大小不同。我的专栏是...

回答 1 投票 0

反序列化非常大的图像文件

我正在从WebAPI接收图像集,作为包含每个字节数组的ImageData对象的列表。公共类ImageData {public byte [] data; }当我有很多小尺寸时...

回答 1 投票 0

运行超过500K行的最佳方式?

我有一个包含一堆行的文件,其中包含来自不同配置的某些部件号的数据。这些零件号中的一些在整个文件中重复,在那些重复的零件中...

回答 2 投票 0

如何将极大的json流文件解析为有效的JSON

我正在进行CS课程项目,在其中我必须在Ubuntu VM上对Twitter数据进行情感分析。我能够构建一个搜寻器来获取数据,但是输出的格式为...

回答 1 投票 0

将大xml分割成小块

我们要处理大约6 GB的大型xml文件。在这里,我们将大型xml读取到数据帧中,然后将其导出到csv文件,我们使用带有iterparse的lxml逐行读取xml并将其加载...

回答 1 投票 0

使用Java NIO读取和写入大文件(> 1Gb)吗?

我正在尝试在每个事务中将通常大于1 Gb的大文件读写到另一个存储位置。在性能和低内存方面最有效的是什么(防止...

回答 1 投票 0

在C#中对osm-File(osm.pbf)的处理和过滤时间太长

场景:我想编写自己的地址自动完成API,就像一个Google提供的那样。 (非常基本:街道,门牌号,城市,邮政编码,国家/地区)。它仅供私人使用,...

回答 1 投票 2

使用Apache Camel,如何在已经很大的文件中添加一些行?

我实际上有一个3个步骤:将一个csv重新格式化为另一种格式(使用split&aggregator),手动添加一些行作为页眉和页脚zip并发送到ftp,所有这些都可以正常工作...

回答 1 投票 0

如何有效地将CMS中的大文件广播到LAN中的n个客户端

我在LAN(WiFi)和Internet上的CMS中有一个主设备和n个从设备。我需要能够通过在主服务器上选择从CMS向所有从服务器上推送/下载一个千兆字节的视频文件。 ...

回答 1 投票 0


在Python中逐行读取大文件-内存管理和性能

我正在尝试找出在Python中逐行读取大文本文件(> 5GB)的最佳方法。每行也将被顺序处理(例如,将字符串切成薄片并将其推入某个函数)。 ...

回答 1 投票 0

压缩和导航大型压缩目录的策略

我管理计算机集群。它是一个多用户系统。我有一个装满文件的大目录(文件大小为TB)。我想压缩它,以便拥有它的用户可以节省空间,而且仍然......>

回答 1 投票 0

旧版代码不适用于新的大型CSV文件

我有熊猫的遗留代码编写。现在,新数据变得非常大(采用CSV格式),并且很难用新文件read_csv(文件大小约为7.8GB,将来还会更大)。 ...

回答 1 投票 0

在php中读取大约40-50MB的大型PDF文件

我被困在一个项目中,在该项目中,我必须从PDF文件中读取文本并搜索一些特定术语。我使用了pdfparser,但是它在某些pdf版本上失败了,它也无法处理大型PDF文件,并且无法给出...

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.