读取“大”文件(可能是文本或二进制文件)的最有效的通用方法是什么,而不进入unsafe
领域?当我在网上搜索“大块读取大块文件”时,我感到很惊讶。
例如,我的一个用例是使用rust-crypto
计算文件的MD5校验和(Md5
模块允许您迭代地添加&[u8]
块)。
这是我所拥有的,它似乎比read_to_end
等其他方法表现稍好一些:
use std::{
fs::File,
io::{self, BufRead, BufReader},
};
fn main() -> io::Result<()> {
const CAP: usize = 1024 * 128;
let file = File::open("my.file")?;
let mut reader = BufReader::with_capacity(CAP, file);
loop {
let length = {
let buffer = reader.fill_buf()?;
// do stuff with buffer here
buffer.len()
};
if length == 0 {
break;
}
reader.consume(length);
}
Ok(())
}
我不认为你可以编写比这更高效的代码。在fill_buf
上的BufReader
上的File
是basically just a straight call to read(2)
。
也就是说,当你使用它时,BufReader
并不是真正有用的抽象;直接打电话给file.read(&mut buf)
可能不那么尴尬。