writeTo PipedOutputStream 只是挂起

Question

我的目标是：

1. 从 S3 读取文件，
2. 更改其元数据
3. 再次推送到S3

AWS java SDK 不允许推送输出流。因此，我必须将步骤2中的

outputstream

转换为

inputstream

。为此，我决定使用

PipedInputStream

。

但是，我的代码只是挂在

writeTo(out);

步骤中。此代码位于 Grails 应用程序中。当代码挂起时CPU不是处于高消耗状态：

import org.apache.commons.imaging.formats.jpeg.xmp.JpegXmpRewriter;

AmazonS3Client client = nfile.getS3Client() //get S3 client
S3Object object1 = client.getObject(
                  new GetObjectRequest("test-bucket", "myfile.jpg")) //get the object. 

InputStream isNew1 = object1.getObjectContent(); //create input stream
ByteArrayOutputStream os = new ByteArrayOutputStream();
PipedInputStream inpipe = new PipedInputStream();
final PipedOutputStream out = new PipedOutputStream(inpipe);

try {
   String xmpXml = "<x:xmpmeta>" +
    "\n<Lifeshare>" +
    "\n\t<Date>"+"some date"+"</Date>" +
    "\n</Lifeshare>" +
    "\n</x:xmpmeta>";/
   JpegXmpRewriter rewriter = new JpegXmpRewriter();
   rewriter.updateXmpXml(isNew1,os, xmpXml); //This is step2

   try {
new Thread(new Runnable() {
    public void run () {
        try {
            // write the original OutputStream to the PipedOutputStream
            println "starting writeto"
            os.writeTo(out);
            println "ending writeto"
        } catch (IOException e) {
            // logging and exception handling should go here
        }
    }
}).start();

         ObjectMetadata metadata = new ObjectMetadata();
         metadata.setContentLength(1024); //just testing
         client.putObject(new PutObjectRequest("test-bucket", "myfile_copy.jpg", inpipe, metadata));
         os.writeTo(out);

         os.close();
         out.close();
   } catch (IOException e) {
         // logging and exception handling should go here
   }

}
finally {
   isNew1.close()
   os.close()
   out.close()
}

上面的代码只打印

starting writeto

并挂起。它不打印

ending writeto

更新 通过将

writeTo

放入单独的线程中，文件现在被写入 S3，但是，仅写入了 1024 个字节。该文件不完整。如何将输出流中的所有内容写入 S3？

Answer 1

当你执行 os.writeTo(out) 时，它会尝试将整个流刷新到 out，并且由于还没有人从它的另一端（即 inpipe）读取数据，因此内部缓冲区已满并且线程停止。

您必须在写入数据之前设置读取器，并确保它在单独的线程中执行（请参阅 PipedOutputStream 上的 javadoc）。

Answer 2

根据 Bharal 的要求，由于上述评论，我刚刚自己解决了这个问题。因此添加该示例代码。希望它可以帮助别人！

public void doSomething() throws IOException {
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    baos.write("some bytes to stick in the stream".getBytes());

    InputStream inStr = toInputStream(baos);
}

public InputStream toInputStream(ByteArrayOutputStream orgOutStream) throws IOException{
    PipedInputStream in = new PipedInputStream();
    PipedOutputStream out = new PipedOutputStream();

    try{
        new Thread(((Runnable)() -> {
            try{
                orgOutStream.writeTo(out);
                out.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        })).start();
    } finally{
        orgOutStream.close();
    }
    return in;
}

真正的技巧是确保管道调用在单独的线程中完成。

Answer 3

当有人尝试从 inputStream 读取数据之前开始写入 outputStream 时，就会发生这种情况。默认管道大小为 1024b，因此 1020b 被写入 outputStream，但没有人开始从 inputStream 读取 - 这就是写入停止的原因。我也有类似的情况，无法早点开始阅读。所以我将管道大小（在构造函数中）增加到 100*1024。我的文件重量较轻，所以对我来说没问题。