如何从SQL Server读取大文件？

Question

我试图从SQL Server读取文件（650兆字节）：

using (var reader = command.ExecuteReader(CommandBehavior.SequentialAccess))
{
   if (reader.Read())
   {
       using (var dbStream = reader.GetStream(0))
       {
          if (!reader.IsDBNull(0))
          {
              stream.Position = 0;
              dbStream.CopyTo(stream, 256);
           }

           dbStream.Close();
         }
       }

       reader.Close();
    }

但是我在OutOfMemoryException上获得了CopyTo()。

使用小文件，此代码段工作正常。我该如何处理大文件？

Answer 1

您可以以小块的形式读取和写入某些临时文件的数据。你可以在MSDN - Retrieving Binary Data上看到例子。

// Writes the BLOB to a file (*.bmp).  
FileStream stream;                            
// Streams the BLOB to the FileStream object.  
BinaryWriter writer;                          

// Size of the BLOB buffer.  
int bufferSize = 100;                     
// The BLOB byte[] buffer to be filled by GetBytes.  
byte[] outByte = new byte[bufferSize];    
// The bytes returned from GetBytes.  
long retval;                              
// The starting position in the BLOB output.  
long startIndex = 0;                      

// Open the connection and read data into the DataReader.  
connection.Open();  
SqlDataReader reader = command.ExecuteReader(CommandBehavior.SequentialAccess);  

while (reader.Read())  
{  

  // Create a file to hold the output.  
  stream = new FileStream(  
    "some-physical-file-name-to-dump-data.bmp", FileMode.OpenOrCreate, FileAccess.Write);  
  writer = new BinaryWriter(stream);  

  // Reset the starting byte for the new BLOB.  
  startIndex = 0;  

  // Read bytes into outByte[] and retain the number of bytes returned.  
  retval = reader.GetBytes(1, startIndex, outByte, 0, bufferSize);  

  // Continue while there are bytes beyond the size of the buffer.  
  while (retval == bufferSize)  
  {  
    writer.Write(outByte);  
    writer.Flush();  

    // Reposition start index to end of last buffer and fill buffer.  
    startIndex += bufferSize;  
    retval = reader.GetBytes(1, startIndex, outByte, 0, bufferSize);  
  }  

  // Write the remaining buffer.  
  writer.Write(outByte, 0, (int)retval);  
  writer.Flush();  

  // Close the output file.  
  writer.Close();  
  stream.Close();  
}  

// Close the reader and the connection.  
reader.Close();  
connection.Close();

确保你使用SqlDataReader和CommandBehavior.SequentialAccess，请在上面的代码片段中注明这一行。

 SqlDataReader reader = command.ExecuteReader(CommandBehavior.SequentialAccess);  

有关CommandBehavior enum的更多信息，请访问here。

编辑：

让我澄清一下自己。我同意@MickyD，问题的原因不在于你是否使用CommandBehavior.SequentialAccess，而是一次性读取大文件。

我强调这一点，因为开发人员通常会忽略它，他们倾向于以块的形式读取文件，但如果没有设置CommandBehavior.SequentialAccess，他们将遇到其他问题。虽然它已经发布了原始问题，但在我的回答中突出显示给任何新来者指出。

Answer 2

@MatthewWatson是的var stream = new MemoreStream（）;什么是不对的？ - Kliver Max 15小时前

您的问题不在于您是否正在使用：

`command.ExecuteReader(CommandBehavior.SequentialAccess)` 

......我们可以看到你;或者您的流复制缓冲区大小太大（实际上很小），而是您正在使用MemoryStream，如上面的注释所示。您很可能两次加载650MB文件，一次从SQL加载，另一次加载到MemoryStream中，从而导致OutOfMemoryException。

虽然解决方案是写入文件流，但问题的原因并未在接受的答案中突出显示。除非您知道问题的原因，否则您将来不会学会避免此类问题。