在这被标记为重复之前，我已经看到了很多像这样的答案 将 IEnumerable 转换为 DataTable 并尝试以创建扩展方法的方式执行类似的操作。我问我的问题是因为我遇到的问题可能出在其他地方。
本质上我有相当大的
IEnumerable<T>DataTable/// <summary>
/// Converts IEnumerable to datatable. Mainly for use when using SQLBulkCopy/>
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="collection"></param>
/// <param name="customColumnOrder">Custom order for columns allows me to make sure that the order of columns will always be the same. Am open for suggestions for better ways to do this</param>
/// <returns></returns>
public static DataTable ToDataTable<T>(this IEnumerable<T> collection, List<Tuple<string, int, int>> customColumnOrder)
{
DataTable dt = new DataTable();
var type = collection.First().GetType();
foreach (var column in customColumnOrder)
{
dt.Columns.Add(column.Item1, Nullable.GetUnderlyingType(type.GetProperty(column.Item1).PropertyType) ?? type.GetProperty(column.Item1).PropertyType);
}
// Populate the table
foreach (T item in collection)
{
DataRow dr = dt.NewRow();
dr.BeginEdit();
foreach (var column in customColumnOrder)
{
dr[column.Item1] = type.GetProperty(column.Item1).GetValue(item) ?? DBNull.Value;
}
dr.EndEdit();
dt.Rows.Add(dr);
}
return dt;
}
这对于包含大约 100,000 个项目的较小表格来说效果很好，但当它达到数百万个项目时就开始变得非常困难。我只是不断地有时间休息。是否有更有效/通常更好的方法从
IEnumerable<T>DataTable我正在转换为
DataTableSqlBulkCopy编辑：这是数据从
传递的地方 /// <summary>
/// SqlBulkCopy for saving large amounts of data
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="dataToSave"></param>
/// <param name="modelManager">Custom manager to use alongside the model</param>
/// <param name="conn">Connection string to DB</param>
public void BatchSave<T>(IEnumerable<T> dataToSave, IData modelManager, string conn)
{
var model = dataToSave.First();
using (SqlConnection sqlconn= new SqlConnection(conn))
{
sqlconn.Open();
using (SqlCommand cmd = new SqlCommand(GetCreateScript(modelManager, model), sqlconn))
{
//Create temp table to do initial insert into
cmd.ExecuteNonQuery();
SqlBulkCopy copy = new SqlBulkCopy(cmd.Connection);
copy.DestinationTableName = "#tempTableForImport";
// Convert data to DataTable
DataTable dt = dataToSave.ToDataTable(modelManager.GetDataColumnsOrder());
// Copy to temp table
copy.WriteToServer(dt);
}
using (SqlCommand cmd = new SqlCommand(modelManager.GetInsertSproc(), sqlconn) { CommandType=CommandType.StoredProcedure })
{
// Clean up data and move to final table
cmd.ExecuteNonQuery();
}
sqlconn.Close();
}
}
编辑＃1：使用提出的建议新修改的代码，现在使用 Fastmember：
public void BatchSave<T>(IEnumerable<T> dataToSave, IData modelManager, string conn)
{
var model = dataToSave.First();
using (SqlConnection sqlconn = new SqlConnection(conn))
{
sqlconn.Open();
using (var bcp = new SqlBulkCopy(sqlconn))
{
using (var reader = ObjectReader.Create(dataToSave, modelManager.GetDataColumnsOrder().Select(s => s.Item1).ToArray() /*modelManager.GetDataColumnsOrder().Select(obj=>obj.Item1).ToString()*/))
{
using (SqlCommand cmd = new SqlCommand(GetCreateScript(modelManager, model), sqlconn))
{
cmd.ExecuteNonQuery();
bcp.DestinationTableName = "#tempTableForImport";
bcp.WriteToServer(reader);
}
using (SqlCommand cmd = new SqlCommand(modelManager.GetInsertSproc(), sqlconn) { CommandType = CommandType.StoredProcedure })
{
cmd.ExecuteNonQuery();
}
}
}
sqlconn.Close();
}
}
这加快了速度，但是我仍然在这条线上收到“超时已过期”信息
bcp.WriteToServer(reader);感谢大家到目前为止的帮助，大约 30 秒后，对此还有更多想法吗？也许可以通过某种方式增加超时前的时间长度？
我不会通过 DataTable，而是为您的集合实现一个 IDataReader 并将其提供给 SqlBulkCopy。 如果正确完成并使用惰性 IEnumerable，它会比数据表路由更快，并且使用更少的内存。 Mark Gravell 已经编写了这样一个库，用于将 IEnumerables 转换为 IDataReader，我建议您在推出自己的库之前先检查一下。
FastMember 可以在 NuGet 上找到：https://www.nuget.org/packages/FastMember/ 原始来源在这里找到：https://code.google.com/p/fast-member/ 以及此线程中的示例：SqlBulkCopy from a List<>
更新： 您可能还需要更改命令超时，并在 sqlbulkcopy 上设置批处理大小，如下所示：
using (SqlCommand cmd = new SqlCommand(modelManager.GetInsertSproc(), sqlconn) {
CommandType = CommandType.StoredProcedure, CommandTimeout=300 })
和
bcp.BatchSize = 100000;
不要转换。 DataTalble 超时并且占用大量内存。您可以使用TVP（表值参数）来非常快速地加载。 它就像一个反向数据读取器。 对于来自 IEnumable（不是 DataTable）的情况，请使用 SqlDataRecord。
只需一个链接 - 在 TVP SqlDataRecord 上搜索
对于性能问题，很难提供具体的修复，但我会删除您实际上不需要的任何内容，从
BeginEdit()EndEdit()可以尝试的另一件事是将集合拆分为块，然后使用
Parallel.ForForeachDataTable.Merge()基本上我有一个相当大的 IEnumerable （大约 16 - 17 百万 项目）到目前为止，我还没有真正遇到任何问题， 直到我尝试使用扩展方法转换为数据表：
根据文档，数据表中行的上限为
16,777,216DataTable 可以存储的最大行数为 16,777,216。 有关更多信息，请参阅将数据添加到数据表。