在SSIS中从CSV导入yyyyMMdd日期

Question

我有12列使用yyyymmdd格式。在数据流任务中，我有一个平面文件源，一个派生列任务和一个OLE DB目标。我将以下表达式应用于派生列任务中的这些字段：

(DT_DBDATE)(SUBSTRING((DT_STR,10,1252)([Date_Column]),1,4) + "-"
+ SUBSTRING((DT_STR,10,1252)([Date_Column]),5,2) + "-"
+ SUBSTRING((DT_STR,10,1252)([Date_Column]),7,2))

它一直让我在转换字段之前将其转换为子字符串，但我在Connection Manager中将字段设置为DT_STR。目标字段在SQL Server中为DATE格式。 SSIS始终显示“由于潜在的数据丢失而无法转换”错误。我已经检查了CSV中的原始数据，但没有看到任何看起来不合适的日期。一切都符合格式。

我还尝试使用here建议的数据转换任务，但最终得到了同样的错误。有什么建议？我在这里看到的答案都指向使用派生列任务，但我提到的其他几个问题我遇到了同样的问题。

编辑：这是一个数据样本。所有错误中特别提到的字段是CRTFCTN_DT。数据集中有470个字段，但这确实显示了前两个日期字段。

解决方案：在Connection Manager中，我将yyyymmdd字段更改为DT_STR（10）（日期为8个字符，添加破折号为2个字符），并重建了我的数据流任务。这解决了这个问题。如果不重建任务，则派生列任务将不会获取新数据类型。重新创建任务后，我也不再需要在应用子字符串之前将日期转换为字符串。

Answer 1

您在Connection Manager中将列[Date_Column]设置为DT_STR。你指定的长度是多少？默认情况下，它是50.在派生列中，您使用其长度为10，这是错误消息“由于可能丢失数据而无法转换”。

Answer 2

尝试铸造(DT_DATE)而不是DT_DBDATE

(DT_DATE)((SUBSTRING((DT_STR,50,1252)([Date_Column]),1,4) + "-"
+ SUBSTRING((DT_STR,50,1252)([Date_Column]),5,2) + "-"
+ SUBSTRING((DT_STR,50,1252)([Date_Column]),7,2)))

您可以执行此解决方法

假设日期列名称是inColumn

在DataflowTask中，添加脚本组件，将标记inColumn作为输入列，使用dataType DT_DBTIMESTAMP添加新的输出列outColumn

将脚本语言更改为vb.net

将您的日期列标记为输入

为每个日期列创建一个输出列

在脚本内部，在Input0_ProcessInputRow子中使用DateTime.ParseExact函数如下：

在此示例中，日期列为MailReceivingDate

Public Class ScriptMain
    Inherits UserComponent


    Public Overrides Sub Input0_ProcessInputRow(ByVal Row As Input0Buffer)

        If Not Row.MailReceivingDate_IsNull AndAlso
              Not String.IsNullOrEmpty(Row.MailReceivingDate.Trim) Then

            Row.outColumn = DateTime.ParseExact(Row.MailReceivingDate.Trim, "yyyyMMdd", New System.Globalization.CultureInfo("en-GB"))

        Else

            Row.outColumn_IsNull = True

        End If

    End Sub

End Class