无法在Azure数据工厂的数据集中看到列标题

Question

我已使用 Powerapps 中的 Azure 突触链接将 Dataverse 表导入到 AZ Data Lake。 我在 AZ 数据湖容器中获取了 CSV 格式的表。现在使用 azure 数据工厂，我想使用一些过滤器深入了解这些数据并将其放入新的 csv 文件中。在实现此目标的同时，我为每个 csv 文件创建了数据集，并且 csv 文件和数据集都没有显示列标题。我确实选择了“第一行作为标题”选项，但仍然没有运气。如果有人经历过同样的事情并解决了这个问题，请帮助我。

Answer 1

当您使用突触链接将 dataverse 引入数据湖时，数据将以 CDM 格式存储。在 CDM 中，架构不会作为标头存储在 CSV 中，而是存储在 model.json 文件中。

在数据工厂中读取 CDM 的正确方法是使用将源集设置为通用数据模型的映射数据流：https://learn.microsoft.com/en-us/powerapps/maker/data-platform/export-to -数据湖数据adf

这将为您处理架构处理，并知道如何读取 CDM 结构中实体的正确文件。

Answer 2

我在使用数据工厂从 Dataverse 表中提取数据时遇到了类似的问题。具有空值的列未传输到 CSV 文件或 SQL Server 目标表。

按照以下步骤测试流程，如果工作正常，那么您可以进行一些自动化操作。

1. 创建一个管道并添加复制活动
2. 创建dataverse数据集（使用AD或SPN创建的链接服务）
3. 在复制设置中，源dataverse数据集和接收器将是csv文件。
4. 创建管道 p_columnmappuing 的一个参数或设置变量，数据类型应为字符串。
5. 将该参数传递到复制活动中的映射区域，如下所示 @json(p_columnmapping) Dataverse XML 脚本（源查询）

<fetch>  
  <entity name="go_todo">  
    <attribute name="go_appointmentid" /> 
    <attribute name="go_category" /> 
    <attribute name="go_department" /> 
    <attribute name="go_group" /> 
    <attribute name="go_name" /> 
    <attribute name="go_rating" />  
    <attribute name="go_reason_negative_rating" /> 
    <attribute name="go_reason_positive_rating" />
    <attribute name="go_relevance" />  
    <attribute name="go_adaptionstatus" />
  </entity>  
</fetch>



Parameter column mapping:

    {"type":"TabularTranslator","mappings":[{"source":
    {"name":"go_appointmentid","type":"Guid"},"sink":{"name":"go_appointmentid","type":"String"}},{"source":{"name":"go_category","type":"String"},"sink":{"name":"go_category","type":"String"}},{"source":{"name":"go_department","type":"Int32"},"sink":{"name":"go_department","type":"String"}},{"source":{"name":"go_group","type":"String"},"sink":{"name":"go_group","type":"String"}},{"source":{"name":"go_name","type":"String"},"sink":{"name":"go_name","type":"String"}},{"source":{"name":"go_rating","type":"String"},"sink":{"name":"go_rating","type":"String"}},{"source":{"name":"go_reason_negative_rating","type":"Int32"},"sink":{"name":"go_reason_negative_rating","type":"String"}},{"source":{"name":"go_reason_positive_rating","type":"Int32"},"sink":{"name":"go_reason_positive_rating","type":"String"}},{"source":{"name":"go_relevance","type":"String"},"sink":{"name":"go_relevance","type":"String"}},{"source":{"name":"go_adaptionstatus","type":"String"},"sink":{"name":"go_adaptionstatus","type":"String"}}]}


[![enter image description here][1]][1]


  [1]: https://i.sstatic.net/yrtzhxk0.png