aws push_down_predicate不使用dynamodb

问题描述 投票:0回答:0
2024-04-10T00:00:00.000000+00:00

以过滤记录,但是我得到了意外的结果,包括指定范围之外的时间戳。

我尝试过的是:

DYNAMODB查询:当我使用相同的时间戳格式直接从DynamoDB查询时,结果如预期。 glue工作:

  1. push_down_predicate

    here,dynamic_frame = glueContext.create_dynamic_frame.from_catalog( database="my_database", table_name="my_dynamodb_table", push_down_predicate=f"sk >= '{start_timestamp}' AND sk < '{end_timestamp}'" )

  2. start_timestamp
  3. 匹配dynamodb中的格式。

    观察的行为:
    我看到的时间戳混合了,包括在指定的时间戳范围内获得过滤的结果,其中包括许多范围之外的时间戳。
    

    问题:
    
    

    为什么
  4. end_timestamp
为什么不按AWS胶水过滤DynamoDB数据,并且如何正确应用此过滤器以仅在指定范围内获取时间戳?

dynamodb连接器不支持向下推动谓词过滤:

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-eetl-connect-dynamodb-home.html

amazon-web-services amazon-dynamodb etl aws-glue
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.