如何使用sqoop工具进行增量加载

Question

我的数据在 Teradata 表中。我已经使用 sqoop-import 命令将 Teradata 表数据 sqooped 到 Hive 中。

但是，我的 Teradata 表每天都会获取数据。因此，需要对新添加的数据进行 sqoop，即从 teradata 到 Hive 表的增量数据。

我怎样才能做到这一点？

Answer 1

如果你的表中有类似于 row-id/timestamp 的任何列，那么你可以使用：

--incremental [mode] --last-value [value] --check-column [col]

如果您为此保存了工作，您可以跳过

--last-value

，因为它会自动维护。

--incremental [mode]

有两种模式。

lastmodified

和

append

，您可以根据需要使用任何一个。