MarkLogic - S3导入

Question

我们可以使用将数据从Amazon S3导入MarkLogic吗？

1. JavaScript / xQuery API
2. MarkLogic内容泵
3. 还有其他方法吗？

如果可以的话，请分享参考。

Answer 1

我不是任何AWS专家，但如果你知道S3上数据的位置，你可以使用xdmp:document-get()，在$ location中使用http：//前缀来检索文档。您也可以使用xdmp:http-get()来查询文档的位置。一旦该命令返回，您可以使用通常的xdmp：document-insert。

对于少量文件，这种方法应该没问题。如果您要导入大型集，则必须考虑事务超时的可能性。

对于更大的数据集，您可能希望从外部管理该过程。以下是几个选项：

• 将数据从S3导出到本地文件系统，然后使用MLCP将其发送到MarkLogic
• 插入一个文档，其中包含您要导入的S3资源列表;生成任务，每个任务将获取一组资源并使用xdmp导入它们：document-get（）
• 使用Java代码从S3中提取文档（或批量文档），然后使用Java Client API将该数据插入MarkLogic
• 一旦MarkLogic 9问世，请使用Data Movement SDK，这样可以使这样的项目变得更容易（截至本文撰写时，DMSDK仍处于开发阶段）

Answer 2

使用/ documents服务将AWS S3存储桶中的test.xml文件加载到与REST API实例关联的数据库中：

curl https://s3.amazonaws.com/yourbucket/test.xml | curl -v --digest --user user:password -H "Content-Type: application/xml" -X PUT -d @- "localhost:8052/v1/documents?uri=/docs/test.xml"

• 将https://s3.amazonaws.com/yourbucket/test.xml替换为AWS S3存储的有效URL
• 用有效值替换user:password
• 将localhost:8052替换为您的MarkLogic应用服务器的URL

Answer 3

最近我遇到了同样的问题，我使用以下MLCP代码复制数据，并且它有效。

mlcp export -host {host} -port {port} -username {username} -password {password} -output_file_path {S3 path} -collection_filter {collection name to be moved}

Answer 4

如果在管理工具中配置aws credententials，则可以使用“s3：// bucket / key”形式的URL访问S3进行读取或写入。

见EC2 guide见Stackoverflow similar question