带有注释的深度学习中的表单识别器

Question

我有带有空白、方框、复选框、表格和签名字段的常规数字表格。我的目标是提取字段名称及其可填充坐标。

例如如果表单有一个名为“受益人姓名”的字段并且在 (x=500,y=750) 处有相应的空格，我需要字段名称及其空格坐标。

AWS 和 Azure，没有提供空格坐标。如果有任何现有的库或模型来捕获名称及其相应的空格，请告诉我。

如果以防万一，我必须开发自定义模型，请建议我可以开始使用的基线模型，以及如何告诉我的模型将哪个字段名称映射到哪个空格。

提前致谢。

样本表格是：

Answer 1

Amazon Textract 允许您这样做，它可以帮助您提取关键字段和值所在的区域，即使该值未填充也是如此。

您可以使用

amazon-textract-textractor

package 来简化调用和解析 Amazon Textract API。

使用您提供的样品：

from textractor import Textractor
from textractor.data.constants import TextractFeatures
extractor = Textractor(profile_name="default")
document = extractor.analyze_document(
    file_source="./az0HQ.png",
    features=[TextractFeatures.FORMS],
)
document.visualize()

您可以通过这种方式访问值字段的边界框：

document.key_values[1]

> Date of issue : 

这是一个以“Date of issue:”为key的键值，可以这样访问可填写的值bbox：

document.key_values[1].value.bbox

> x: 0.4474363923072815, y: 0.10488211363554001, width: 0.02369014546275139, height: 0.01737912744283676