NVIDIA-Ingest – 英伟达开源的智能文档提取及结构化工具

NVIDIA-Ingest是什么

NVIDIA-Ingest是由英伟达推出的一套开源微服务，专门用于解析复杂且非结构化的PDF及其他企业文档。该工具能够有效地将文档转化为易于检索的元数据和文本格式，支持多种文档类型的处理，包括PDF、Word、PowerPoint和图像文件。NVIDIA-Ingest提供多种内容提取方法，使用户能够在处理吞吐量和提取准确性之间做出合理的选择。此外，它还具备预处理和后处理功能，如文本分割、转换、过滤、嵌入生成和图像存储。通过并行化处理，NVIDIA-Ingest显著提升了文档解析的效率，特别适合于大规模文档的处理和生成式应用，同时可将提取的数据嵌入到Milvus等向量数据库中。

NVIDIA-Ingest的主要功能

• 多格式文档支持：能够解析包括PDF、Word (Docx)、PowerPoint (Pptx) 及图像在内的多种企业文档格式。
• 多方法提取：提供多种提取方式，方便用户在处理速度和精确度之间取得平衡。例如，PDF文档可以通过pdfium、Unstructured.io及Adobe内容提取服务进行提取。
• 内容分类与提取：将文档内容分类为文本、表格、图表和图像，并分别进行提取。利用光学字符识别（OCR）技术，进一步将提取内容上下文化，并转换为结构化的JSON格式。
• 并行处理：支持将文档按页面拆分并进行并行处理，显著提高内容提取的效率。
• 预处理和后处理：支持多种预处理和后处理功能，包括文本分割、内容转换、过滤、嵌入生成及图像存储。

NVIDIA-Ingest的技术原理

• 微服务架构：采用微服务架构，每个微服务专注于特定的处理任务，如文本提取、图像提取和表格提取，增强了系统的可扩展性和灵活性。
• GPU 加速：依托英伟达的GPU技术，尤其是H100和A100 GPU，加速文档解析和内容提取过程。GPU的并行计算能力显著提升了处理效率，特别是在处理大量文档的场景中表现出色。
• 光学字符识别（OCR）：利用OCR技术将文档中的图像和表格内容转换为可读文本。NVIDIA-Ingest整合了多种OCR引擎，例如PaddleOCR，提升了文本识别的准确率和效率。

NVIDIA-Ingest的项目地址

• GitHub仓库：https://github.com/NVIDIA/nv-ingest

NVIDIA-Ingest的应用场景

• 企业内容管理：将纸质文档、PDF、Word和PowerPoint文件转换为可搜索和可编辑的数字格式，促进知识共享与团队协作。
• 智能客服系统：解析用户上传的文档，提取关键信息并生成自动回复，以提升客服效率和用户满意度。
• 法律和合规领域：解析合同及法律文件，提取重要条款和条件，帮助进行合规检查、风险评估和案件管理。
• 金融行业：解析财务报告、合同及市场研究文档，提取关键数据，以支持风险评估、合规监控和客户尽职调查。
• 医疗保健：将病历文档转化为结构化数据，以支持电子病历管理、临床研究及医疗影像分析。