转载 如何通过数据集成实现泛微与金蝶系统的供应商资料审核

SD004-新增供应商资料申请审核 泛微=>金蝶

在企业信息化建设中，数据的高效集成和流转是确保业务流程顺畅运行的关键。本文将分享一个实际案例——如何通过轻易云数据集成平台，将泛微OA-Http系统中的新增供应商资料申请审核数据，成功对接到金蝶云星空平台，实现两大系统间的数据无缝衔接。

背景与挑战

在本次集成方案SD004中，我们需要解决以下几个技术难题：

1. 高吞吐量的数据写入能力：确保大量供应商资料能够快速、准确地从泛微OA-Http系统传输到金蝶云星空。
2. 实时监控与告警：提供集中监控和告警系统，实时跟踪数据集成任务的状态和性能，及时发现并处理异常情况。
3. API资产管理：通过统一视图和控制台，全面掌握泛微OA-Http与金蝶云星空API资产的使用情况，实现资源的高效利用和优化配置。
4. 数据质量监控与异常检测：支持自定义数据转换逻辑，以适应特定业务需求，并及时发现并处理数据问题。

解决方案概述

为了实现上述目标，我们采用了以下技术手段：

1. 定时可靠的数据抓取：通过调用泛微OA-Http接口/api/workflow/paService/getWorkflowRequest，定时抓取新增供应商资料申请审核的数据，并确保不漏单。
2. 批量数据写入：将抓取到的数据批量写入到金蝶云星空，通过其API Audit进行审核处理，保证大量数据能够快速进入目标系统。
3. 分页与限流处理：针对泛微OA-Http接口的分页和限流问题，我们设计了合理的分页策略和限流机制，以确保数据抓取过程稳定、高效。
4. 格式差异处理：针对泛微OA-Http与金蝶云星空之间的数据格式差异，我们进行了定制化的数据映射对接，使得不同系统间的数据能够正确转换、无缝对接。

技术要点解析

在整个集成过程中，我们特别注重以下几个技术要点：

1. 高吞吐量支持：利用轻易云平台强大的高吞吐量支持能力，大幅提升了数据处理时效性，使得大量供应商资料能够迅速完成从泛微OA-Http到金蝶云星空的传输。
2. 实时监控与日志记录：通过轻易云平台提供的可视化操作界面，对每个环节进行全透明监控，并记录详细日志，以便后续追溯和问题排查。
3. 异常处理与错误重试机制：在对接过程中，如果出现任何异常情况，如网络故障或接口响应超时等，我们设计了完善的错误重试机制，确保任务最终成功完成。

通过以上技术手段，本次SD004方案不仅实现了泛微OA-Http系统向金蝶云星空平台的大规模、高效率的数据传输，还为企业提供了一套稳定、可靠、可扩展的数据集成解决方案。

调用泛微OA-Http接口获取并加工数据

在轻易云数据集成平台中，生命周期的第一步是调用源系统的API接口以获取原始数据，并对其进行初步加工处理。本文将详细探讨如何通过调用泛微OA-Http接口/api/workflow/paService/getWorkflowRequest来实现这一过程。

接口配置与调用

首先，我们需要配置元数据，以便正确地调用泛微OA-Http接口。根据提供的元数据配置，可以看到以下关键参数：

{
  "api": "/api/workflow/paService/getWorkflowRequest",
  "effect": "QUERY",
  "method": "GET",
  "number": "requestId",
  "idCheck": true,
  "request": [
    {"field":"workflowId","label":"e9流程id","type":"string","value":"129"},
    {"field":"workflowIdList","label":"workflowIdList中间方案ID","type":"string","value":"8183a586-bdfb-3e93-8573-d5e81803c5ff"}
  ],
  "condition":[[{"field":"currentNodeId","logic":"eqv2","value":"769"}]]
}

这些参数定义了我们如何向泛微OA系统发送请求，以及如何处理返回的数据。

数据请求与清洗

1. 构建请求：根据元数据中的request字段，我们需要传递特定的参数，如workflowId和workflowIdList，以确保能够正确地查询到所需的数据。

2. 发送请求：使用HTTP GET方法向指定的API端点发送请求。此时，需要确保网络连接稳定，并且具备必要的权限访问该API。

3. 接收响应：一旦收到响应，需要对返回的数据进行初步清洗。这包括：

   • 验证响应状态码是否为200，以确保请求成功。
   • 检查返回的数据结构是否符合预期，例如确认包含必要的字段如requestId等。

4. 条件过滤：根据元数据中的条件配置，对返回的数据进行过滤。例如，仅保留当前节点ID为769的数据记录。这一步可以有效减少后续处理的数据量，提高效率。

数据转换与写入准备

在完成初步清洗后，下一步是对数据进行转换，以适应目标系统（如金蝶云星空）的需求。这可能涉及以下操作：

1. 字段映射：将源系统中的字段映射到目标系统对应的字段。例如，将泛微OA中的requestId映射到金蝶云星空中的相应字段。

2. 格式转换：如果源系统和目标系统之间存在数据格式差异，需要进行相应的格式转换。例如，将日期格式从YYYY-MM-DD转换为MM/DD/YYYY。

3. 批量处理：对于大规模数据集成任务，可以将多个记录打包成批次，以提高处理效率。同时，利用轻易云平台支持高吞吐量写入能力，确保大量数据能够快速被集成到目标系统中。

实时监控与异常处理

为了保证整个过程顺利进行，实时监控和异常处理至关重要：

1. 监控机制：通过轻易云平台提供的集中监控和告警系统，实时跟踪每个集成任务的状态和性能。一旦发现异常情况（如网络超时、API限流等），可以及时采取措施。

2. 日志记录：详细记录每次API调用及其结果，包括成功和失败案例。这不仅有助于问题排查，还能为后续优化提供依据。

3. 错误重试机制：针对可能出现的临时性错误（如网络波动），设计合理的重试机制。在一定次数内自动重试失败操作，提高整体可靠性。

通过上述步骤，我们能够高效地调用泛微OA-Http接口获取并加工所需的数据，为后续的数据转换与写入奠定坚实基础。轻易云平台强大的可视化工具和灵活配置能力，使得这一过程更加直观、透明且高效。

轻易云数据集成平台：泛微OA-Http到金蝶云星空的ETL转换与写入

在轻易云数据集成平台的生命周期中，第二步——将已集成的源平台数据进行ETL转换并写入目标平台，是实现系统间无缝对接的关键。本文将重点探讨如何将泛微OA-Http的数据转换为金蝶云星空API接口所能接收的格式，并最终写入金蝶云星空。

数据请求与清洗

在开始数据转换之前，需要从泛微OA-Http接口中抓取数据。我们可以通过调用接口 /api/workflow/paService/getWorkflowRequest 来获取新增供应商资料申请审核的数据。为了确保数据完整性和准确性，我们需要处理分页和限流问题，这可以通过设置适当的分页参数和限流策略来实现。

数据转换逻辑

在获取到泛微OA-Http的数据后，接下来就是将这些数据转换为金蝶云星空API能够接受的格式。这里，我们使用元数据配置来指导数据转换过程。

元数据配置如下：

{
    "api": "Audit",
    "effect": "EXECUTE",
    "method": "POST",
    "idCheck": true,
    "request": [
        {"field": "FormId", "label": "FormId", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value":"BD_Supplier"},
        {"field": "Numbers", "label": "Numbers", "type": "string", "describe":"111", "value":"{requestName}"},
        {"field": "InterationFlags", "label": "InterationFlags", "type":"string", "describe":"字符串类型，分号分隔，格式：\"flag1;flag2;...\"（非必录） 例如（允许负库存标识：STK_InvCheckResult）","value":"STK_InvCheckResult"},
        {"field":"IgnoreInterationFlag","label":"IgnoreInterationFlag","type":"string","describe":"布尔类型，默认true（非必录）","value":"true"},
        {"field":"NetworkCtrl","label":"NetworkCtrl","type":"string","describe":"布尔类型，默认false（非必录）","value":"false"},
        {"field":"IsVerifyProcInst","label":"IsVerifyProcInst","type":"string","describe":"是否检验单据关联运行中的工作流实例，布尔类型，默认false（非必录）","value":"false"}
    ]
}

根据上述配置，我们需要将泛微OA-Http的数据字段映射到金蝶云星空API所需的字段。例如，将 requestName 字段映射到 Numbers 字段，并确保 FormId 固定为 BD_Supplier。

数据写入目标平台

完成数据转换后，通过调用金蝶云星空API接口，将处理后的数据写入目标平台。在此过程中，需要注意以下几点：

1. 高吞吐量支持：确保大量数据能够快速写入金蝶云星空，以提升数据处理效率。
2. 异常处理与错误重试：实现对接异常处理机制，如遇到网络或服务器问题时，可以进行错误重试。
3. 实时监控与日志记录：通过轻易云提供的监控和告警系统，实时跟踪数据集成任务状态，记录日志以便于后续排查和优化。

数据质量监控与异常检测

在整个ETL过程中，必须确保数据质量。轻易云平台支持自定义的数据质量监控规则，可以及时发现并处理异常数据。例如，可以设置规则检测是否有漏单情况，并在发现问题时自动触发告警或进行补救措施。

定制化的数据映射

针对特定业务需求，可以通过自定义转换逻辑，实现复杂的数据映射和格式转换。例如，在供应商资料审核过程中，如果存在特定字段需要进行特殊处理，可以编写自定义脚本来满足这些需求。

综上所述，通过轻易云数据集成平台，我们能够高效地实现泛微OA-Http与金蝶云星空之间的数据ETL转换和写入，并保障整个过程中的数据质量和系统稳定性。这不仅提升了业务流程的自动化程度，也为企业提供了更加透明和高效的数据管理解决方案。