转载 如何将MySQL数据集成到金蝶云星空以实现生产领料单新增

MySQL数据集成到金蝶云星空：SLD生产领料单新增深圳天一-单工序-好

在企业信息化系统中，数据的高效流转和准确对接是业务运作的关键。本文将分享一个具体的技术案例，展示如何通过轻易云数据集成平台，将MySQL中的数据无缝集成到金蝶云星空，实现SLD生产领料单新增深圳天一-单工序-好的任务。

本次集成方案涉及从MySQL数据库获取生产领料单的数据，并通过金蝶云星空的API接口进行批量写入。为了确保数据处理的时效性和可靠性，我们采用了以下几个关键技术特性：

1. 高吞吐量的数据写入能力：在处理大量生产领料单数据时，系统能够快速将这些数据从MySQL写入到金蝶云星空，极大提升了整体效率。
2. 实时监控与告警系统：通过集中监控和告警机制，我们可以实时跟踪每个数据集成任务的状态和性能，及时发现并解决潜在问题。
3. 自定义数据转换逻辑：针对不同业务需求和数据结构，我们实现了灵活的数据转换逻辑，以确保MySQL与金蝶云星空之间的数据格式差异得到有效处理。
4. 异常处理与错误重试机制：在对接过程中，如果出现任何异常情况，系统能够自动进行错误重试，保证数据不漏单且完整传输。

此外，为了确保整个过程透明可视、操作简便，我们利用可视化的数据流设计工具，对整个集成流程进行了直观管理。这不仅提高了开发效率，也使得后续维护更加容易。

接下来，我们将详细介绍如何配置和执行这一集成方案，包括如何调用MySQL接口select获取源数据，以及如何使用金蝶云星空的batchSave API进行目标平台的数据写入。

调用MySQL接口select获取并加工数据的技术实现

在轻易云数据集成平台中，调用源系统MySQL接口select获取并加工数据是整个数据处理生命周期的第一步。本文将详细探讨如何通过配置元数据来实现这一过程，并确保高效、准确地获取所需的数据。

元数据配置解析

首先，我们需要理解元数据配置中的各个字段及其作用。以下是关键字段的解析：

• api: 指定了使用的API类型，这里为select。
• effect: 定义了操作类型，这里为QUERY，表示查询操作。
• method: 请求方法，这里为POST。
• number和id: 分别代表生产订单号和领料单号，是我们需要从数据库中提取的重要信息。
• request: 包含主参数设置，其中包括分页查询所需的limit和offset参数。
• otherRequest: 包含主SQL语句，通过动态语法字段进行参数绑定，以确保查询结果的准确性和安全性。

SQL查询与分页处理

在实际操作中，为了避免一次性读取大量数据导致性能问题，我们通常采用分页查询方式。以下是主SQL语句的简化示例：

SELECT 
  CASE m.delivery_org
    WHEN 'T01.01' THEN CONCAT('HJ', CAST(hj1.id AS CHAR))
    WHEN 'T04' THEN CONCAT('HJGD', CAST(hj1.id AS CHAR))
    ELSE CONCAT('HJ', CAST(hj1.id AS CHAR))
  END AS 生产订单号,
  a.part_no AS 成品编号,
  c.mode_no AS 计划跟踪号,
  CONCAT('LLD', CAST(a.id AS CHAR)) AS 领料单号,
  DATE(a.update_time) AS 日期,
  CONCAT(a.part_no, CONCAT('_', c.current_process_code)) AS 物料编号,
  a.confirm_numb AS 数量,
  e.real_name,
  a.uuid AS sourceid,
  m.delivery_org AS 供应组织
FROM wms_instock_confirm_task_detail a
LEFT JOIN wms_instock_purchase_task_detail c ON MATTERIAL_TYPE='3'
LEFT JOIN wms_instock_confirm_main_task_detail b ON b.connect_uuid=c.uuid
LEFT JOIN mbs_nuclear_price_task hj ON hj.mold_no=c.mode_no AND hj.part_no=a.part_no 
LEFT JOIN mbs_nuclear_price_info hj1 ON hj1.nuclear_price_task_uuid=hj.nuclear_price_task_uuid AND hj1.out_type='3'
LEFT JOIN sys_user e ON e.user_id=a.create_by
LEFT JOIN mbs_order_plan_bom l ON c.mode_no=l.bom_no
LEFT JOIN mbs_order_bom m ON m.bom_uuid=l.bom_uuid
WHERE a.connect_uuid=b.uuid
AND a.company_code='TYZN'
AND a.update_time>'2023-08-01'
AND hj1.create_time>(SELECT config_value FROM sys_config WHERE config_id=337)
AND a.is_success1 !='1' AND a.is_success4='1'
LIMIT :limit OFFSET :offset;

上述SQL语句通过使用:limit和:offset占位符，实现了分页查询功能。这些占位符将在执行查询时被具体值替代，从而控制每次返回的数据行数和起始位置。

数据请求与清洗

在调用MySQL接口之前，需要对请求参数进行适当配置。例如，通过设置分页大小（PAGINATION_PAGE_SIZE）和起始行数（PAGINATION_START_ROW），可以灵活控制每次请求的数据量。这不仅提高了查询效率，还能有效防止因一次性读取过多数据而导致的系统性能问题。

{
    "main_params": {
        "limit": "{PAGINATION_PAGE_SIZE}",
        "offset": "{PAGINATION_START_ROW}"
    }
}

通过这种方式，可以逐步获取大规模的数据集，并在每次请求后对返回的数据进行清洗和转换，以满足后续处理需求。

实时监控与异常处理

为了确保数据集成过程的可靠性，轻易云平台提供了实时监控和告警系统。在执行MySQL接口调用时，可以实时跟踪任务状态，并及时发现潜在的问题。此外，通过异常检测机制，可以自动重试失败的请求，确保最终成功完成数据集成任务。

例如，当某个批次的数据请求失败时，系统会记录错误日志并触发重试机制，从而最大限度地减少因网络波动或其他临时故障导致的数据丢失风险。

自定义转换逻辑与映射

根据业务需求，有时需要对原始数据进行特定格式的转换。轻易云平台支持自定义转换逻辑，使得不同系统间的数据格式差异能够得到有效处理。例如，在将MySQL中的日期格式转换为目标系统所需格式时，可以编写相应的转换规则，以确保数据的一致性和正确性。

综上所述，通过合理配置元数据并利用轻易云平台提供的各种功能，可以高效、安全地实现从MySQL接口获取并加工处理数据，为后续的数据集成奠定坚实基础。

集成数据写入金蝶云星空API接口的ETL转换方案

在轻易云数据集成平台的生命周期中，第二步是将已经集成的源平台数据进行ETL转换，使其符合目标平台金蝶云星空API接口所能接收的格式，并最终写入目标平台。以下将详细探讨这一过程中的技术要点和实现方法。

数据请求与清洗

在数据请求与清洗阶段，首先需要从MySQL数据库中抓取原始数据。为了确保数据的完整性和准确性，可以使用定时任务来定期抓取MySQL接口数据，并通过分页和限流机制处理大量数据。这一阶段的重点是保证数据不漏单，并对数据进行初步清洗。

数据转换与写入

1. API接口配置

   在转换和写入阶段，需要根据金蝶云星空API接口的要求，对数据进行格式转换。以下是一个典型的API配置示例：

   {
      "api": "batchSave",
      "method": "POST",
      "idCheck": true,
      "request": [
          {"field": "FBillNo", "label": "单据编号", "type": "string", "value": "{{领料单号}}"},
          {"field": "FDate", "label": "日期", "type": "string", "value": "{{日期}}"},
          {"field": "FStockOrgId", "label": "发料组织", "type": "string", 
           "value": "_function case '{{供应组织}}' when 'T01.01' then 'T01.06' when 'T04' then 'T04' else '' end"}
      ],
      ...
   }

2. 字段映射与转换逻辑

   在字段映射方面，需要特别注意源平台和目标平台之间的数据格式差异。例如，金蝶云星空需要特定格式的日期、组织编码等信息。因此，在配置中可以使用自定义函数 _function 和查找集合 _findCollection 来实现复杂的映射和转换逻辑。

   {
      "field": "FMaterialID1",
      "label": "产品编码",
      "type": "string",
      "value": "{{成品编号}}",
      ...
   }

3. 批量处理与高吞吐量支持

   为了提升数据处理时效性，可以利用平台的高吞吐量能力，实现大量数据快速写入到金蝶云星空。例如，通过 batchSave 接口进行批量处理，可以显著提高效率。

4. 异常处理与重试机制

   在实际操作中，可能会遇到各种异常情况，如网络故障、数据格式错误等。为此，需要实现异常处理与错误重试机制，以确保数据能够可靠地写入到目标平台。

5. 实时监控与日志记录

   实时监控是确保整个ETL过程顺利进行的重要手段。通过集中的监控系统，可以实时跟踪每个任务的状态和性能，并及时发现并处理问题。此外，详细的日志记录有助于后续问题排查和性能优化。

金蝶云星空API接口注意事项

在对接金蝶云星空API时，需要注意以下几点：

• 验证基础资料：确保所有基础资料（如物料编码、组织编码等）在金蝶系统中有效。
• 提交并审核：根据业务需求，可以选择是否自动提交并审核单据。
• 关联关系表：在多层次的数据结构中，需正确配置关联关系表，以确保数据的一致性和完整性。

{
    ...
    {"field":"FEntity_Link","label":"关联关系表","type":"array","children":[
        {"field":"FEntity_Link_FRuleId","label":"转换规则","type":"string","value":"PRD_PPBOM2PICKMTRL_NORMAL"},
        {"field":"FEntity_Link_FSBillId","label":"源单内码","type":"string","value":"_findCollection find FID from d9c54956-106b-36e1-8018-91a8855f6316 where FMoBillNo={{生产订单号}}"}
    ]}
}

通过上述步骤，我们可以实现从MySQL数据库到金蝶云星空系统的数据无缝对接。在这个过程中，合理配置元数据、优化转换逻辑以及建立健全的监控机制，是确保ETL过程高效、可靠的重要保障。