集成手机平台待办数据失败问题跟踪和处理(Mongodb、Oracle、SQLServer)

集成手机平台待办数据失败问题跟踪和处理

Mongodb 、 Oracle 、 SQLServer

场景：

公司的集成手机平台后台的核心数据库采用的Mongodb 读写分离架构，所有异构系统平台 ( 财务、ERP 、计划 ......)( 对应的数据库ORACLE 、 SQLServer 、 Mysql ......) 流程待办会实时推送到Mongodb 库里，实现所有系统手机端移动审批。

问题：

各个系统供应商对接集成手机平台系统水平参差不齐，经常出现个别系统待办未推到集成手机平台或待办转已办失败的问题；

解决方案：

各个系统供应商优化接口周期长，在优化完成之前，需要有手动处理机制，即出现待办未推送或待办转已办失败问题，可以及时知道并及时手动处理。

一：待办出现问题时，第一时间向相关系统管理员发送预警邮件，及时手动干预，避免问题升级；

二：监控大屏实时展示失败的待办信息；

三：当失败的待办数量很庞大，批量修复并定期集中处理历史失败的待办；

一：待办出现问题时，第一时间向相关系统管理员发送预警邮件，及时手动干预，避免问题升级；

由于待办出现问题时会在相应系统数据库里生成一条日志记录，可以通过触发器实现邮件预警，以SQLServer 数据库为例：

二：监控大屏实时展示失败的待办信息

通过Grafana 监控平台，可以添加 SQLServer 等数据源，实时展现失败待办信息；

三：当失败的待办数量很庞大，批量修复或定期处理历史失败的待办

可以通过集成手机平台数据库(Mongodb) 的待办表和各个系统数据库 (ORACLE 、 SQLServer 、 Mysql) 待办表做对比：

1 集成手机平台数据库 (Mongodb) 的待办数据多于各个系统数据库待办数据，表示待办转已办失败，需要手动删除多余的待办信息；

2 集成手机平台数据库 (Mongodb) 的待办数据少于各个系统数据库待办数据，表示待办推送失败，需要手动重推；

那么如何批量查出所有系统待办转已办失败的数据 呢 ？

(1) 导出集成手机平台数据库(Mongodb) 的待办数据到 execl

Mongodb 所在服务器操作系统为 Centos7.5, 可以在自己电脑上安装一个 Mongodb 客户端，使用 mongoexport 工具导出数据；

导出语句：

D:\MongoDB\Server\3.4\bin>

mongoexport.exe --csv --host 192.100.100.100:27017 /d testdb /c TEST_TdUndo /f "_id,userName,account,createTime,content" /q "{"delete": false}" /o C:\Users\Administrator\Desktop\all cjc _Undo1219a.csv

默认情况下打开CSV 文件中文是乱码的：

通过如下方式解决乱码问题：

--- 打开方式 ( 记事本 )--- 格式 --- 字体 --- 中文 GB2312--- 保存 ----csv 方式打开 --- 调整格式 --- 另存为 execl 格式文件

( 2 ) 导出各个系统数据库(ORACLE 、 SQLServer 、 Mysql) 的待办数据到 execl

例如 系统1 ：

select Name, Account , Ini Date, content  from undoerp

where UnDoStatus=' 待办 '

and  CreateDate>='2019-11- 01  08:00:00.000'

and  CreateDate<='2019-12- 01  23:59:00.000';

(3) 对比数据

---1 集成手机平台数据库 (Mongodb) 的待办数据多于各个系统数据库待办数据，表示待办转已办失败，需要手动删除；

---2 集成手机平台数据库 (Mongodb) 的待办数据少于各个系统数据库待办数据，表示待办推送失败，需要手动重推；

数据对比有两种方式：

1 ：通过execl 函数对比各个系统数据，找出待办转已办失败的数据和待办未推的数据；

但是实际情况可能会比较复杂，比如各系统时间格式不一致、推送待办有延时、标题不一致等问题，通过execl 很难对比数据，可以通过 SQL 语句实现数据对比；

2 ：将所有系统对应的Mongodb 、 Oracle 、 SQLServer 、 Mysql 待办数据导出到execl 中，在将所有系统execl 数据通过plsql 全部导入到 oracle 数据库中，通过 sql 对比找出想要的数据，例如 Mongodb 数据表左连接各系统Oracle 、 SQLServer 、 Mysql 数据表，匹配不上的数据，既是待办转已办失败的数据。 Oracle 、 SQLServer 、 Mysql 数据表左连接 Mongodb 数据表，匹配不上的数据，既是未推待办的数据。

(1)oracle 先创建多张表，并通过plsql 导入各个系统数据；

例如：

create table undo cjc (id varchar2(500),userName varchar2(500),account varchar2(100), updateTime varchar2(100),content nvarchar2(2000));

select * from undo cjc  for update;

create table undo erp (userName varchar2(500),account varchar2(100), updateTime varchar2(100),content nvarchar2(2000),isstart varchar2(100));

select * from undo erp  for update;

……

(2) 通过sql 进行数据对比

select distinct a.id,a.username cjc 用户名,

                a.account cjc 登录名,

                a.updatetime cjc 到达时间,

                a.content enanar 标题 ,

                b.username erp 用户名 ,

                b.account erp 登录名 ,

                b.updatetime erp 到达时间 ,

                b.content erp 标题

  from undo cjc  a

  left JOIN undoerp b

    on a.account = b.account

   and a.content like '%' || b.content || '%'

 where a.content = ‘ xxx 系统 ’

 order by erp 登录名 ;

右侧没有匹配上的数据，既是待办转已办失败的数据；

逻辑删除有问题的待办：

即通过主键ID 唯一定位到有问题的待办，将 delete 字段值由 false 改成 true ；

单条语句如下：

db.T_ChenUndo.update({"_id":ObjectId("5dd3xxxxx"),"account":"cjc","delete":false},{$set:{delete:true}},{multi:true});

根据ID 等信息，批量生成删除错误待办的脚本，即可批量修复待办转已办失败问题；

欢迎关注我的微信公众号"IT小Chen"，共同学习，共同成长！！！