CSDN_LiMingfly的博客

使用CompletableFuture.runAsync方法异步执行每个任务，生成SQL语句并调用jobDBSync.executeOut方法执行同步操作。遍历targetJobs，为每个任务创建一个jobMap，包含源数据库、目标数据库、任务信息和日志标题。创建一个CompletableFuture数组futures，用于存储每个任务的异步执行结果。我们已经将其他数据源的数据同步到本地 现在是要将本地的数据同步到其他数据库了。如果任务执行过程中出现异常，记录错误日志并继续执行下一个任务。

需要处理成自己公司统一标准的数据集，就会使用到数据的同步和处理清理等操作。由于不同的来源 需要使用对应的处理 故采用实现spring的bean方式 进行拓展。其余的redis和oracle由于很多 这里就不一一提供了 可关注私信我获取源码。下属存放对应的配置文件的信息 和使用xstream流的方式解析获取对应的配置信息。这里给出将其他数据同步到本地数据作为一个方案的演变 分享给大家。树代码中对应的类型链接 提供了不同的实现 如截图。使用异步线程池注解启动。对应的redis的创建。

3、然后每次读取的时候，可以避免读取1条查询1次数据库，如果SQL支持批量查询的话，可以每次变量指定条数10条，就批量查询一次数据库，然后内存里面进行计算判断，然后一次过滤需要查询3次数据库，那边尽量避免每次都查询3次，增加一些判断，第一个查询不符合后，就不查询了，同时SQL中使用limit加索引。每个证件号去进行查表(3000w左右，一张表2000w多。一张表5万多条)匹配，将符合要求的匹配结果数据写到一个新的文件里面。2、将1000w的提前分成1000个1w的文件，后就可以并行同时读取处理几个文件。

a:检查 系统相关性能 top / mpstat / pidstat / vmstat 检查 CPU / IO 占比，由进程到线程。d:检查是否由于 SQL 编写不当造成的不走索引，例如 使用函数、not in、%like%、or 等。e:其他情况: 深分页、数据字段查询过多、Join 连表不当、业务大事物问题、死锁、索引建立过多。f:对于热点数据进行前置，降低 MySQL 的压力 redis、mongodb、memory。当时测试同时的自动化接口测试的时候非常的慢，压测的结果大概5秒钟。