1.解决审计统计没有显示的bug

2.解决数据中心数据查询过慢和数据展示bug

pqs-system/system-boot/src/main/java/com/njcn/system/excel/DataListener.java

@@ -1,11 +1,13 @@
 package com.njcn.system.excel;
 
+import cn.hutool.core.collection.CollUtil;
 import com.alibaba.excel.context.AnalysisContext;
 import com.alibaba.excel.read.listener.ReadListener;
 import com.alibaba.excel.util.ListUtils;
 import com.njcn.system.mapper.UserLogMapper;
 
 import java.util.List;
+import java.util.stream.Collectors;
 
 // 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
 public class DataListener implements ReadListener<UserLogExcel> {
@@ -14,7 +16,7 @@ public class DataListener implements ReadListener<UserLogExcel> {
     /**
      * 每隔5条存储数据库，实际使用中可以100条，然后清理list ，方便内存回收
      */
-    private static final int BATCH_COUNT = 1000;
+    private static final int BATCH_COUNT = 5000;
     /**
      * 缓存的数据
      */
@@ -23,14 +25,16 @@ public class DataListener implements ReadListener<UserLogExcel> {
      * 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
      */
     private UserLogMapper userLogMapper;
+    private List<String> ids;
 
     /**
      * 如果使用了spring,请使用这个构造方法。每次创建Listener的时候需要把spring管理的类传进来
      *
      * @param userLogMapper
      */
-    public DataListener(UserLogMapper userLogMapper) {
+    public DataListener(UserLogMapper userLogMapper,List<String> ids) {
         this.userLogMapper = userLogMapper;
+        this.ids = ids;
     }
 
     /**
@@ -66,6 +70,11 @@ public class DataListener implements ReadListener<UserLogExcel> {
      * 加上存储数据库
      */
     public void saveData() {
-        userLogMapper.insertBatch(cachedDataList);
+        //剔除数据库存在的数据
+        List<UserLogExcel> newCachedDataList = cachedDataList.stream().filter(x -> !ids.contains(x.getId())).collect(Collectors.toList());
+        System.err.println(newCachedDataList.size());
+        if(CollUtil.isNotEmpty(newCachedDataList)){
+            userLogMapper.insertBatch(newCachedDataList);
+        }
     }
 }