Appearance
与其说是读取Excel倒不如说是导入Excel,一般读取Excel文件后会将Excel数据导入到数据库中,上文我们已经做完了连接数据库相关的准备操作,接下来开始写读取Excel的逻辑。
1.创建监听器
这个监听器包含了保存到数据库的部分,所以本质上不能叫读取Excel,应该叫导入到Excel更加合适
java
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener;
import com.alibaba.excel.util.ListUtils;
import com.alibaba.fastjson2.JSON;
import com.xk857.excel.domain.DemoData;
import com.xk857.excel.service.IDemoService;
import lombok.extern.slf4j.Slf4j;
import java.util.List;
/**
* @author cv大魔王
* @version 1.0
* @date 2022/8/13
*/
// 有个很重要的点 DemoDataListener 不能被spring管理,要每次读取excel都要new,然后里面用到spring可以构造方法传进去
@Slf4j
public class DemoDataListener implements ReadListener<DemoData> {
// 每隔5条存储数据库,实际使用中可以100条,然后清理list ,方便内存回收
private static final int BATCH_COUNT = 100;
private List<DemoData> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
private IDemoService demoService;
public DemoDataListener(IDemoService demoService) {
this.demoService = demoService;
}
@Override
public void invoke(DemoData data, AnalysisContext context) {
log.info("解析到一条数据:{}", JSON.toJSONString(data));
cachedDataList.add(data);
// 达到BATCH_COUNT了,需要去存储一次数据库,防止数据几万条数据在内存,容易OOM
if (cachedDataList.size() >= BATCH_COUNT) {
saveData();
// 存储完成清理 list
cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
}
}
/**
* 所有数据解析完成了 都会来调用
*/
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
// 这里也要保存数据,确保最后遗留的数据也存储到数据库
saveData();
log.info("所有数据解析完成!");
}
private void saveData() {
log.info("{}条数据,开始存储数据库!", cachedDataList.size());
demoService.saveBatch(cachedDataList);
log.info("存储数据库成功!");
}
@Override
public void onException(Exception exception, AnalysisContext context) {
log.error("解析失败,但是继续解析下一行:{}", exception.getMessage());
// 如果是某一个单元格的转换异常 能获取到具体行号
// 如果要获取头的信息 配合invokeHeadMap使用
if (exception instanceof ExcelDataConvertException) {
ExcelDataConvertException excelDataConvertException = (ExcelDataConvertException) exception;
log.error("第{}行,第{}列解析异常,数据为:{}", excelDataConvertException.getRowIndex(), excelDataConvertException.getColumnIndex(), excelDataConvertException.getCellData());
// TODO 实际业务处理参考:将异常保存到数据库后配合消息队列或其他方法进行消息投递,告知用户哪里错了。
}
}
}
2.Contrller层
java
@RestController
@RequestMapping("/excel")
public class ExcelController {
@Autowired
private IDemoService demoService;
@PostMapping("upload")
@ResponseBody
public String upload(MultipartFile file) throws IOException {
EasyExcel.read(file.getInputStream(), DemoData.class, new DemoDataListener(demoService)).sheet().doRead();
return "success";
}
}