【SpringBoot实战】手把手教你实现数据报表统计并定时推送【SpringBoot实战】手把手教你实

文章图片

通过一个小的业务点出发，搭建一个可以实例使用的项目工程，将各种知识点串联起来; 实战演练专题中，每一个项目都是可以独立运行的，包含若干知识点，甚至可以不做修改直接应用于生产项目；
今天的实战项目主要解决的业务需求为： 每日新增用户统计，生成报表，并邮件发送给相关人
本项目将包含以下知识点：

基于 MySql 的每日新增用户报表统计（如何统计每日新增用户，若日期不连续如何自动补 0？）
定时执行报表统计任务
MyBatis + MySql 数据操作
邮件发送
Thymeleaf 引擎实现报表模板渲染

I. 需求拆解需要相对来说属于比较明确的了，目的就是实现一个自动报表统计的任务，查询出每日的用户新增情况，然后推送给指定的用户
因此我们将很清晰的知道，我们需要干的事情
定时任务这里重点放在如何来支持这个任务的定时执行，通常来说定时任务会区分为固定时刻执行 + 间隔时长执行两种（注意这种区分主要是为了方便理解，如每天五点执行的任务，也可以理解为每隔 24h 执行一次）
前者常见于 一次性任务 ，如本文中的每天统计一次，这种就是相对典型的固定时刻执行的任务；
后者常见于 轮询式任务 ，如常见的应用探活(每隔 30s 发一个 ping 消息，判断服务是否健在）
定时任务的方案非常多，有兴趣的小伙伴可以关注一波“一灰灰 blog”公众号，蹲守一个后续
本文将直接采用 Spring 的定时任务实现需求场景，对这块不熟悉的小伙伴可以看一下我之前的分享的博文

180801-Spring 之定时任务基本使用篇
180803-Spring 定时任务高级使用篇
每日新增用户统计

每日新增用户统计，实现方式挺多的，比如举几个简单的实现思路

基于 redis 的计数器：一天一个 key，当天有新用户时，同步的实现计数器+1
基于数据库，新增一个统计表，包含如日期 + 新增用户数 + 活跃用户数等字段
有新用户注册时，对应日期的新增用户数，活跃用户数 + 1
老用户今日首次使用时，活跃用户数 + 1

上面两个方案都需要借助额外的库表来辅助支持，本文则采用直接统计用户表，根据注册时间来聚合统计每日的新增用户数

优点：简单，无额外要求，适用于数据量小的场景（比如用户量小于百万的）
缺点：用户量大时，数据库压力大

关于如何使用 mysql 进行统计每日新增用户，不熟悉的小伙伴，推荐参考博主之前的分享文章

220707-MySql 按时、天、周、月进行数据统计 - 一灰灰 Blog [4]

报表生成&推送用户接下来就是将上面统计的数据，生成报表然后推送给用户；首先是如何将数据生成报表？其次则是如何推送给指定用户？
将数据组装成报表的方式通常取决于你选择的推送方式，如飞书、钉钉之类的，有对应的开发 api，可以直接推送富文本；
本文的实现姿势则选择的是通过邮件的方式进行发送，why?

飞书、钉钉、微信之类的，需要授权，对于不使用这些作为办公软件的小伙伴没什么意义
短信需要钱....

对于邮件，大家应该都有，无论是 qq 邮箱，还是工作邮箱；基本上对于想要直接跑本文的小伙伴来说，没有什么额外的门槛
关于 java/spring 如何使用邮箱，对此不太熟悉的小伙伴，可以参考博主之前的分享文章

【中间件】SpringBoot 系列之邮件发送姿势介绍 | 一灰灰 Blog [5]

上面文章中介绍的是 FreeMaker 来实现模板渲染，本文则介绍另外一个知识点，借助 Thymleaf 来实现数据报表的生成（一篇文章获取这么多知识点，就问你开不开心 O(∩_∩)O）
II. 分布实现 1. 项目搭建
首选搭建一个基本的 SpringBoot 应用，相信这一步大家都很熟悉了；若有不懂的小伙伴，请点赞、评论加博主好友，手把手教你，不收费
最终的项目依赖如下

org.springframework.boot spring-boot-starter-mail org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-thymeleaf com.google.guava guava 31.1-jre org.mybatis.spring.boot mybatis-spring-boot-starter 2.2.2 mysql mysql-connector-java

别看上面好像依赖了不少包，实际上各有用处

spring-boot-starter-web : 提供 web 服务
spring-boot-starter-mail : 发邮件就靠它
mybatis-spring-boot-starter : 数据库操作

我们的用户存在 mysql 中，这里使用 mybatis 来实现 db 操作（又一个知识点来了，收好不谢）
2. 数据准备
文末的源码包含库表结构，初始化数据，可以直接使用
既然模拟的是从数据库中读取每日新增用户，所以我们准备了一张表

CREATE TABLE `u1` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id', `name` varchar(64) NOT NULL DEFAULT '' COMMENT 'name', `email` varchar(512) NOT NULL DEFAULT '' COMMENT 'email', `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '生成时间', `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', PRIMARY KEY (`id`), KEY `idx_name` (`name`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='u1测试';

接下来准备写入一些数据；为了模拟某些天没有新增用户，贴心的一灰灰博主给大家提供基于 python 的数据生成脚本，源码如下 (python3+，对 python 不熟的小伙伴，可以到博主的站点进补一下，超链 [6] )

import datetimedef create_day_time(n): now = datetime.datetime.now() now = now - datetime.timedelta(days = n) return now.strftime("%Y-%m-%d %H:%S:%M")vals = [] for i in range(0, 100): if (i % 32 % 6) == 0: # 模拟某一天没有用户的场景 continue vals.append(f"('{i}_灰灰', '{i}hui@email.com', '{create_day_time(i % 32)}', '{create_day_time(i % 32)}')")values = ',\n\t'.join(vals) sqls = f"INSERT INTO story.u1 (name, email, create_time, update_time) VALUES \n{values}; " print(sqls)

3. 全局配置
数据准备完毕之后，接下来配置一下 db、email 相关的参数
resources/application.yml 文件内容如下

spring: #邮箱配置 mail: host: smtp.163.com from: xhhuiblog@163.com # 使用自己的发送方用户名 + 授权码填充 username: password: default-encoding: UTF-8 properties: mail: smtp: auth: true starttls: enable: true required: truedatasource: url: jdbc:mysql://127.0.0.1:3306/story?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai username: root password:thymeleaf: mode: HTML encoding: UTF-8 servlet: content-type: text/html cache: falsemybatis: mapper-locations: classpath:mapper/*.xml type-aliases-package: com.git.hui.demo.report.dao.po

上面的配置分为三类

数据库相关：连接信息，用户名密码， mybatis 配置
thymleaf：模板渲染相关
email: 邮箱配置相关，请注意若使用博主的源码，在本地运行时，请按照前面介绍的邮箱博文中手把手的教程，获取您自己的邮箱授权信息，填在上面的 username, password 中

4. 数据报表统计实现
接下来就正式进入大家喜闻乐见的编码实现环节，我们直接使用 mybaits 来实现数据库操作，定义一个统计的接口

/** * @author YiHui */ public interface UserStatisticMapper { /** * 统计最近多少天内的新增用户数 * * @param days 统计的天数，从当前这一天开始 * @return */ List statisticUserCnt(int days); }

接口中定义了一个 PO 对象，就是我们希望返回的数据，其定义就非常清晰简单了，时间 + 数量

@Data public class UserStatisticPo { private String day; private Integer count; }

上面定义的知识接口，具体首先，当然是放在 mybatis 的传统 xml 文件中，根据前面 application.yml 配置，我们的 xml 文件需要放在 resources/mapper 目录下，具体实现如下

SELECT date_table.day as `day`, IFNULL(data.cnt, 0) as `count` from (select DATE_FORMAT(create_time, '%Y-%m-%d') day, count(id) cnt from u1 GROUP BY day) data right join (SELECT @date := DATE_ADD(@date, interval - 1 day) day from (SELECT @date := DATE_ADD(CURDATE(), interval 1 day) from u1) days limit #{days}) date_table on date_table.day = data.day

重点看一下上面的 sql 实现，为什么会一个 join 逻辑？
那我们稍稍思考，若我们直接通过日期进行 format 之后，再 group 一下统计计数，会有什么问题？给大家 3s 的思考时间

好的 3s 时间到，现在公布答案，当某一天一个新增用户都没有的时候，会发生什么事情？会出现这一天的数据空缺，即返回的列表中，少了一天，不连续了，如果前段的小伙伴基于这个列表数据进行绘图，很有可能出现异常
所以出于系统的健壮性考虑（即传说中的鲁棒性），我们希望若某一天没有数据，则对应的计数设置为 0
具体的 sql 说明就不展开了，请查看博文获取更多： MySql 按时、天、周、月进行数据统计 [7]
5. 报表生成实现
数据统计出来之后，接下来就是基于这些数据来生成我们报表，我们借助 Thymleaf 来实现，因此先写一个 html 模板， resources/templates/report.html

每日用户统计 - 锐客网 .title22 { font: 16px/24px bold; position: relative; display: block; padding: 0 6px; margin-left: -6px; margin-bottom: 12px; font-size: 22px; font-weight: 550; }.container { background: #fff; overflow: auto; padding: 6px; margin: 6px; font-family: 'Microsoft YaHei UI', 'Microsoft YaHei', '微软雅黑', SimSun, '宋体'; }.content { overflow: auto; padding: 6px 12px; margin: 6px; }table { border: none; border-collapse: collapse; table-layout: fixed; }.thead { font: 14px/20px bold; font-weight: 550; background: #eaeaea; line-height: 1.5em; }.tbody { font: 15px/20px normal; font-weight: 540; background: #fff; }tr > td { padding: 6px 12px; border: 1px solid #d8d8d8; max-width: 600px; } 统计标题日期新增用户 2022-08-01 1

日期	新增用户
2022-08-01	1

一个非常简单的 table 模板，需要接收三个数据，与之对应的 vo 对象，我们定义如下

@Data public class StatisticVo { // 表格数据项，即日期 + 数量的列表 private List list; // 网页的标题 private String htmlTitle; // 表格标题 private String tableTitle; }

接下来就是拿到数据之后，将它与模板渲染得到我们希望的数据，这里主要借助的是 org.thymeleaf.spring5.SpringTemplateEngine
核心实现如下

@Service public class StatisticAndReportService { @Autowired private UserStatisticMapper userStatisticMapper; @Autowired private JavaMailSender javaMailSender; @Autowired private Environment environment; @Autowired private SpringTemplateEngine templateEngine; public StatisticVo statisticAddUserReport() { List list = userStatisticMapper.statisticUserCnt(30); StatisticVo vo = new StatisticVo(); vo.setHtmlTitle("每日新增用户统计"); vo.setTableTitle(String.format("【%s】新增用户报表", LocalDate.now())); vo.setList(list); return vo; }public String renderReport(StatisticVo vo) { Context context = new Context(); context.setVariable("vo", vo); String content = templateEngine.process("report", context); return content; } }

模板渲染就一行 templateEngine.process("report", context) ，第一个参数为模板名，就是上面的 html 文件名（对于模板文件、静态资源怎么放，放在那儿，这个知识点当然也可以在一灰灰的站点获取，超链 [8] ）
第二个参数用于封装上下文，传递模板需要使用的参数
5. 邮件发送
报表生成之后，就是将它推送给用户，我们这里选定的是邮箱方式，具体实现也比较简单，但是在最终部署到生产环境（如阿里云服务器时，可能会遇到坑，同样明显的知识点，博主会没有分享么？当然不会没有了， Email 生产环境发送排雷指南，你值得拥有 [9] ）

/** * 发送邮件的逻辑 * * @param title * @param content * @throws MessagingException */ public void sendMail(String title, String content) throws MessagingException { MimeMessage mimeMailMessage = javaMailSender.createMimeMessage(); MimeMessageHelper mimeMessageHelper = new MimeMessageHelper(mimeMailMessage, true); //邮件发送人，从前面的配置参数中拿，若没有配置，则使用默认的xhhuiblog@163.com mimeMessageHelper.setFrom(environment.getProperty("spring.mail.from", "xhhuiblog@163.com")); //邮件接收人，可以是多个 mimeMessageHelper.setTo("bangzewu@126.com"); //邮件主题 mimeMessageHelper.setSubject(title); //邮件内容 mimeMessageHelper.setText(content, true); // 解决linux上发送邮件时，抛出异常 JavaMailSender no object DCH for MIME type multipart/mixed Thread.currentThread().setContextClassLoader(javax.mail.Message.class.getClassLoader()); javaMailSender.send(mimeMailMessage); }

上面的实现，直接写死了收件人邮箱，即我本人的邮箱，各位大佬在使用的时候，请记得替换一下啊
上面的实现除了发送邮件这个知识点之外，还有一个隐藏的获取配置参数的知识点，即 environment#getProperty() ，有兴趣的小伙伴翻博主的站点吧
6. 定时任务
上面几部基本上就把我们的整个任务功能都实现了，从数据库中统计出每日新增用户，然后借助 Thymleaf 来渲染模板生成报告，然后借助 email 进行发送
最后的一步，就是任务的定时执行，直接借助 Spring 的 Schedule 来完成我们的目标，这里我们希望每天 4:15 分执行这个任务，如下配置即可

// 定时发送，每天4:15分统计一次，发送邮件 @Scheduled(cron = "0 15 4 * * ?") //下上面这个是每分钟执行一次，用于本地测试 //@Scheduled(cron = "0/1 * * * * ?") public void autoCalculateUserStatisticAndSendEmail() throws MessagingException { StatisticVo vo = statisticAddUserReport(); String content = renderReport(vo); sendMail("新增用户报告", content); }

7. 测试
最后测试演练一下，启动方法如下，除了基本的启动注解之外，还指定了 mapper 接口位置，开启定时任务；感兴趣的小伙伴可以试一下干掉这两个注解会怎样，评论给出你的实测结果吧

@EnableScheduling @MapperScan(basePackages = "com.git.hui.demo.report.dao") @SpringBootApplication public class Application { public static void main(String[] args) { SpringApplication.run(Application.class); } }

当然我再实际测试的时候，不可能真等到早上四点多来看是否执行，大晚上还是要睡觉的；因此本地测试的时候，可以将上面定时任务改一下，换成每隔一分钟执行一次
接一个 debug 的中间图

文章图片

打开的内容展示

文章图片

【【SpringBoot实战】手把手教你实现数据报表统计并定时推送】此外，源码除了实现了定时推送之外，也提供了一个 web 接口，访问之后直接可以查看报表内容，方便大家调样式，实现如下

@Controller public class StatisticReportRest {@Autowired private StatisticAndReportService statisticAndReportSchedule; @GetMapping(path = "report") public String view(Model model) { StatisticVo vo = statisticAndReportSchedule.statisticAddUserReport(); model.addAttribute("vo", vo); return "report"; } }

8.干货总结
最后进入一灰灰的保留环节，这么“大”一个项目坐下来的，当然是得好好盘一盘它的知识点了，前面的各小节内容中有穿插的指出相应的知识点，接下来如雨的知识点将迎面袭来，不要眨眼

Spring 定时任务@Schedule
怎么用？-> 180801-Spring 之定时任务基本使用篇 - 一灰灰 Blog [10]
多个任务串行并行，是否会相互影响？自定义线程池怎么整？一个异常会影响其他么？-> Spring 定时任务高级使用篇 - 一灰灰 Blog [11]
数据库统计每日新增
mysql 直接统计日新增，sql 怎么写？时间不连续，如何规避？-> MySql 按时、天、周、月进行数据统计 - 一灰灰 Blog [12]
mybatis 操作 db 怎么玩？-> Mybatis 系列教程 [13]
模板渲染
数据报表生成，直接字符串拼接？还是模板引擎的渲染？
更多的 spring web 知识点 -> SpringWeb 专栏 |
邮件发送
怎么发邮件？-> SpringBoot 无障碍使用邮箱服务 [15]
如何避免上线不采坑 -> Email 生产环境发送排雷指南，你值得拥有 [16]

除了上面比较突出的知识点之外，当然还有其他的，如 Spring 如何读取配置参数，SpringMVC 如何向模板中传递上下文，模板语法，静态资源怎么放等等
写到这我自己都惊呆了好么，一篇文章这么多知识点，还有啥好犹豫的，这可能是我这个假期内最后一篇实战干货了，马上要开学了，老婆孩子回归之后，后续的更新就靠各位读友的崔更保持了
欢迎关注我的公众号：敲代码的老贾，回复“领取”赠送《Java面试》资料，阿里，腾讯，字节，美团，饿了么等大厂