全球热议:解剖屎山,寻觅黄金之第二弹
程序员客栈 2023-06-11 10:22:24

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。

在最开始,我的第一版实现是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}


(资料图片仅供参考)

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

全球热议:解剖屎山,寻觅黄金之第二弹

2023-06-11 10:22:24

热门:考后心理波动期来了?几个方法帮考生收心

2023-06-11 09:08:02

义马京东代运营_提升电商业绩的有效方法

2023-06-11 08:09:30

在家乡的热土上培育梦想 世界看热讯

2023-06-11 07:52:51

焦点快看:德云社违反卫生管理, 未取得卫生许可证被罚3万

2023-06-11 07:04:35

上午9点,球王来了!梅西抵达北京,第7次来中国,却无缘交手国足_今日聚焦

2023-06-11 06:14:41

蒙脱石散饭前吃还是饭后吃好一些(蒙脱石散饭前吃还是饭后吃)

2023-06-11 05:39:59

最新消息:陕西西安推动“十里沣河”文旅深度融合古老沣河涌动新活力

2023-06-11 05:06:04

全球观速讯丨清远公用品牌IP形象亮相

2023-06-11 03:34:01

眼睛充血怎么快速消除冷敷(眼睛充血怎么快速消除)

2023-06-11 03:02:48

当前信息:国家防总针对南方地区持续降雨启动防汛四级应急响应

2023-06-11 03:03:01

RK3588-WIF/BT调试之AP6256

2023-06-11 01:53:05

化疗的时候有什么症状(化疗是什么感觉)

2023-06-11 01:09:14

上证指数是什么意思代表什么_上证指数是什么意思

2023-06-11 00:57:51

我就是干检测的,我们见证了中国食品质量的显著提高_世界播报

2023-06-11 00:20:53

在一根长为884m的铁管一端重重敲击一下(在长为884m的金属管的一端敲击一下)

2023-06-10 23:51:37

全球今头条!刘国梁提拔8人入围国家队,15岁小张怡宁入选,陈幸同王一迪师妹

2023-06-10 23:08:43

今日关注:美国旧金山毒品泛滥、暴力犯罪猖獗 市民称正在目睹西方文明崩溃

2023-06-10 22:27:46

特斯拉财源滚滚:市值暴涨上万亿 福特通用送200多亿充电“大礼”|世界视讯

2023-06-10 21:57:37

米哈游的专属二游困境:从「虹吸竞品」到「提纯自己」

2023-06-10 20:51:16

好玩好看,上海国际电影节首次推出“数字影视体验展”-全球热议

2023-06-10 20:16:21

【全球报资讯】西安又要下雨了!具体时间……

2023-06-10 19:47:42

河南:关于做好2023年军队院校招收普通高中毕业生政治考核工作的通知_全球新动态

2023-06-10 19:12:10

ipad是什么意思呢(ipad是什么)|世界微速讯

2023-06-10 18:08:01

上午9点,球王来了!梅西抵达北京,第7次来中国,却无缘交手国足

2023-06-10 18:06:25

视点!显示器销量TOP10公布:AOC第一 小米第二

2023-06-10 16:43:11

拼多多商家入驻条件(拼多多商家入驻)-世界新消息

2023-06-10 16:21:45

340多家葡萄酒企业悉数亮相 第三届葡萄酒节博览会进行时

2023-06-10 15:43:18

咖位拉满!可兰白克潮男出镜,花姐姐支持热火,内马尔拥抱巴特勒|环球微动态

2023-06-10 15:51:33

意外险一般赔付多少?赔付多久能到账?|焦点速看

2023-06-10 14:17:41

美英领导人发表《大西洋宣言》 美英寻求建立“新型创新伙伴关系”!

2023-06-10 14:02:07

【征集】“光影相约 印象金碧”职工摄影大赛等你来参加 当前报道

2023-06-10 12:29:41

世界滚动:文博会云上追星、媒体主播线上带货 火爆直播为展商开拓商机

2023-06-10 12:21:43

孔文举年十岁随父翻译_孔文举年十岁

2023-06-10 11:22:14

天天微动态丨2023高考落幕,多地公布志愿填报时间

2023-06-10 08:17:08

全球时讯:王牌对王牌电影刘德华粤语 王牌对王牌电影刘德华

2023-06-10 03:02:46

特斯拉被偷家!奔驰L3加州获批 截胡FSD直捣老巢

2023-06-09 20:05:45

【天天新要闻】海南航空“新规”引争议,听听律师怎么说……

2023-06-09 19:23:38

“大飞机”APP发布“C919私募基金”?中国商飞声明:假的

2023-06-09 14:13:50

新的隐形眼镜要泡多久 新的隐形眼镜需要泡多长时间

2023-06-09 13:06:15

百度贴吧怎么注册帐号登录(百度贴吧怎么注册帐号)

2023-06-09 12:56:13

九寨沟最新遥感监测:全域植被逐渐恢复,火花海恢复昔日美丽 实时

2023-06-09 12:38:41

全球最资讯丨twitch账号注册教程_twitch账号注册

2023-06-09 12:02:06

大面积开镰收获 全国麦收进度已过六成

2023-06-09 11:25:42

沪深股通|苏垦农发6月8日获外资卖出4.95万股

2023-06-09 10:52:55

ps怎么羽化图片边缘怎么变模糊了(ps怎么羽化图片边缘)

2023-06-09 10:47:10

“K粉”抗抑郁?恩华药业将开展临床试验,市场前景如何

2023-06-09 10:46:04

快手科技刘震:全球短视频用户渗透率尚不足20% 出海是新机遇

2023-06-09 09:25:51

全球快看点丨六安人速看!今天起下调↓↓↓

2023-06-09 08:09:24

焦点速读:买房返黄金!有开发商为突破楼盘底价玩出新招

2023-06-09 07:29:06

【世界快播报】暖气片旁边的温控阀门怎么调节(暖气片上两个温控阀是什么)

2023-06-09 07:12:05

天天播报:自然科学基金报告:博士毕业人数持续增长,青年基金占比要提高

2023-06-09 06:56:11

“职引未来”自治区高校毕业生民营企业专场招聘会举办_视点

2023-06-09 06:26:34

每日视点!400首古诗有哪些 四百字左右的古文或诗词有哪些?

2023-06-09 05:45:50

当代中国与世界研究院于运全:短视频、网络文学、游戏是国际关注中国的三大话题形态

2023-06-09 04:27:48

讯息:四川一公务员回应搂抱女同事:她心情不好才拥抱,动作很浅

2023-06-09 04:13:27

辽宁农业单招都考什么时候满分多少2023成绩

2023-06-09 03:44:20

安川电机将在日本北九州新建机器人工厂-环球观速讯

2023-06-09 02:55:33

淮北市庆相企业管理有限责任公司(关于淮北市庆相企业管理有限责任公司介绍) 滚动

2023-06-09 02:23:58

广汽集团(02238)A股将于6月16日每股派现金红利0.18元|当前热文

2023-06-09 02:13:50

高温季来得越来越早,未来10天上海天天冲击35℃ 天天最新

2023-06-09 01:31:41

武汉邓南街“路长”为优化营商环境“保驾护航” 天天快讯

2023-06-09 00:26:02

图灵看市6.8晚-黄金短期修复、空头将测试前低|天天观热点

2023-06-09 00:16:31

长安欧尚Z6智电iDD迅猛增长,迎来第10万台下线_环球通讯

2023-06-08 22:39:33

每日短讯:武汉邓南振兴街社区开展安全生产月宣传活动

2023-06-08 21:40:56

少见!小小仙人球上一夜开出11朵花原来是"开花机器"

2023-06-08 21:42:50

每日时讯!“烧烤热”过去后,淄博掏出了另一张文旅牌…

2023-06-08 20:21:23

如何拿第一?一汽奔腾NAT青岛节能挑战赛冠军访谈

2023-06-08 19:43:48

清越科技:公司未向苹果供货 目前8英寸硅基OLED微显示器生产线的良率、产能尚处于量产初期_今日精选

2023-06-08 19:32:40

全球关注:别克ELECTRA E4信息曝光 奥特能纯电平台打造

2023-06-08 19:03:58

环球播报:直播丨车载充电机的架构、原理及故障

2023-06-08 16:11:26

全球微速讯:消息称TikTok寻求将全球电商业务规模扩大超3倍至200亿美元

2023-06-08 15:05:44

热门看点:二叔丁基过氧化物(99)商品报价动态(2023-06-08)

2023-06-08 13:40:41

新盛唐集团有限公司_关于新盛唐集团有限公司简介 焦点资讯

2023-06-08 08:48:54

金桥信息06月07日大涨,股价创历史新高_资讯

2023-06-08 08:41:16

润达医疗与华为云签署战略合作协议

2023-06-08 08:24:18

无畏契约国服与国际服的区别一览[多图]

2023-06-08 07:15:40

悦达起亚入选“私家车新车上牌免查验试点企业”|报道

2023-06-08 06:48:32

微速讯:2026世界杯官推欢迎梅西:迈阿密迎来了足球标志性人物

2023-06-08 06:07:07

端午假期前一天北京至淄博高铁一票难求 观察

2023-06-08 05:58:23

@所有人 一起为每一位考生送上祝福!-环球播报

2023-06-08 05:17:15

探访贵州遵义“中国辣椒城”|世界视讯

2023-06-08 05:02:09

金百泽:研发了400G光模块PCB关键工艺技术_环球精选

2023-06-08 04:50:03

重庆市第六次妇女代表大会举行 重庆爱尔梅红、黄韵梅受邀参会

2023-06-08 03:07:33

B站一季度营收近51亿元 净亏损同比大幅收窄

2023-06-08 02:14:17

全球热资讯!深水规院06月07日主力资金大幅流出

2023-06-08 01:41:16

宇邦新材:公司的MBB焊带和SMBB焊带分别主要适用于P型的PERC电池和N型的Topcon电池

2023-06-08 01:27:44

金建高铁兰江特大桥7号墩-8号墩边跨连续梁合龙 实时焦点

2023-06-08 00:15:03

“地球褶皱”里的山海情 天天头条

2023-06-08 00:17:06

【全球新要闻】凯美特气:子公司惠州凯美特例行停车检修完成并复产

2023-06-07 22:58:34

全国爱眼日:“江苏博爱光明行”(常州)项目正式启动 全球微头条

2023-06-07 22:33:35

影视股大爆发!百亿龙头3天2板,“AI+IP”双概念催化,这些方向或有望升温

2023-06-07 22:36:31

保护环境建议书六百字

2023-06-07 20:38:23

天津急救医生婚假加了个班 世界观焦点

2023-06-07 20:27:39

ST华铁信披违规被责令改正,律师称股民索赔立案申请获审查通过

2023-06-07 19:34:59

系统教程篇:设置的系统还原点不起作用的原因|环球快资讯

2023-06-07 19:32:35

中国科传涨停

2023-06-07 18:36:35

100家!山东2023年一季度工业领域“开门红”奖励名单公布 世界热点

2023-06-07 17:54:56

(经济)江苏出台14条措施推动外贸稳规模优结构

2023-06-07 17:43:06

新消息丨斯塔福犬图片_斯塔福

2023-06-07 17:36:12