千家信息网

怎么处理重复请求/并发请求的

发表于:2026-11-03 作者:千家信息网编辑
千家信息网最后更新 2026年11月03日,这篇文章主要讲解了"怎么处理重复请求/并发请求的",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么处理重复请求/并发请求的"吧!利用唯一请求编号去重你
千家信息网最后更新 2026年11月03日怎么处理重复请求/并发请求的

这篇文章主要讲解了"怎么处理重复请求/并发请求的",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"怎么处理重复请求/并发请求的"吧!

利用唯一请求编号去重

你可能会想到的是,只要请求有唯一的请求编号,那么就能借用Redis做这个去重--只要这个唯一请求编号在redis存在,证明处理过,那么就认为是重复的

代码大概如下:

    String KEY = "REQ12343456788";//请求唯一编号    long expireTime =  1000;// 1000毫秒过期,1000ms内的重复请求会认为重复    long expireAt = System.currentTimeMillis() + expireTime;    String val = "expireAt@">

业务参数去重

上面的方案能解决具备唯一请求编号的场景,例如每次写请求之前都是服务端返回一个唯一编号给客户端,客户端带着这个请求号做请求,服务端即可完成去重拦截。

但是,很多的场景下,请求并不会带这样的唯一编号!那么我们能否针对请求的参数作为一个请求的标识呢?

先考虑简单的场景,假设请求参数只有一个字段reqParam,我们可以利用以下标识去判断这个请求是否重复。用户ID:接口名:请求参数

String KEY = "dedup:U="+userId + "M=" + method + "P=" + reqParam;

那么当同一个用户访问同一个接口,带着同样的reqParam过来,我们就能定位到他是重复的了。

但是问题是,我们的接口通常不是这么简单,以目前的主流,我们的参数通常是一个JSON。那么针对这种场景,我们怎么去重呢?

计算请求参数的摘要作为参数标识

假设我们把请求参数(JSON)按KEY做升序排序,排序后拼成一个字符串,作为KEY值呢?但这可能非常的长,所以我们可以考虑对这个字符串求一个MD5作为参数的摘要,以这个摘要去取代reqParam的位置。

String KEY = "dedup:U="+userId + "M=" + method + "P=" + reqParamMD5;

这样,请求的唯一标识就打上了!

注:MD5理论上可能会重复,但是去重通常是短时间窗口内的去重(例如一秒),一个短时间内同一个用户同样的接口能拼出不同的参数导致一样的MD5几乎是不可能的。

继续优化,考虑剔除部分时间因子

上面的问题其实已经是一个很不错的解决方案了,但是实际投入使用的时候可能发现有些问题:某些请求用户短时间内重复的点击了(例如1000毫秒发送了三次请求),但绕过了上面的去重判断(不同的KEY值)。

原因是这些请求参数的字段里面,是带时间字段的,这个字段标记用户请求的时间,服务端可以借此丢弃掉一些老的请求(例如5秒前)。如下面的例子,请求的其他参数是一样的,除了请求时间相差了一秒:

   //两个请求一样,但是请求时间差一秒    String req = "{\n" +            "\"requestTime\" :\"20190101120001\",\n" +            "\"requestValue\" :\"1000\",\n" +            "\"requestKey\" :\"key\"\n" +            "}";    String req2 = "{\n" +            "\"requestTime\" :\"20190101120002\",\n" +            "\"requestValue\" :\"1000\",\n" +            "\"requestKey\" :\"key\"\n" +            "}";

这种请求,我们也很可能需要挡住后面的重复请求。所以求业务参数摘要之前,需要剔除这类时间字段。还有类似的字段可能是GPS的经纬度字段(重复请求间可能有极小的差别)。

请求去重工具类,Java实现

public class ReqDedupHelper {    /**     *     * @param reqJSON 请求的参数,这里通常是JSON     * @param excludeKeys 请求参数里面要去除哪些字段再求摘要     * @return 去除参数的MD5摘要     */    public String dedupParamMD5(final String reqJSON, String... excludeKeys) {        String decreptParam = reqJSON;        TreeMap paramTreeMap = JSON.parseObject(decreptParam, TreeMap.class);        if (excludeKeys!=null) {            List dedupExcludeKeys = Arrays.asList(excludeKeys);            if (!dedupExcludeKeys.isEmpty()) {                for (String dedupExcludeKey : dedupExcludeKeys) {                    paramTreeMap.remove(dedupExcludeKey);                }            }        }        String paramTreeMapJSON = JSON.toJSONString(paramTreeMap);        String md5deDupParam = jdkMD5(paramTreeMapJSON);        log.debug("md5deDupParam = {}, excludeKeys = {} {}", md5deDupParam, Arrays.deepToString(excludeKeys), paramTreeMapJSON);        return md5deDupParam;    }    private static String jdkMD5(String src) {        String res = null;        try {            MessageDigest messageDigest = MessageDigest.getInstance("MD5");            byte[] mdBytes = messageDigest.digest(src.getBytes());            res = DatatypeConverter.printHexBinary(mdBytes);        } catch (Exception e) {            log.error("",e);        }        return res;    }}

下面是一些测试日志:

public static void main(String[] args) {    //两个请求一样,但是请求时间差一秒    String req = "{\n" +            "\"requestTime\" :\"20190101120001\",\n" +            "\"requestValue\" :\"1000\",\n" +            "\"requestKey\" :\"key\"\n" +            "}";    String req2 = "{\n" +            "\"requestTime\" :\"20190101120002\",\n" +            "\"requestValue\" :\"1000\",\n" +            "\"requestKey\" :\"key\"\n" +            "}";    //全参数比对,所以两个参数MD5不同    String dedupMD5 = new ReqDedupHelper().dedupParamMD5(req);    String dedupMD52 = new ReqDedupHelper().dedupParamMD5(req2);    System.out.println("req1MD5 = "+ dedupMD5+" , req2MD5="+dedupMD52);    //去除时间参数比对,MD5相同    String dedupMD53 = new ReqDedupHelper().dedupParamMD5(req,"requestTime");    String dedupMD54 = new ReqDedupHelper().dedupParamMD5(req2,"requestTime");    System.out.println("req1MD5 = "+ dedupMD53+" , req2MD5="+dedupMD54);}

日志输出:

req1MD5 = 9E054D36439EBDD0604C5E65EB5C8267 , req2MD5=A2D20BAC78551C4CA09BEF97FE468A3Freq1MD5 = C2A36FED15128E9E878583CAAAFEFDE9 , req2MD5=C2A36FED15128E9E878583CAAAFEFDE9

日志说明:

  • 一开始两个参数由于requestTime是不同的,所以求去重参数摘要的时候可以发现两个值是不一样的

  • 第二次调用的时候,去除了requestTime再求摘要(第二个参数中传入了"requestTime"),则发现两个摘要是一样的,符合预期。

总结

至此,我们可以得到完整的去重解决方案,如下:

String userId= "12345678";//用户String method = "pay";//接口名String dedupMD5 = new ReqDedupHelper().dedupParamMD5(req,"requestTime");//计算请求参数摘要,其中剔除里面请求时间的干扰String KEY = "dedup:U=" + userId + "M=" + method + "P=" + dedupMD5;long expireTime =  1000;// 1000毫秒过期,1000ms内的重复请求会认为重复long expireAt = System.currentTimeMillis() + expireTime;String val = "expireAt@" + expireAt;// NOTE:直接SETNX不支持带过期时间,所以设置+过期不是原子操作,极端情况下可能设置了就不过期了,后面相同请求可能会误以为需要去重,所以这里使用底层API,保证SETNX+过期时间是原子操作Boolean firstSet = stringRedisTemplate.execute((RedisCallback) connection -> connection.set(KEY.getBytes(), val.getBytes(), Expiration.milliseconds(expireTime),        RedisStringCommands.SetOption.SET_IF_ABSENT));final boolean isConsiderDup;if (firstSet != null && firstSet) {    isConsiderDup = false;} else {    isConsiderDup = true;}

感谢各位的阅读,以上就是"怎么处理重复请求/并发请求的"的内容了,经过本文的学习后,相信大家对怎么处理重复请求/并发请求的这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

参数 时间 摘要 字段 两个 用户 处理 接口 不同 场景 标识 问题 面的 方案 日志 时候 学习 服务 相同 业务 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 广州为想互联网科技有限公司 互联网科技公司起名 中关村互联网科技集团 科技创新与互联网经济 互联网金融 金融科技 浩特互联网科技 深圳天众互联网科技公司 佰商互联网科技有限公司 济南华为互联网科技产业总部基地 广西互联网科技孵化中心 健康食品互联网创新科技园项目 本届互联网博览会上的黑科技 南博望互联网科技有限公司 滨湖区互联网智能科技产品有哪些 每天都有哪些好的互联网科技 科技互联网行业投资研究 互联网科技平台产品运营 湖北辰鑫科技互联网 三亚科技创新互联网基地 互联网科技对化妆品行业 科技互联网企业 互联网的科技 互联网科技行业发展 互联网电商科技 甘肃拓世互联网科技有限公司 互联网大会黑科技排名 科技互联网大厂 允成互联网科技有限公司融资 河南住房之家互联网科技 上海乐五互联网科技有限公司
0