千家信息网

Java中ShardingSphere分库分表的示例分析

发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,这篇文章给大家分享的是有关Java中ShardingSphere分库分表的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一. 项目需求我们做项目的时候,数据量比较大
千家信息网最后更新 2026年11月01日Java中ShardingSphere分库分表的示例分析

这篇文章给大家分享的是有关Java中ShardingSphere分库分表的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

一. 项目需求

我们做项目的时候,数据量比较大,单表千万级别的,需要分库分表,于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比较容易上手。

二. 简介sharding-sphere

官网地址: https://shardingsphere.apache.org/

  • ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

  • ShardingSphere定位为关系型数据库中间件,旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。 它与NoSQL和NewSQL是并存而非互斥的关系。NoSQL和NewSQL作为新技术探索的前沿,放眼未来,拥抱变化,是非常值得推荐的。反之,也可以用另一种思路看待问题,放眼未来,关注不变的东西,进而抓住事物本质。 关系型数据库当今依然占有巨大市场,是各个公司核心业务的基石,未来也难于撼动,我们目前阶段更加关注在原有基础上的增量,而非颠覆

sharding-jdbc 定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。

适用于任何基于Java的ORM框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 基于任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP等。 支持任意实现JDBC规范的数据库。目前支持MySQL,Oracle,SQLServer和PostgreSQL

三. 项目实战

本项目基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表

1. pom.xml引入依赖

    4.0.0            org.springframework.boot        spring-boot-starter-parent        2.1.5.RELEASE                com.xd    spring-boot-sharding-table    0.0.1-SNAPSHOT    spring-boot-sharding-table    基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表             1.8                             org.springframework.boot            spring-boot-starter-web                             org.springframework.boot            spring-boot-starter-test            test                                    mysql            mysql-connector-java            runtime                                    com.baomidou            mybatis-plus-boot-starter            3.1.1                                            io.shardingsphere            sharding-jdbc-spring-boot-starter            3.1.0                                    io.shardingsphere            sharding-jdbc-spring-namespace            3.1.0                                            org.projectlombok            lombok            1.18.8                                                     org.springframework.boot                spring-boot-maven-plugin                         

2. 创建数据库和表

ds0      ├── user_0          └── user_1        ds1       ├── user_0          └── user_1

既然是分库分表 库结构与表结构一定是一致的

数据库: ds0

CREATE DATABASE IF NOT EXISTS `ds0` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */; USE `ds0`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for user_0 -- ---------------------------- DROP TABLE IF EXISTS `user_0`; CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -- ---------------------------- -- Table structure for user_1 -- ---------------------------- DROP TABLE IF EXISTS `user_1`; CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; SET FOREIGN_KEY_CHECKS = 1;

数据库: ds1

CREATE DATABASE IF NOT EXISTS `ds1` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */; USE `ds1`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for user_0 -- ---------------------------- DROP TABLE IF EXISTS `user_0`; CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -- ---------------------------- -- Table structure for user_1 -- ---------------------------- DROP TABLE IF EXISTS `user_1`; CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; SET FOREIGN_KEY_CHECKS = 1;

3. application.properties (重点)基本是在这个文件配置的

# 数据源 ds0,ds1sharding.jdbc.datasource.names=ds0,ds1# 第一个数据库sharding.jdbc.datasource.ds0.type=com.zaxxer.hikari.HikariDataSourcesharding.jdbc.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driversharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?characterEncoding=utf-8&&serverTimezone=GMT%2B8sharding.jdbc.datasource.ds0.username=rootsharding.jdbc.datasource.ds0.password=root # 第二个数据库sharding.jdbc.datasource.ds1.type=com.zaxxer.hikari.HikariDataSourcesharding.jdbc.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driversharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?characterEncoding=utf-8&&serverTimezone=GMT%2B8sharding.jdbc.datasource.ds1.username=rootsharding.jdbc.datasource.ds1.password=root # 水平拆分的数据库(表) 配置分库 + 分表策略 行表达式分片策略# 分库策略sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=idsharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2} # 分表策略 其中user为逻辑表 分表主要取决于age行sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..1}sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column=age# 分片算法表达式sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{age % 2} # 主键 UUID 18位数 如果是分布式还要进行一个设置 防止主键重复#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id # 打印执行的数据库以及语句sharding.jdbc.config.props..sql.show=truespring.main.allow-bean-definition-overriding=true

我这次使用配置文件方式实现分库以及分表
以上配置说明:

逻辑表 user

水平拆分的数据库(表)的相同逻辑和数据结构表的总称。例:用户数据根据主键尾数拆分为2张表,分别是user0到user1,他们的逻辑表名为user。

真实表

在分片的数据库中真实存在的物理表。即上个示例中的user0到user1

分片算法:

Hint分片算法
对应HintShardingAlgorithm,用于处理使用Hint行分片的场景。需要配合HintShardingStrategy使用。

分片策略:

行表达式分片策略 对应InlineShardingStrategy。使用Groovy的表达式,提供对SQL语句中的=和IN的分片操作支持,只支持单分片键。对于简单的分片算法,可以通过简单的配置使用,从而避免繁琐的Java代码开发,如: user$->{id % 2} 表示user表根据id模2,而分成2张表,表名称为user0到user_1。

自增主键生成策略

通过在客户端生成自增主键替换以数据库原生自增主键的方式,做到分布式主键无重复。 采用UUID.randomUUID()的方式产生分布式主键。或者 SNOWFLAKE

4. 实体类

package com.zhang.shardingtable.entity; import com.baomidou.mybatisplus.annotation.TableName;import com.baomidou.mybatisplus.extension.activerecord.Model;import groovy.transform.EqualsAndHashCode;import lombok.Data;import lombok.experimental.Accessors; /** * @Classname User * @Description 用户实体类 * @Author 章国文 13120739083@163.com * @Date 2019-06-28 17:24 * @Version 1.0 */@Data@EqualsAndHashCode(callSuper = true)@Accessors(chain = true)@TableName("user")public class User extends Model {     /**     * 主键Id     */    private int id;     /**     * 名称     */    private String name;     /**     * 年龄     */    private int age;}

5. dao层

package com.zhang.shardingtable.mapper; import com.baomidou.mybatisplus.core.mapper.BaseMapper;import com.zhang.shardingtable.entity.User; /** * user dao层 * @author lihaodong */public interface UserMapper extends BaseMapper { }

6. service层以及实现类

UserService

package com.zhang.shardingtable.service; import com.baomidou.mybatisplus.extension.service.IService;import com.zhang.shardingtable.entity.User; import java.util.List; /** * @Classname UserService * @Description 用户服务类 * @Author 章国文 13120739083@163.com * @Date 2019-06-28 17:31 * @Version 1.0 */public interface UserService extends IService {     /**     * 保存用户信息     * @param entity     * @return     */    @Override    boolean save(User entity);     /**     * 查询全部用户信息     * @return     */    List getUserList();}

UserServiceImpl

package com.zhang.shardingtable.service.Impl; import com.baomidou.mybatisplus.core.toolkit.Wrappers;import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;import com.zhang.shardingtable.entity.User;import com.zhang.shardingtable.mapper.UserMapper;import com.zhang.shardingtable.service.UserService;import org.springframework.stereotype.Service; import java.util.List; /** * @Classname UserServiceImpl * @Description 用户服务实现类 * @Author 章国文 13120739083@163.com * @Date 2019-06-28 17:32 * @Version 1.0 */@Servicepublic class UserServiceImpl extends ServiceImpl implements UserService {    @Override    public boolean save(User entity) {        return super.save(entity);    }     @Override    public List getUserList() {        return baseMapper.selectList(Wrappers.lambdaQuery());    } }

7. 控制类

package com.zhang.shardingtable.controller; import com.zhang.shardingtable.entity.User;import com.zhang.shardingtable.service.UserService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.RestController; import java.util.List; /** * @Classname UserController * @Description 用户测试控制类 * @Author 章国文 13120739083@163.com * @Date 2019-06-28 17:36 * @Version 1.0 */@RestControllerpublic class UserController {     @Autowired    private UserService userService;     @GetMapping("/select")    public List select() {        return userService.getUserList();    }     @GetMapping("/insert")    public Boolean insert(User user) {        return userService.save(user);    } }

四. 测试

启动项目
打开浏览器 分别访问:

http://localhost:8080/insert?id=1&name=lhd&age=12
http://localhost:8080/insert?id=2&name=lhd&age=13
http://localhost:8080/insert?id=3&name=lhd&age=14
http://localhost:8080/insert?id=4&name=lhd&age=15

可以在控制台看到如下展示,表示插入成功了

根据分片算法和分片策略 不同的id以及age取模落入不同的库表 达到了分库分表的结果

有的人说 查询的话 该怎么做呢 其实也帮我们做好了 打开浏览器 访问:
http://localhost:8080/select

分别从ds0数据库两张表和ds1两张表查询结果 然后汇总结果返回

之前有朋友问我单表数据量达千万,想做水平分割,不分库,也可以的吧?
是完全可以的 只要修改配置文件的配置即可 非常灵活

通过代码大家也可以看到,我的业务层代码和平时单表操作是一样的,只需要引入sh配置和逻辑表保持现有的不便即可,使用无侵入我们的代码 可以在原有的基础上改动即可 可以说是非常方便

感谢各位的阅读!关于"Java中ShardingSphere分库分表的示例分析"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

数据 数据库 分库 分表 策略 配置 用户 分布式 算法 逻辑 项目 代码 国文 框架 表达式 支持 服务 示例 场景 文件 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 上海挚品互联网科技有限公司 上海喔噻互联网科技有限公司 互联网科技公司的优势 互联网科技公司税收优惠 互联网科技金融 美国互联网科技 互联网与新科技 兼蜜互联网科技 长亮科技互联网金融 甘肃拓世互联网科技有限公司 四个字互联网科技公司取名 中国科技互联网公司收入 承德科技产业互联网发展 广州富喜互联网络科技 互联网科技快讯热点 工业互联网科技成果转化 九思连强互联网电子科技有限公司 西安左小互联网科技有限公司 杭州融税互联网科技有限公司 山东亿川互联网科技有限责任公司 互联网的科技创新 互联网与未来科技 互联网科技有限公司 翻译 哈尔滨屹滨互联网科技有限公司 互联网科技大奖都有哪些公司 天津腾达互联网科技有限公司 半导体行业属于互联网高科技类吗 求路客互联网科技电话 米泉互联网科技专业怎么样 三亚科技创新互联网基地
0