数据库分库、分表、分区详解

一、基本概念

1. 分库 (Database Sharding)

分库是将一个数据库中的数据按照某种规则分散到多个数据库服务器上的技术。每个分库可以独立部署在不同的物理服务器上，实现数据的水平扩展。

2. 分表 (Table Partitioning/Splitting)

分表是将一个大表按照某种规则分解成多个结构相同的小表的技术。这些小表可以位于同一个数据库中，也可以分布在不同的数据库中。

3. 分区 (Partitioning)

分区是在数据库内部将一个大表的数据按照某种规则划分为多个数据块的技术，这些分区在逻辑上仍然是一个表，但物理存储上是分开的。

二、分库详解

1. 分库策略

• 水平分库：按照数据行进行拆分，不同分库存储不同的数据行
• 垂直分库：按照业务模块拆分，不同分库存储不同业务的数据

2. 分库路由方式

• 哈希取模：分库序号 = hash(key) % 分库数量
• 范围分片：按照ID范围划分，如1-1000万在库1，1000-2000万在库2
• 时间分片：按照时间维度划分，如每月数据存一个库
• 目录分片：维护一个路由表记录数据与分库的映射关系

3. 分库优缺点

优点：

• 提高系统整体吞吐量
• 突破单机存储容量限制
• 提高可用性，单点故障不影响全部数据

缺点：

• 跨库join操作复杂
• 分布式事务处理困难
• 数据迁移和扩容复杂

三、分表详解

1. 分表类型

• 水平分表：表结构相同，数据行分散到多个表
• 垂直分表：按列拆分，将不常用字段或大字段拆分到扩展表

2. 分表策略

• 哈希分表：表名后缀 = hash(key) % 分表数量
• 范围分表：按ID范围或时间范围分表
• 预定义分表：如按地区、部门等业务属性分表

3. 分表实现方式

• 应用层分表：在应用代码中实现路由逻辑
• 中间件分表：使用数据库中间件(如MyCat、ShardingSphere)自动路由
• 数据库代理分表：通过代理层(如ProxySQL)实现透明分表

四、分区详解

1. 分区类型(以MySQL为例)

• RANGE分区：基于列值范围分区
• LIST分区：基于离散值列表分区
• HASH分区：基于用户定义的哈希函数分区
• KEY分区：类似于HASH，但使用MySQL内置哈希函数

2. 分区示例(MySQL)

-- RANGE分区示例
CREATE TABLE sales (
    id INT,
    sale_date DATE,
    amount DECIMAL(10,2)
) PARTITION BY RANGE(YEAR(sale_date)) (
    PARTITION p0 VALUES LESS THAN (2020),
    PARTITION p1 VALUES LESS THAN (2021),
    PARTITION p2 VALUES LESS THAN (2022),
    PARTITION pmax VALUES LESS THAN MAXVALUE
);

-- HASH分区示例
CREATE TABLE employees (
    id INT,
    name VARCHAR(50),
    department_id INT
) PARTITION BY HASH(department_id)
PARTITIONS 4;

3. 分区管理

• 添加分区
• 删除分区
• 合并分区
• 重组分区

五、技术选型对比

特性	分区	分表	分库
透明性	完全透明	部分透明	不透明
扩展性	有限(单机)	中等(单库多表)	高(多机)
跨节点查询	无	需要应用层处理	需要中间件或应用层处理
事务支持	完全支持	单库内支持	需要分布式事务
维护复杂度	低	中	高
适用场景	大表但无需水平扩展	单库容量不足但无需多机	高并发、大数据量、高可用要求

六、实践建议

1. 优先考虑分区：当单机资源足够时，分区是最简单的解决方案
2. 谨慎分库：分库带来最大灵活性但也最大复杂性，应评估是否真正需要
3. 考虑中间件：使用成熟的数据库中间件(如ShardingSphere)可降低开发复杂度
4. 设计可扩展的路由策略：避免后期扩容困难
5. 考虑全局ID生成：避免分库分表后的ID冲突问题
6. 监控数据分布：防止数据倾斜导致热点问题

七、常见问题解决方案

1. 跨库JOIN：

   • 字段冗余
   • 应用层多次查询组装
   • 使用宽表或数据仓库

2. 分布式事务：

   • 最终一致性
   • TCC模式
   • 使用Seata等分布式事务框架

3. 全局排序分页：

   • 各分片查询后内存排序
   • 使用游标分页
   • 维护全局索引表

4. 扩容问题：

   • 设计可扩展的哈希算法(如一致性哈希)
   • 双写迁移方案
   • 停机迁移方案

分库分表分区是处理大数据量的有效手段，但需要根据具体业务场景和技术能力选择合适的方案，并充分考虑由此带来的复杂性问题。