分库分表要被淘汰了?

20小时前
椰子皮
12
0
0
文章

“ 分库分表要被淘汰了?先看清 TiDB 接住了什么、又接不住什么 过去十年,“数据量上来了就分库分表”几乎是国内后端工程师的条件反射。但分片键、跨片 JOIN、分布式事务、扩容迁移、大表 DDL 这些代价,一旦付出就再难收回。于是“原生分布式 ”

分库分表要被淘汰了?先看清 TiDB 接住了什么、又接不住什么

过去十年,“数据量上来了就分库分表”几乎是国内后端工程师的条件反射。但分片键、跨片 JOIN、分布式事务、扩容迁移、大表 DDL 这些代价,一旦付出就再难收回。于是“原生分布式数据库替代分库分表”的声音越来越大——其中被提得最多的名字就是 TiDB。这篇文章不谈口号,只拆三件事:分库分表的成本到底落在哪、TiDB 靠什么机制把分布式收进数据库内部、以及它在哪些场景依然接不住。


一、分库分表的真实成本,不在拆表那天

素材里那个场景很典型:订单表涨到几个亿,单表查询变慢,团队第一反应是引入 ShardingSphere,把订单表拆成 64 片。上线那天一切正常,问题从第二周开始冒出来。

分片规则本身成了需要长期维护的资产。 按 user_id 取模还是按时间Range?路由字段选错,后续每一次查询都要额外带分片键,否则就是全片扫描。业务方写 SQL 时得先知道“这张表是怎么分的”,数据库不再对应用透明。

更麻烦的是查询形态。素材里今日头条那篇给了一句很直白的判断:跨库 JOIN 几乎不可行。原本两句 SQL 能解决的多表关联,因为表被散到不同库甚至不同机器上,只能在应用层拆成多次查询再内存拼装,或者靠冗余的广播表兜底。分页、排序、聚合、COUNT 同样如此——ORDER BY ... LIMIT 要改成“各片取前 N 再归并”,深分页的性能问题被放大一轮。

分库分表的本质,是把分布式系统该操心的那部分复杂度,从数据库层整体上移到了应用层。它不是免费的,只是把账单换了个地方寄。

这张账单还包括:跨库更新时的事务一致性(多数团队最终只能退化成最终一致 + 补偿)、全局唯一 ID 的发号器、扩容时的数据迁移与双写、大表 DDL 在主从架构下的延迟风险。多个来源反复提到同一批痛点,说明这不是个别团队的踩坑,而是方案本身的结构性代价。

需要说清楚的是,分库分表并没有“做错”。在单机 MySQL 撑不住的年代,它是唯一现实的选择。真正变化的是:有没有一种方案,能在数据库内部完成同样的事,而不把成本转嫁给业务代码。


二、TiDB 的解法:把分布式收回数据库内部

素材 4 里有一句话概括得很准:分库分表是你在应用层“模拟”分布式,TiDB 是数据库本身“就是”分布式。

前者数据仍然躺在多个互相独立的 MySQL 实例里,跨片查询、分布式事务、全局一致性全靠中间件和业务代码补齐。后者从设计上就把计算与存储拆开,存储层天生多副本、强一致,SQL 怎么拆、怎么算、怎么合并由数据库自己决定。

配图 1

它的架构分三层,各层职责边界清晰:

  • 计算层(TiDB Server):无状态 SQL 引擎,负责解析、生成执行计划、向存储层下发请求并汇总结果。无状态意味着加机器就能扩计算能力,不需要停机,也不需要数据重分布。
  • 存储层(TiKV + TiFlash):TiKV 是行存引擎,扛 OLTP 高并发读写,底层基于 LSM Tree 结构;TiFlash 是列存引擎,服务 OLAP 分析。两者自动同步,对外保持强一致。
  • 调度层(PD):管理集群元数据、负载均衡、分配全局时间戳。Region 怎么切、副本放哪、什么时候迁移,都由它决定。

这里的关键差异在于接口形态。分库分表之后,你面对的是 N 个数据库加一层中间件,中间件的规则、版本、配置本身就是运维对象;TiDB 对外是一个逻辑上完整的库,兼容 MySQL 协议,应用看到的仍是“一个数据库”。

PD 分配的全局时间戳(TSO)是这套体系的地基:所有事务拿到的开始时间戳单调递增,MVCC 由此成立,跨节点的快照读和分布式事务才有判断依据。TiDB 的分布式事务沿用的是 Percolator 模型,靠主键锁 + 时间戳做两阶段提交——这正是分库分表方案里最容易被砍掉、也最难自己写对的部分。


三、Region、Raft 与热点:自动分片到底怎么跑

“不用自己定分片规则”这句话,落到实现上就是 Region。

TiDB 把数据按 Key 的范围切成一段段 Region,默认每个 Region 约 96MB。当某个 Region 变大或变热,PD 会自动把它分裂成两个,再调度到不同的 TiKV 节点上。扩容时加 TiKV 节点,PD 把 Region 迁过去,数据自动均衡。

对比一下就清楚了:分库分表要求你提前预判“这张表会涨到多大、该分几片、分片键选谁”,预判错了就得重来一遍数据迁移;Region 的分裂是被数据量和访问压力推着走的,不需要人猜。

配图 2

副本一致性靠 Raft。每个 Region 通常 3 副本,写入时 Leader 先写,同步给 Follower,多数派(2 个)确认才算成功。Leader 挂了,Raft 自动重新选主,数据不丢,故障切换在秒级完成——不需要像 MySQL 那样额外配 MHA 或主从切换脚本。这套机制是 TiDB 高可用的底座,也是它敢把“运维复杂度”从用户手里拿走的原因。

但自动分片不等于没有问题,写入热点是最典型的坑。如果主键是单调递增的自增 ID,所有新写入都会落在最后一个 Region 上,分裂再多也没用——压力全在同一個 Leader 上。

素材里提到的两个细节值得开发者记住:

  • 自增 ID 会跳号。 TiDB 的自增列按计算节点批量缓存分配,多节点部署时,各节点各自预取一段 ID,合并后天然不连续。另外,如果建表时没有显式指定主键,TiDB 会用 _tidb_rowid 作为隐藏行标识,它与自增列共用分配器,也会加剧不连续。
  • 高写入表建议用 AUTO_RANDOM。 它把自增主键的高位随机化,让写入打散到多个 Region,从根上缓解热点。代价是 ID 不再单调递增、不可用于排序推断,且要求主键是 BIGINT 类型的聚簇索引。

这是个很典型的工程取舍:你换来了自动分片,就要接受“主键不再是业务排序依据”这个约束。 建表语句里加一行 AUTO_RANDOM,比上线后半夜处理热点 Region 便宜得多。


四、HTAP:TiFlash 补上了分库分表最痛的那块

分库分表之后,实时分析几乎无解。常见做法是把数据同步到 Hive 或 ClickHouse,T+1 出结果。同步链路越长,延迟越大,一致性越难保证,而且每加一条链路就多一套要运维的组件。

TiDB 的答案是行存和列存同时存在:TiFlash 作为列存副本,通过 Raft Learner 角色实时从 TiKV 同步数据。这个角色设计很关键——Learner 只收日志、不参与投票,所以它不会增加写入时需要确认的副本数,OLTP 的写入延迟不会被分析副本拖累,但数据始终保持强一致。

查询走哪条路,由优化器的 CBO 按代价决定:OLTP 点查、范围扫描走 TiKV;大范围聚合、扫全表的分析查询走 TiFlash,并利用 MPP 模式做并行计算。业务侧不需要维护两条链路,也不需要写两套 SQL。

素材里提到的擎文集团案例属于这类迁移的典型样本:原来 MySQL 分库分表,离线分析走 Hive、T+1 出结果;迁到 TiDB 后,一套数据库同时支撑在线业务和实时分析,同步链路被省掉。省掉的其实不只是组件,还有“数据对不上时该找谁”的扯皮成本。

但 HTAP 也有边界,不能当成万能卖点:

  • TiFlash 是副本,不是免费的计算资源。 列存副本额外占存储,分析查询消耗的是实打实的 CPU 和内存,重分析负载仍需要做资源隔离(比如把 TiFlash 部署到独立机器)。
  • 它替代的是“中等规模、要求时效”的分析,不是替代数仓。超大规模历史数据的复杂建模、跨主题域关联,专用数仓仍有优势。
  • 一致性是优势也是约束:TiFlash 与 TiKV 强同步意味着写入链路上多了一份日志复制开销,写入吞吐极高的场景要评估这部分成本。

五、迁移的现实水位:改端口只是开始

TiDB 兼容 MySQL 协议,这一点确实降低了迁移门槛。素材给的例子很直接:

java 复制代码
// 原来连 MySQL
String url = "jdbc:mysql://mysql-host:3306/mydb";
// 换成 TiDB
String url = "jdbc:mysql://tidb-host:4000/mydb";

端口从 3306 换成 4000,JDBC 驱动、连接池配置、大部分 SQL 语法不用动。跨库 JOIN 也可以直接写,不用再在应用层拼装。

但真做过迁移的人都知道,能连上只是第一步。下面这些地方才是工作量所在:

  • 主键与自增策略:如上一节所述,高写入表要评估 AUTO_RANDOM,这会影响依赖自增 ID 做排序、分页、外部暴露的业务逻辑。
  • 大事务:分布式事务对单次事务的规模和内存占用有上限,批量 UPDATE/DELETE、一次性导入大量数据必须拆批处理。原来在 MySQL 里一把梭的脚本,迁过来大概率会失败。
  • DDL 行为:在线 schema 变更走的是异步 job,加索引不锁表但要等回填完成,DDL 任务按表排队。发布流程里“改完表结构立刻发代码”的节奏需要调整。
  • MySQL 特性覆盖度:存储过程、触发器、外键约束等并非完全等价支持,迁移前必须逐项核对,不能假设“兼容 MySQL”等于“100% 兼容”。
  • 事务模型选择:乐观事务与悲观事务的取舍会影响高冲突场景的失败率和重试逻辑,业务代码里的重试策略要重新验证。
  • 工具链:数据迁移用 DM,增量订阅用 TiCDC,备份恢复用 BR,全量导出导入用 Dumpling/Lightning。这套工具和 MySQL 生态的 mysqldump、binlog 是两套心智模型,团队需要重新学习。

迁移的难度从来不在“改连接串”,而在那些平时看不见、只有在压测和故障演练时才会暴露的行为差异。


六、代价与边界:TiDB 接不住的那些场景

回到标题那个问题:分库分表要被淘汰了吗?我的判断是——它不会消失,但正在从“默认答案”降级为“特定约束下的答案”。

先说 TiDB 的代价,这些是选型时必须摆到桌面上的:

  • 成本结构变了。 三副本意味着三倍存储,加 TiFlash 再加一份列存;对磁盘 IO、网络带宽的要求也高于单机 MySQL。小数据量业务上 TiDB,性价比通常不划算。
  • 写入延迟天然更高。 一次写入要跨网络完成 Raft 多数派确认,同机房内差距不大,跨可用区、跨机房部署时延迟会被放大。对 P99 极度敏感的极低延迟场景,要实测。
  • 它把运维复杂度从“应用侧”搬到了“DBA 侧”。 应用代码确实简单了,但集群的部署、监控、Region 热点排查、慢查询定位、版本升级成了专业活。团队没有相应能力,问题只是换了个地方爆发。
  • 不是所有负载都适合。 超大规模写入、强依赖存储过程的老系统、对单机延迟极致敏感的业务,迁移收益可能为负。

**至于分库分表,在这些场景下它依然是合理选择:**数据量中等、增长可预期、分片键天然稳定(比如按租户 ID)、团队已有成熟的中间件运维经验。此时引入一套分布式数据库,属于用大炮打蚊子。

可以给一个粗略的分水岭:

判断维度 倾向继续分库分表 倾向原生分布式数据库
数据规模 千万到几亿,增长可预期 已到十亿级且持续高速增长
查询形态 简单点查为主,分片键稳定 跨维度关联多、分析需求实时化
团队能力 有中间件经验、无专职 DBA 有数据库运维能力或愿意投入
成本敏感度 高,希望复用现有机器 可接受三副本 + 列存副本的存储成本
业务阶段 稳定期,重构收益低 快速增长期,不想反复拆表

真正值得警惕的,是把“上 TiDB”当成一次技术升级来解决组织问题。分片规则混乱、SQL 写得随意、缺少索引评审——这些问题换什么数据库都会跟着你。TiDB 消掉的是分布式的实现复杂度,消不掉的是数据建模和查询设计的责任。

一个更务实的路径是:新业务、新表优先评估原生分布式,老系统按收益排序逐步迁移,把跨库 JOIN 和实时分析这两个最痛的场景先搬过去。至于“淘汰”这个词,留给标题就好。


📚 参考来源

  1. 分库分表要被淘汰了?前言 不知道你有没有遇到过这种情况 ... —— juejin.cn
  2. 分库分表,可能真的要退出历史舞台了! - 知乎 —— zhuanlan.zhihu.com
  3. 分库分表正在被淘汰 - 今日头条 —— toutiao.com
  4. 分库分表要被淘汰了? - 苏三说技术 - 博客园 —— cnblogs.com
  5. 分库分表正在被淘汰_51CTO博客_分库分表规则 —— blog.51cto.com
赏
支付宝微信
0
关注公众号获取更多内容
亚太经合组织贸易数字化合作框架
纳指重挫5% 英伟达狂泻14%
暂无评论,快抢沙发吧