数据库分库切表后Java后端代码实现以及最佳实践

Question

现在业务中由于一些表越来越大，read的时候压力很大（write的需求比较小），所以在数据库端决定把一些数据量特别大的表切表， 但是在后端代码中有很多代码／query需要做join这些表，请问这样的情况下大家是怎么样解决的？ 比如我们现在有 SampleTable 有大概1亿条数据，我们根据逻辑切成了大概16个不同的表：SampleTable 1,SampleTable2...SampleTable31,以前代码中有query 类似于: select * from SampleTable join test_table 现在需要执行这样的query 多次然后把数据聚合起来做为返回结果吗? select * from SampleTable1 join test_table 有没有更好的方法或者library推荐?有没有什么beset practice或者sample code？ 如果之后我们要多个表拆分到不同的database server上,是否在后端代码得加上不同db 的数据库连接? 数据库Sharding的基本思想和切分策略这篇文章更多的是数据库切分的策略,是否有人能提供下实际的项目code sample?Database sharding and JPAwhat-to-do-instead-of-sql-joins-while-scaling-horizontally stackoverflow 上的一些答案

Answer 1

朋友介绍 Spark 不错，支持 SQl 式的查询，1 亿条数据 0.5 秒左右返回结果

Answer 2

只针对目前我们项目中的情况： 在分表时根据hash算法落到特定表，然后取的时候先根据算法获取数据的分布位置，然后就是正常的select了

Answer 3

不建议连表查询
1.数据库资源比较宝贵，连表查询会占用大量的内存，导致数据库性能下降
2.不支持数据在多个数据库实例，分库情况无法处理，扩展性较差

通用做法是将连表查询，查分成多个单表查询，然后将结果在应用中汇总。
1.能够上述连表查询的问题
2.多次查询也可以在程序中对每一次查询的中间结果做处理，这是一个灵活性。
3.应用也可以随时扩展，更加灵活

如果是离线场景，建议使用MR(mapreduce)框架来处理，例如：hadoop等，相应的，需要将数据写入到hdfs上。

Answer 4

根据SampleTable的分表算法对test_table也进行拆分