解決方案
由于水平拆分牽涉的邏輯比較復(fù)雜,當(dāng)前也有了不少比較成熟的解決方案。這些方案分為兩大類:客戶端架構(gòu)和代理架構(gòu)。
客戶端架構(gòu)
通過修改數(shù)據(jù)訪問層,如JDBC、Data Source、MyBatis,通過配置來管理多個(gè)數(shù)據(jù)源,直連數(shù)據(jù)庫,并在模塊內(nèi)完成數(shù)據(jù)的分片整合,一般以Jar包的方式呈現(xiàn)
這是一個(gè)客戶端架構(gòu)的例子:
可以看到分片的實(shí)現(xiàn)是和應(yīng)用服務(wù)器在一起的,通過修改Spring JDBC層來實(shí)現(xiàn)
客戶端架構(gòu)的優(yōu)點(diǎn)是:
-
應(yīng)用直連數(shù)據(jù)庫,降低外圍系統(tǒng)依賴所帶來的宕機(jī)風(fēng)險(xiǎn)
-
集成成本低,無需額外運(yùn)維的組件
缺點(diǎn)是:
-
限于只能在數(shù)據(jù)庫訪問層上做文章,擴(kuò)展性一般,對(duì)于比較復(fù)雜的系統(tǒng)可能會(huì)力不從心
-
將分片邏輯的壓力放在應(yīng)用服務(wù)器上,造成額外風(fēng)險(xiǎn)
代理架構(gòu)
通過獨(dú)立的中間件來統(tǒng)一管理所有數(shù)據(jù)源和數(shù)據(jù)分片整合,后端數(shù)據(jù)庫集群對(duì)前端應(yīng)用程序透明,需要獨(dú)立部署和運(yùn)維代理組件
這是一個(gè)代理架構(gòu)的例子:
代理組件為了分流和防止單點(diǎn),一般以集群形式存在,同時(shí)可能需要Zookeeper之類的服務(wù)組件來管理
代理架構(gòu)的優(yōu)點(diǎn)是:
-
能夠處理非常復(fù)雜的需求,不受數(shù)據(jù)庫訪問層原來實(shí)現(xiàn)的限制,擴(kuò)展性強(qiáng)
-
對(duì)于應(yīng)用服務(wù)器透明且沒有增加任何額外負(fù)載
缺點(diǎn)是:
-
需部署和運(yùn)維獨(dú)立的代理中間件,成本高
-
應(yīng)用需經(jīng)過代理來連接數(shù)據(jù)庫,網(wǎng)絡(luò)上多了一跳,性能有損失且有額外風(fēng)險(xiǎn)
各方案比較
如此多的方案,如何進(jìn)行選擇?可以按以下思路來考慮:
-
確定是使用代理架構(gòu)還是客戶端架構(gòu)。中小型規(guī)?;蚴潜容^簡單的場(chǎng)景傾向于選擇客戶端架構(gòu),復(fù)雜場(chǎng)景或大規(guī)模系統(tǒng)傾向選擇代理架構(gòu)
-
具體功能是否滿足,比如需要跨節(jié)點(diǎn)
ORDER BY
,那么支持該功能的優(yōu)先考慮 -
不考慮一年內(nèi)沒有更新的產(chǎn)品,說明開發(fā)停滯,甚至無人維護(hù)和技術(shù)支持
-
最好按大公司->社區(qū)->小公司->個(gè)人這樣的出品方順序來選擇
-
選擇口碑較好的,比如github星數(shù)、使用者數(shù)量質(zhì)量和使用者反饋
-
開源的優(yōu)先,往往項(xiàng)目有特殊需求可能需要改動(dòng)源代碼
按照上述思路,推薦以下選擇:
-
客戶端架構(gòu):ShardingJDBC
-
代理架構(gòu):MyCat或者Atlas
兼容MySQL且可水平擴(kuò)展的數(shù)據(jù)庫
目前也有一些開源數(shù)據(jù)庫兼容MySQL協(xié)議,如:
-
TiDB(https://github.com/pingcap/tidb)
-
Cubrid(http://www.cubrid.org)
但其工業(yè)品質(zhì)和MySQL尚有差距,且需要較大的運(yùn)維投入,如果想將原始的MySQL遷移到可水平擴(kuò)展的新數(shù)據(jù)庫中,可以考慮一些云數(shù)據(jù)庫:
-
阿里云PetaData(https://cn.aliyun.com/product/petadata/?spm=5176.7960203.237031.38.cAzx5r)
-
阿里云OceanBase(https://cn.aliyun.com/product/oceanbase?spm=5176.7960203.237031.40.cAzx5r)
-
騰訊云DCDB(https://www.qcloud.com/product/dcdbfortdsql.html)
NOSQL
在MySQL上做Sharding是一種戴著鐐銬的跳舞,事實(shí)上很多大表本身對(duì)MySQL這種RDBMS的需求并不大,并不要求ACID,可以考慮將這些表遷移到NoSQL,徹底解決水平擴(kuò)展問題,例如:
-
日志類、監(jiān)控類、統(tǒng)計(jì)類數(shù)據(jù)
-
非結(jié)構(gòu)化或弱結(jié)構(gòu)化數(shù)據(jù)
-
對(duì)事務(wù)要求不強(qiáng),且無太多關(guān)聯(lián)操作的數(shù)據(jù)
原文出處:https://segmentfault.com/a/1190000006158186
END
- 如何使用Access數(shù)據(jù)庫創(chuàng)建一個(gè)簡單MIS管理系統(tǒng)
- Access數(shù)據(jù)庫日常維護(hù)和Access數(shù)據(jù)庫優(yōu)化方法
- MariaDB數(shù)據(jù)庫的外鍵約束實(shí)例代碼介紹詳解
- Windows10系統(tǒng)下MariaDB數(shù)據(jù)庫安裝教程圖解
- Mysql數(shù)據(jù)庫創(chuàng)建存儲(chǔ)過程實(shí)現(xiàn)往數(shù)據(jù)表中新增字段的方
- Mysql數(shù)據(jù)庫自定義函數(shù)的定義、使用方法及操作注意事
- Mysql數(shù)據(jù)庫的max_allowed_packet設(shè)定方法
- Mysql數(shù)據(jù)庫亂碼出現(xiàn)的各個(gè)階段以及對(duì)應(yīng)方法
- MySQL數(shù)據(jù)庫的事務(wù)處理用法與實(shí)例代碼詳解
- Mysql數(shù)據(jù)庫使用from與join兩表查詢的方法區(qū)別總結(jié)