java分表查詢

⑴ 資料庫分表後，怎樣方便查詢 比如表a中間的欄位id,title,content.數據量很大，8百萬條記錄

我們在工作中的表都上億的數據，所以考慮的效率問題要根據區域分表；比如西城是01，東城是02，朝陽區是03；你要根據id查某個表的content ,數據分表是依據程序來的，建議建一個配置表 A ,
value_id Tablename
01 table01
02 table02
03 talble03
.
.
table01
id,title,content
1 xx dfd
2 yy ddf
3 zz dfdf
.
.
table02
id,title,content
12 xx1 dfdxx
13 yy1 ddfxx
14 zz1 dfdfxx

如果再資料庫中執行查詢

create or replace procere Prc_Get_Record( v_id in varchar2,v_tableid in varchar2,v_content out varchar )
is
v_table varchar2(20);
v_sql varchar2(4000);
BEGIN

select Tablename into v_table from A where value_id ='v_tableid' ;

v_sql:='select content from '||v_table||' t where t.id='''|| v_id ||'''';

execute immediate v_sql into v_content;

end if;

END Prc_Get_Record;

存儲過程調用輸入參數

Prc_Get_Record('1','01',content ); content 為你所想想要分的a的 「dfd」
Prc_Get_Record('14,'02',content ); content 為你所想想要分的a的 「dfdfxx」

如果是java代碼，要得到數據，可以建立一個函數

public String getTablename( String tableid){

//暫用hibernate的base
String sql ="select Tablename from A where value_id ="+v_tableid ;

return baseDao.getString(sql);

}
//分表查詢的結果

String id = request.getParameter("id");
String table_name = getRTableName("01");

String sql = "select content from "+table_name+" d where d.id='" + id + "' ";
return baseDao.getString(sql);
}

其他的 ibatIS，hibernate ；xml的sql查詢 同樣是如此，在form里獲取，表名變數，get，set 將配置表的表名作為sql字元的一個變數執行。

sql里
/~table_name : {tablename}~/

⑵ Java怎麼分區分表

當Java程序創建一個類的實例或者數組時，都在堆中為新的對象分配內存。虛擬機中只有一個堆，所有的線程都共享他。Java中所有的對象都存放在堆中，包括class對象和異常對象。
那麼這些對象中有存放些什麼呢？實例數據是肯定的，還有就是當通過對象訪問類信息時就必須有一個指針將對象和方法區中的類信息關聯起來，關聯的方法有多種。一個可能的堆的設計是將堆分為兩個部分：引用池和對象池。一個對象的引用就是指向引用池的本地指針。

⑶ java里當資料庫里的數據量很大的時候、要一次性查詢出來、並且展示出來、應該怎樣查詢、效率更高

sql語句要快1.不必要的列就不用查出來;2作為查詢的條件列設索引;3.如果查詢的表數據大於500萬條數據,表創建之初就應該建立表分區,依據分表去查;
最最重要的是傳輸給前台頁面的數據量盡量簡化減少傳輸量,比如時間數據最好不傳,自己規定個順序,依據順序前台生成對應的時間;非要傳可轉為毫秒數去掉最後四個零(依據實際情況而定,因為時間只要求精確到分),用[]不用{}(key就不用傳了,根據商量好的下標對應提取)

⑷ 一個JAVA單體項目中的資料庫有必要分庫分表嗎

分庫分表要看數據量有多大
一般一個表數據超過幾個G就應該進行分表操作，非常大的話可以進行分庫操作

⑸ hibernate 分表解決方案。一個JAVA類，一個HBM.XML，對應多個結構相同的表。該怎麼處理

用註解你看怎麼樣 就是 不用hbm.xml 用@Entity（裡面加個變數，這個變數來更換表明，看你的意思不是其他結構都相同嗎，你用過註解吧，沒用過可以看下資料，基本的配置不難按規定配置就是了，把你的model寫個構造器，裡面傳表名），Hibernater.cfg.xml<mapping class="model的路徑帶類名的"/>裡面我就是這么一想，僅供參考

⑹ java如何實現一千萬條數據的計算而內存不會溢出

這跟大數據查詢優化的方法差不多，畢竟數據量在那裡，不可能單靠一種方式就能解決。
1）、硬體要求不用說了，表空間，內存等分配最大；
2）、如果大表已經做過分表最好，其次就是常用查詢用的欄位加索引(有時候效果很明顯)；
3）、SQL語句方面，用exist代替in，查詢大表前小表後，過濾條件方最後，大條件方最後，
盡量用表關聯查詢減少子查詢，避免在索引上試用計算；
4）、程序方面；盡量減少在同一循環內做復雜計算，多條件計算等。
5）、採用緩存技術，避免大數據的重復查詢。

⑺ 分庫的數據用java怎麼並行查詢

如果使用java多線程查詢，必須使用CyclicBarrier，等待所有結果都查詢完成合並結果集，或者使用dblink，然後HINT方式使用並行Parallell，利用數據的並行技術進行查詢

⑻ mysql分庫分表後如何統計

資料庫分庫分表是緩解資料庫伺服器壓力和增加並發量的途徑之一，但是隨著分庫分表之後，也不可避免的帶來了一些問題，很顯而易見的問題就是如何解決分庫後的查詢統計。分庫之後沒有SQL可以用了，簡單的過濾後再合並還可以做，但分組都會很麻煩，必須把分庫分組匯總結集再分組匯總。這對很多java應用程序員來講是個挑戰。但是，數據量太大大，不分庫也不行，進退兩難。

這時候，採用集算器來做後一步的匯總計算就很容易，比如剛才說的分組匯總問題，寫出來只要這么幾行：

這里實現分組的代碼還考慮了讓分庫並行執行SQL。

利用集算器實現分庫匯總里包含幾個典型例子來說明分庫匯總的用法，跨庫數據表的運算 是有關分庫後統計查詢的更詳細解釋，還有講解視頻分庫後的統計查詢梳理要點和難點。集算器還很容易嵌入到Java應用程序中，Java 如何調用 SPL 腳本 有使用和獲得它的方法。關於集算器安裝使用、獲得免費授權和相關技術資料，可以參見 集算器如何使用 。

⑼ java資料庫分庫分表怎麼路由

可以按照時間劃分庫，或者按照賬戶數量等，在一張表裡面存儲賬戶對應的庫名，然後每次操作庫的時候從內存中通過賬戶id獲取庫名，表名應該是統一的，只是對應的表明前綴不一樣而已（前綴是根據賬戶id或者一定規則開頭，後半部分應該都一樣的）

⑽ 如何用java 建立一個分布式系統

分布式架構的演進

系統架構演化歷程-初始階段架構

初始階段 的小型系統 應用程序、資料庫、文件等所有的資源都在一台伺服器上通俗稱為LAMP

特徵：
應用程序、資料庫、文件等所有的資源都在一台伺服器上。

描述：
通常伺服器操作系統使用Linux，應用程序使用PHP開發，然後部署在Apache上，資料庫使用MySQL，匯集各種免費開源軟體以及一台廉價伺服器就可以開始系統的發展之路了。

系統架構演化歷程-應用服務和數據服務分離

好景不長，發現隨著系統訪問量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一台webserver

特徵：
應用程序、資料庫、文件分別部署在獨立的資源上。

描述：
數據量增加，單台伺服器性能及存儲空間不足，需要將應用和數據分離，並發處理能力和數據存儲空間得到了很大改善。

系統架構演化歷程-使用緩存改善性能

特徵：
資料庫中訪問較集中的一小部分數據存儲在緩存伺服器中，減少資料庫的訪問次數，降低資料庫的訪問壓力。

描述：
系統訪問特點遵循二八定律，即80%的業務訪問集中在20%的數據上。
緩存分為本地緩存和遠程分布式緩存，本地緩存訪問速度更快但緩存數據量有限，同時存在與應用程序爭用內存的情況。

系統架構演化歷程-使用應用伺服器集群

在做完分庫分表這些工作後，資料庫上的壓力已經降到比較低了，又開始過著每天看著訪問量暴增的幸福生活了，突然有一天，發現系統的訪問又開始有變慢的趨勢了，這個時候首先查看資料庫，壓力一切正常，之後查看webserver，發現apache阻塞了很多的請求，而應用伺服器對每個請求也是比較快的，看來 是請求數太高導致需要排隊等待，響應速度變慢

特徵：
多台伺服器通過負載均衡同時向外部提供服務，解決單台伺服器處理能力和存儲空間上限的問題。

描述：
使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源，提升系統的並發處理能力，使得伺服器的負載壓力不再成為整個系統的瓶頸。
系統架構演化歷程-資料庫讀寫分離

享受了一段時間的系統訪問量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，經過查找，發現資料庫寫入、更新的這些操作的部分資料庫連接的資源競爭非常激烈，導致了系統變慢

特徵：
多台伺服器通過負載均衡同時向外部提供服務，解決單台伺服器處理能力和存儲空間上限的問題。

描述：
使用集群是系統解決高並發、海量數據問題的常用手段。通過向集群中追加資源，使得伺服器的負載壓力不在成為整個系統的瓶頸。
系統架構演化歷程-反向代理和CDN加速

特徵：
採用CDN和反向代理加快系統的 訪問速度。

描述：
為了應付復雜的網路環境和不同地區用戶的訪問，通過CDN和反向代理加快用戶訪問的速度，同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。
系統架構演化歷程-分布式文件系統和分布式資料庫

隨著系統的不斷運行，數據量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，於是按照分庫的思想開始做分表的工作

特徵：
資料庫採用分布式資料庫，文件系統採用分布式文件系統。

描述：
任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求，資料庫讀寫分離隨著業務的發展最終也將無法滿足需求，需要使用分布式資料庫及分布式文件系統來支撐。
分布式資料庫是系統資料庫拆分的最後方法，只有在單表數據規模非常龐大的時候才使用，更常用的資料庫拆分手段是業務分庫，將不同的業務資料庫部署在不同的物理伺服器上。
系統架構演化歷程-使用NoSQL和搜索引擎

特徵：
系統引入NoSQL資料庫及搜索引擎。

描述：
隨著業務越來越復雜，對數據存儲和檢索的需求也越來越復雜，系統需要採用一些非關系型資料庫如NoSQL和分資料庫查詢技術如搜索引擎。應用伺服器通過統一數據訪問模塊訪問各種數據，減輕應用程序管理諸多數據源的麻煩。
系統架構演化歷程-業務拆分

特徵：
系統上按照業務進行拆分改造，應用伺服器按照業務區分進行分別部署。

描述：
為了應對日益復雜的業務場景，通常使用分而治之的手段將整個系統業務分成不同的產品線，應用之間通過超鏈接建立關系，也可以通過消息隊列進行數據分發，當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分：
將一個大應用拆分為多個小應用，如果新業務較為獨立，那麼就直接將其設計部署為一個獨立的Web應用系統

縱向拆分相對較為簡單，通過梳理業務，將較少相關的業務剝離即可。

橫向拆分：將復用的業務拆分出來，獨立部署為分布式服務，新增業務只需要調用這些分布式服務

橫向拆分需要識別可復用的業務，設計服務介面，規范服務依賴關系。

系統架構演化歷程-分布式服務

特徵：
公共的應用模塊被提取出來，部署在分布式伺服器上供應用伺服器調用。

描述：
隨著業務越拆越小，應用系統整體復雜程度呈指數級上升，由於所有應用要和所有資料庫系統連接，最終導致資料庫連接資源不足，拒絕服務。

Q：分布式服務應用會面臨哪些問題？

A：
(1) 當服務越來越多時，服務URL配置管理變得非常困難，F5硬體負載均衡器的單點壓力也越來越大。
(2) 當進一步發展，服務間依賴關系變得錯蹤復雜，甚至分不清哪個應用要在哪個應用之前啟動，架構師都不能完整的描述應用的架構關系。
(3) 接著，服務的調用量越來越大，服務的容量問題就暴露出來，這個服務需要多少機器支撐？什麼時候該加機器？
(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？
(5) 一個服務有多個業務消費者，如何確保服務質量？
(6) 隨著服務的不停升級，總有些意想不到的事發生，比如cache寫錯了導致內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否可以功能降級？或者資源劣化？

Java分布式應用技術基礎

分布式服務下的關鍵技術：消息隊列架構

消息對列通過消息對象分解系統耦合性，不同子系統處理同一個消息
分布式服務下的關鍵技術：消息隊列原理

分布式服務下的關鍵技術：服務框架架構

服務框架通過介面分解系統耦合性，不同子系統通過相同的介面描述進行服務啟用
服務框架是一個點對點模型
服務框架面向同構系統
適合：移動應用、互聯網應用、外部系統

分布式服務下的關鍵技術：服務框架原理

分布式服務下的關鍵技術：服務匯流排架構

服務匯流排同服務框架一樣，均是通過介面分解系統耦合性，不同子系統通過相同的介面描述進行服務啟用
服務匯流排是一個匯流排式的模型
服務匯流排面向同構、異構系統
適合：內部系統

分布式服務下的關鍵技術：服務匯流排原理

分布式架構下系統間交互的5種通信模式

request/response模式（同步模式）：客戶端發起請求一直阻塞到服務端返回請求為止。

Callback（非同步模式）：客戶端發送一個RPC請求給伺服器，服務端處理後再發送一個消息給消息發送端提供的callback端點，此類情況非常合適以下場景：A組件發送RPC請求給B，B處理完成後，需要通知A組件做後續處理。

Future模式：客戶端發送完請求後，繼續做自己的事情，返回一個包含消息結果的Future對象。客戶端需要使用返回結果時，使用Future對象的.get(),如果此時沒有結果返回的話，會一直阻塞到有結果返回為止。

Oneway模式：客戶端調用完繼續執行，不管接收端是否成功。

Reliable模式：為保證通信可靠，將藉助於消息中心來實現消息的可靠送達，請求將做持久化存儲，在接收方在線時做送達，並由消息中心保證異常重試。
五種通信模式的實現方式-同步點對點服務模式

五種通信模式的實現方式-非同步點對點消息模式1

五種通信模式的實現方式-非同步點對點消息模式2

五種通信模式的實現方式-非同步廣播消息模式

分布式架構下的服務治理

服務治理是服務框架/服務匯流排的核心功能。所謂服務治理，是指服務的提供方和消費方達成一致的約定，保證服務的高質量。服務治理功能可以解決將某些特定流量引入某一批機器，以及限制某些非法消費者的惡意訪問，並在提供者處理量達到一定程度是，拒絕接受新的訪問。

基於服務框架Dubbo的服務治理-服務管理

可以知道你的系統，對外提供了多少服務，可以對服務進行升級、降級、停用、權重調整等操作
可以知道你提供的服務，誰在使用，因業務需求，可以對該消費者實施屏蔽、停用等操作

基於服務框架Dubbo的服務治理-服務監控
可以統計服務的每秒請求數、平均響應時間、調用量、峰值時間等，作為服務集群規劃、性能調優的參考指標。

基於服務框架Dubbo的服務治理-服務路由

基於服務框架Dubbo的服務治理-服務保護

基於服務匯流排OSB的服務治理-功能介紹

基於服務匯流排OSB的服務治理

Q：Dubbo到底是神馬？
A：
淘寶開源的高性能和透明化的RPC遠程調用服務框架
SOA服務治理方案
Q：Dubbo原理是？
A：

-結束-