① 如何處理大量數據並發操作
處理大量數據並發操作可以採用如下幾種方法:
1.使用緩存:使用程序直接保存到內存中。或者使用緩存框架: 用一個特定的類型值來保存,以區別空數據和未緩存的兩種狀態。
2.資料庫優化:表結構優化;SQL語句優化,語法優化和處理邏輯優化;分區;分表;索引優化;使用存儲過程代替直接操作。
3.分離活躍數據:可以分為活躍用戶和不活躍用戶。
4.批量讀取和延遲修改: 高並發情況可以將多個查詢請求合並到一個。高並發且頻繁修改的可以暫存緩存中。
5.讀寫分離: 資料庫伺服器配置多個,配置主從資料庫。寫用主資料庫,讀用從資料庫。
6.分布式資料庫: 將不同的表存放到不同的資料庫中,然後再放到不同的伺服器中。
7.NoSql和Hadoop: NoSql,not only SQL。沒有關系型資料庫那麼多限制,比較靈活高效。Hadoop,將一個表中的數據分層多塊,保存到多個節點(分布式)。每一塊數據都有多個節點保存(集群)。集群可以並行處理相同的數據,還可以保證數據的完整性。
拓展資料:
大數據(big data),指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣捷徑,而採用所有數據進行分析處理。大數據的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。
② 10000個數據容量的資料庫需要用什麼樣的伺服器價格如何
市場上常用的資料庫都可以滿足,有免費的,有收費的:MySql、sqlserver、oracle、DB2、、、
也可以用破解版的、漢化版、綠色版、精簡版,看你的伺服器硬體配置和需求。
③ 幾十上百T數據如何在伺服器之間遷移,又什麼解決方案(可以停機)
要看什麼數據,比如文件存儲伺服器,可以買2塊萬兆光纖網卡,直接復制,或者用軟體復制,速度很快就搞定
如果帶資料庫,不建議直接復制,容易出問題,
資料庫通過使用資料庫的軟體備份,比如用友,金蝶的資料庫,然後復制備份數據到新伺服器,原則上,以數據,從小到大開始
如果資料庫實在太大,可以給使用該資料庫軟體的公司聯系,看能不能做資料庫和軟體分離,單獨的一台伺服器只做資料庫,只存放資料庫數據,不負載其他軟體,或者做類似分布式存儲,多台伺服器存儲資料庫數據,不集中在某一台伺服器