大文件更新演算法

『壹』 超大文件如何計算md5

首先，至少沒必要先把整個文件讀到內存里。比如在 php 里，如果有人 md5(file_get_contents(big_file_name)) 就確實非常不妥當。因為 md5 是每 512 bit 作為一個 chunk 進行計算的。所以可以每次讀取一部分的內容（最少 512 bit，比較合適是 st_blksize），進行那些 chunk 部分的計算，之後再讀取下一部分內容繼續計算。簡單先說下，md5是有規范的，提供了現成的演算法（規范的名字就是md5演算法。RFC 1321 The MD5 Message-Digest Algorithm），我們只需要翻譯成c、java、python、js等等代碼。前端算超大文件可以取頭跟尾chunk內容及整個文件的name + update 時間一起算md5值就比較快了，只是為了做唯一標識來做斷點續傳，從業務邏輯上應該夠用了。推薦使用 js spark-md5 開源庫，支持直接append各個部分然後算出md5。我做的斷點續傳功能就是用它在前端算的md5. 各大網盤 TB級別 md5演算法應該是這樣的，樓上幾位都說了文件md5是文件流分塊算出來的，那麼網盤想獲得TB級別文件的md5就必須讀取整個文件的文件流才能得到，但是這么做效率十分低下，運算時間是個問題。但是大家忽略了一個問題，文件在上傳的過程也是分塊上傳的，這些上傳的碎片其實也是文件流。那麼可以把計算md5的時間分攤到每一個碎片上。這樣每上傳一個片段就計算一點等上傳完成了，文件的md5也就算出來了。okTB級別MD5不是問題了。上傳完成md5自然就出來了。 不知道我的猜測大家有其他看法沒有。剛才提出都傳完了就還怎麼秒傳。秒傳最基本的是先要前端算出md5然後傳給後端（可能需要更多種哈希值）我研究了很久前端沒有辦法秒內完成超大文件MD5的，現在用html5 的api 可以算出任意大小文件的 md5 但是耗時相當長。我沒有解決辦法。也沒有想到那些網盤怎麼在前端快速獲取md5的。

『貳』 幾個CSV大文件如何導入mysql資料庫，並更新替換對應數據

數據太大，用資料庫客戶端軟體直接導入非常卡，還是直接執行SQL吧。

1、指定文件路徑。

2、欄位之間以逗號分隔，數據行之間以\r\n分隔（我這里文件是以\n分隔的）。

3、字元串以半形雙引號包圍，字元串本身的雙引號用兩個雙引號表示。

Sql代碼

復制代碼 代碼如下:

load data infile 'D:\\top-1m.csv'

into table `site`

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by '\n';

順帶也備份個導出吧。

Sql代碼

復制代碼 代碼如下:

select * from `site`

into outfile 'D:\\top-1m.csv'

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by '\n';

『叄』 如何設計一個分布式文件系統，給出文件和目錄的更新演算法

分布式文件系統設計主要關注幾個方面： 設計特點、分布式能力、性能、容災、維護和擴展、成本 分布式文件系統主要關鍵技術： 全局名字空間、緩存一致性、安全性、可用性、可擴展性

『肆』 壓縮文件更新，沒有改變原文件大小，壓縮後體積卻變大

這是xml文件的內置編碼導致的

『伍』 計算機文件大小演算法

電腦的演算法是國際標准演算法
1024KB=1M
1024M=1G
1024G=
1TB
而一些硬體廠商的演算法事1000KB=1M
1000M=1G
1000G=1TB
所以造成一些內存硬碟等顯示大小不足。。。
祝你好運！

『陸』 超大文件如何計算md5

原理
對MD5演算法簡要的敘述可以為：MD5以512位分組來處理輸入的信息，且每一分組又被劃分為16個32位子分組，經過了一系列的處理後，演算法的輸出由四個32位分組組成，將這四個32位分組級聯後將生成一個128位散列值。

根據於原理，可以分組計算，不影響最後的

『柒』 大文件清理了還要重新更新么

大文件清理了不需要重新更新，大文件清理只是清理緩存，以前更新的舊文件，無用的垃圾文件，個人的無用數據。大文件核心運行文件並沒有被清理，所以不用重新更新。

『捌』 文件夾太大，打不開,怎麼辦

1、首先確實這個文件夾是因為沒有administrator許可權所致；

設置完成後點擊確定保存即可，那麼文件夾打不開的問題就可以解決了。

『玖』 超大文件加密，用什麼比較好

給文件加密有3種方法：

1 用系統自帶的EFS加密，但要注意備份加密證書，另外在加密帳號下是看不到加密效果的。

2 用winrar的壓縮加密，但速度慢，操作麻煩。

3 用超級加密3000加密文件，超級加密3000採用先進的加密演算法，使你的文件加密後，真正的達到超高的加密強度，讓你的加密文件無懈可擊，沒有密碼無法解密。

您可以根據自己的實際需求選擇一款屬於自己的文件加密方法。