大文件更新算法

‘壹’ 超大文件如何计算md5

首先，至少没必要先把整个文件读到内存里。比如在 php 里，如果有人 md5(file_get_contents(big_file_name)) 就确实非常不妥当。因为 md5 是每 512 bit 作为一个 chunk 进行计算的。所以可以每次读取一部分的内容（最少 512 bit，比较合适是 st_blksize），进行那些 chunk 部分的计算，之后再读取下一部分内容继续计算。简单先说下，md5是有规范的，提供了现成的算法（规范的名字就是md5算法。RFC 1321 The MD5 Message-Digest Algorithm），我们只需要翻译成c、java、python、js等等代码。前端算超大文件可以取头跟尾chunk内容及整个文件的name + update 时间一起算md5值就比较快了，只是为了做唯一标识来做断点续传，从业务逻辑上应该够用了。推荐使用 js spark-md5 开源库，支持直接append各个部分然后算出md5。我做的断点续传功能就是用它在前端算的md5. 各大网盘 TB级别 md5算法应该是这样的，楼上几位都说了文件md5是文件流分块算出来的，那么网盘想获得TB级别文件的md5就必须读取整个文件的文件流才能得到，但是这么做效率十分低下，运算时间是个问题。但是大家忽略了一个问题，文件在上传的过程也是分块上传的，这些上传的碎片其实也是文件流。那么可以把计算md5的时间分摊到每一个碎片上。这样每上传一个片段就计算一点等上传完成了，文件的md5也就算出来了。okTB级别MD5不是问题了。上传完成md5自然就出来了。 不知道我的猜测大家有其他看法没有。刚才提出都传完了就还怎么秒传。秒传最基本的是先要前端算出md5然后传给后端（可能需要更多种哈希值）我研究了很久前端没有办法秒内完成超大文件MD5的，现在用html5 的api 可以算出任意大小文件的 md5 但是耗时相当长。我没有解决办法。也没有想到那些网盘怎么在前端快速获取md5的。

‘贰’ 几个CSV大文件如何导入mysql数据库，并更新替换对应数据

数据太大，用数据库客户端软件直接导入非常卡，还是直接执行SQL吧。

1、指定文件路径。

2、字段之间以逗号分隔，数据行之间以\r\n分隔（我这里文件是以\n分隔的）。

3、字符串以半角双引号包围，字符串本身的双引号用两个双引号表示。

Sql代码

复制代码 代码如下:

load data infile 'D:\\top-1m.csv'

into table `site`

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by '\n';

顺带也备份个导出吧。

Sql代码

复制代码 代码如下:

select * from `site`

into outfile 'D:\\top-1m.csv'

fields terminated by ',' optionally enclosed by '"' escaped by '"'

lines terminated by '\n';

‘叁’ 如何设计一个分布式文件系统，给出文件和目录的更新算法

分布式文件系统设计主要关注几个方面： 设计特点、分布式能力、性能、容灾、维护和扩展、成本 分布式文件系统主要关键技术： 全局名字空间、缓存一致性、安全性、可用性、可扩展性

‘肆’ 压缩文件更新，没有改变原文件大小，压缩后体积却变大

这是xml文件的内置编码导致的

‘伍’ 计算机文件大小算法

电脑的算法是国际标准算法
1024KB=1M
1024M=1G
1024G=
1TB
而一些硬件厂商的算法事1000KB=1M
1000M=1G
1000G=1TB
所以造成一些内存硬盘等显示大小不足。。。
祝你好运！

‘陆’ 超大文件如何计算md5

原理
对MD5算法简要的叙述可以为：MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过了一系列的处理后，算法的输出由四个32位分组组成，将这四个32位分组级联后将生成一个128位散列值。

根据于原理，可以分组计算，不影响最后的

‘柒’ 大文件清理了还要重新更新么

大文件清理了不需要重新更新，大文件清理只是清理缓存，以前更新的旧文件，无用的垃圾文件，个人的无用数据。大文件核心运行文件并没有被清理，所以不用重新更新。

‘捌’ 文件夹太大，打不开,怎么办

1、首先确实这个文件夹是因为没有administrator权限所致；

设置完成后点击确定保存即可，那么文件夹打不开的问题就可以解决了。

‘玖’ 超大文件加密，用什么比较好

给文件加密有3种方法：

1 用系统自带的EFS加密，但要注意备份加密证书，另外在加密帐号下是看不到加密效果的。

2 用winrar的压缩加密，但速度慢，操作麻烦。

3 用超级加密3000加密文件，超级加密3000采用先进的加密算法，使你的文件加密后，真正的达到超高的加密强度，让你的加密文件无懈可击，没有密码无法解密。

您可以根据自己的实际需求选择一款属于自己的文件加密方法。