MD5即Message-Digest Algorithm 5(信息摘要演算法5),是計算機廣泛使用的散列演算法之一。經MD2、MD3和MD4發展而來,誕生於20世紀90年代初。用於確保信息傳輸完整一致。雖然已被破解,但仍然具有較好的安全性,加之可以免費使用,所以仍廣泛運用於數字簽名、文件完整性驗證以及口令加密等領域。
演算法原理:
散列演算法得到的結果位數是有限的,比如MD5演算法計算出的結果字長為128位,意味著只要我們窮舉2^128次,就肯定能得到一組碰撞,下面讓我們來看看一個真實的碰撞案例。我們之所以說MD5過時,是因為它在某些時候已經很難表現出散列演算法的某些優勢——比如在應對文件的微小修改時,散列演算法得到的指紋結果應當有顯著的不同,而下面的程序說明了MD5並不能實現這一點。
而諸如此類的碰撞案例還有很多,上面只是原始文件相對較小的一個例子。事實上現在我們用智能手機只要數秒就能找到MD5的一個碰撞案例,因此,MD5在數年前就已經不被推薦作為應用中的散列演算法方案,取代它的是SHA家族演算法,也就是安全散列演算法(Secure Hash Algorithm,縮寫為SHA)。
SHA實際包括有一系列演算法,分別是SHA-1、SHA-224、SHA-256、SHA-384以及SHA-512。而我們所說的SHA2實際是對後面4中的統稱。各種SHA演算法的數據比較如下表,其中的長度單位均為位:
MD5和SHA1,它們都有4個邏輯函數,而在SHA2的一系列演算法中都採用了6個邏輯函數。
以SHA-1為例,演算法包括有如下的處理過程:
和MD5處理輸入方式相同
經過添加位數處理的明文,其長度正好為512位的整數倍,然後按512位的長度進行分組,可以得到一定數量的明文分組,我們用Y 0 ,Y 1 ,……Y N-1 表示這些明文分組。對於每一個明文分組,都要重復反復的處理,這些與MD5都是相同的。
而對於每個512位的明文分組,SHA1將其再分成16份更小的明文分組,稱為子明文分組,每個子明文分組為32位,我們且使用M[t](t= 0, 1,……15)來表示這16個子明文分組。然後需要將這16個子明文分組擴充到80個子明文分組,我們將其記為W[t](t= 0, 1,……79),擴充的具體方法是:當0≤t≤15時,Wt = Mt;當16≤t≤79時,Wt = ( W t-3 ⊕ W t-8 ⊕ W t-14 ⊕ W t-16 ) <<< 1,從而得到80個子明文分組。
所謂初始化緩存就是為鏈接變數賦初值。前面我們實現MD5演算法時,說過由於摘要是128位,以32位為計算單位,所以需要4個鏈接變數。同樣SHA-1採用160位的信息摘要,也以32位為計算長度,就需要5個鏈接變數。我們記為A、B、C、D、E。其初始賦值分別為:A = 0x67452301、B = 0xEFCDAB89、C = 0x98BADCFE、D = 0x10325476、E = 0xC3D2E1F0。
如果我們對比前面說過的MD5演算法就會發現,前4個鏈接變數的初始值是一樣的,因為它們本來就是同源的。
經過前面的准備,接下來就是計算信息摘要了。SHA1有4輪運算,每一輪包括20個步驟,一共80步,最終產生160位的信息摘要,這160位的摘要存放在5個32位的鏈接變數中。
在SHA1的4論運算中,雖然進行的就具體操作函數不同,但邏輯過程卻是一致的。首先,定義5個變數,假設為H0、H1、H2、H3、H4,對其分別進行如下操作:
(A)、將A左移5為與 函數的結果求和,再與對應的子明文分組、E以及計算常數求和後的結果賦予H0。
(B)、將A的值賦予H1。
(C)、將B左移30位,並賦予H2。
(D)、將C的值賦予H3。
(E)、將D的值賦予H4。
(F)、最後將H0、H1、H2、H3、H4的值分別賦予A、B、C、D
這一過程表示如下:
而在4輪80步的計算中使用到的函數和固定常數如下表所示:
經過4輪80步計算後得到的結果,再與各鏈接變數的初始值求和,就得到了我們最終的信息摘要。而對於有多個明文分組的,則將前面所得到的結果作為初始值進行下一明文分組的計算,最終計算全部的明文分組就得到了最終的結果。
㈡ SHA1、SHA2安全hash演算法
sha(secure hash algorithm)安全sha演算法,對小於2^64位的消息進行演算法處理輸出消息摘要。並且消息摘要無法復原。常見的sha演算法有sha1、sha2
sha1輸出的是160位的消息在摘要 sha2輸出的是256位的消息摘要。sha2的碰撞的概率比sha1要低,因為sha2有2^256種組合sha1有2^160種組合。
sha的實現原理與 md5實現原理 在信息填充(補位),擴展長度的處理是相同的,在數據處理,輸出長度是不同的。
數據完整性校驗例如ssl的身份認證等
㈢ 安全的哈希函數中,函數可以是雙向的嗎
安全的哈希函數中,函數可以是雙向的。
hash就是找到一種數據內容和數據存放地址之間的映射關系了解了hash基本定義,就不能不提到一些著名的hash演算法,MD5和SHA1可以說是目前應用最廣泛的Hash演算法,而它們都是以MD4為基礎設計的。
哈希函數的特點:
哈希防碰撞用處是保證上傳和下載的數據是一樣的,就是改一點點出來的結果差很多。舉個例子,你輸入的信息是一部《紅樓夢》(當然電腦識別出來就是0和1),然後你在紅樓夢的第100頁的第五句話把一個逗號改成句號,然後輸出的hash值就完全不同了。這就是哈希函數一個非常重要的特性。
㈣ 哈希的演算法是什麼
哈希演算法是一個廣義的演算法,也可以認為是一種思想,使用Hash演算法可以提高存儲空間的利用率,可以提高數據的查詢效率,也可以做數字簽名來保障數據傳遞的安全性。所以Hash演算法被廣泛地應用在互聯網應用中。
哈希演算法也被稱為散列演算法,Hash演算法雖然被稱為演算法,但實際上它更像是一種思想。Hash演算法沒有一個固定的公式,只要符合散列思想的演算法都可以被稱為是Hash演算法。
特點:
加密哈希跟普通哈希的區別就是安全性,一般原則是只要一種哈希演算法出現過碰撞,就會不被推薦成為加密哈希了,只有安全度高的哈希演算法才能用作加密哈希。
同時加密哈希其實也能當普通哈希來用,Git 版本控制工具就是用 SHA-1 這個加密哈希演算法來做完整性校驗的。一般來講越安全的哈希演算法,處理速度也就越慢,所以並不是所有的場合都適合用加密哈希來替代普通哈希。
㈤ 平方哈希演算法怎麼弄題目見下
Hash,一般翻譯做「散列」,也有直接音譯為」哈希「的,就是把任意長度的輸入(又叫做預映射, pre-image),通過散列演算法,變換成固定長度的輸出,該輸出就是散列值。這種轉換是一種壓縮映射,也就是,散列值的空間通常遠小於輸入的空間,不同的輸入可能會散列成相同的輸出,而不可能從散列值來唯一的確定輸入值。簡單的說就是一種將任意長度的消息壓縮到某一固定長度的消息摘要的函數。 HASH主要用於信息安全領域中加密演算法,他把一些不同長度的信息轉化成雜亂的128位的編碼里,叫做HASH值. 也可以說,hash就是找到一種數據內容和數據存放地址之間的映射關系
㈥ 2.哈希加密 & base64加密
一、哈希HASH
哈希(散列)函數 MD5 SHA1/256/512 HMAC
Hash的特點:
1.演算法是公開的
2.對相同數據運算,得到的結果是一樣的
3.對不同數據運算,如MD5得到的結果是128位,32個字元的十六進製表示,沒法逆運算
1.MD5加密
MD5加密的特點:
不可逆運算
對不同的數據加密的結果是定長的32位字元(不管文件多大都一樣)
對相同的數據加密,得到的結果是一樣的(也就是復制)。
抗修改性 : 信息「指紋」,對原數據進行任何改動,哪怕只修改一個位元組,所得到的 MD5 值都有很大區別.
弱抗碰撞 : 已知原數據和其 MD5 值,想找到一個具有相同 MD5 值的數據(即偽造數據)是非常困難的.
強抗碰撞: 想找到兩個不同數據,使他們具有相同的 MD5 值,是非常困難的
MD5 應用:
一致性驗證:MD5將整個文件當做一個大文本信息,通過不可逆的字元串變換演算法,產生一個唯一的MD5信息摘要,就像每個人都有自己獨一無二的指紋,MD5對任何文件產生一個獨一無二的數字指紋。
那麼問題來了,你覺得這個MD5加密安全嗎?其實是不安全的,不信的話可以到這個網站試試:md5破解網站。可以說嗖地一下就破解了你的MD5加密!
2.SHA加密
安全哈希演算法(Secure Hash Algorithm)主要適用於數字簽名標准(Digital Signature Standard DSS)裡面定義的數字簽名演算法(Digital Signature Algorithm DSA)。對於長度小於2^64位的消息,SHA1會產生一個160位的消息摘要。當接收到消息的時候,這個消息摘要可以用來驗證數據的完整性。在傳輸的過程中,數據很可能會發生變化,那麼這時候就會產生不同的消息摘要。當讓除了SHA1還有SHA256以及SHA512等。
二、base64加密
1.Base64說明
描述:Base64可以成為密碼學的基石,非常重要。
特點:可以將任意的二進制數據進行Base64編碼
結果:所有的數據都能被編碼為並只用65個字元就能表示的文本文件。
65字元:A~Z a~z 0~9 + / =
對文件進行base64編碼後文件數據的變化:編碼後的數據~=編碼前數據的4/3,會大1/3左右。
2.命令行進行Base64編碼和解碼
編碼:base64 123.png -o 123.txt
解碼:base64 123.txt -o test.png -D
2.Base64編碼原理
1)將所有字元轉化為ASCII碼;
2)將ASCII碼轉化為8位二進制;
3)將二進制3個歸成一組(不足3個在後邊補0)共24位,再拆分成4組,每組6位;
4)統一在6位二進制前補兩個0湊足8位;
5)將補0後的二進制轉為十進制;
6)從Base64編碼表獲取十進制對應的Base64編碼;
處理過程說明:
a.轉換的時候,將三個byte的數據,先後放入一個24bit的緩沖區中,先來的byte占高位。
b.數據不足3byte的話,於緩沖區中剩下的bit用0補足。然後,每次取出6個bit,按照其值選擇查表選擇對應的字元作為編碼後的輸出。
c.不斷進行,直到全部輸入數據轉換完成。
㈦ 什麼是安全散列演算法SHA256
安全散列演算法SHA(Secure Hash Algorithm)是美國國家安全局 (NSA) 設計,美國國家標准與技術研究院(NIST) 發布的一系列密碼散列函數,包括 SHA-1、SHA-224、SHA-256、SHA-384 和 SHA-512 等變體。主要適用於數字簽名標准(DigitalSignature Standard DSS)裡面定義的數字簽名演算法(Digital Signature Algorithm DSA)。下面以 SHA-1為例,介紹該演算法計算消息摘要的原理。
對於長度小於2^64位的消息,SHA1會產生一個160位的消息摘要。當接收到消息的時候,這個消息摘要可以用來驗證數據的完整性。在傳輸的過程中,數據很可能會發生變化,那麼這時候就會產生不同的消息摘要。
SHA1有如下特性:不可以從消息摘要中復原信息;兩個不同的消息不會產生同樣的消息摘要。
一、術語和概念
(一)位(Bit),位元組(Byte)和字(Word)
SHA1始終把消息當成一個位(bit)字元串來處理。本文中,一個「字」(Word)是32位,而一個「位元組」(Byte)是8位。比如,字元串「abc」可以被轉換成一個位字元串:01100001 01100010 01100011。它也可以被表示成16進制字元串:0x616263.
(二)運算符和符號
下面的邏輯運算符都被運用於「字」(Word)
X^Y = X,Y邏輯與
X \/ Y = X,Y邏輯或
X XOR Y= X,Y邏輯異或
~X = X邏輯取反
X+Y定義如下:
字 X 和Y 代表兩個整數 x 和y, 其中0 <= x < 2^32 且 0 <= y < 2^32. 令整數z= (x + y) mod 2^32. 這時候 0 <= z < 2^32. 將z轉換成字Z,那麼就是 Z = X + Y.
循環左移位操作符Sn(X)。X是一個字,n是一個整數,0<=n<=32。Sn(X)= (X<>32-n)
X<定義如下:拋棄最左邊的n位數字,將各個位依次向左移動n位,然後用0填補右邊的n位(最後結果還是32位)。X>>n是拋棄右邊的n位,將各個位依次向右移動n位,然後在左邊的n位填0。因此可以叫Sn(X)位循環移位運算
二、SHA1演算法描述
在SHA1演算法中,我們必須把原始消息(字元串,文件等)轉換成位字元串。SHA1演算法只接受位作為輸入。假設我們對字元串「abc」產生消息摘要。首先,我們將它轉換成位字元串如下:
01100001 0110001001100011
―――――――――――――
『a』=97 『b』=98『c』=99
這個位字元串的長度為24。下面我們需要5個步驟來計算MD5。
(一)補位
消息必須進行補位,以使其長度在對512取模以後的余數是448。也就是說,(補位後的消息長度)%512 = 448。即使長度已經滿足對512取模後余數是448,補位也必須要進行。
補位是這樣進行的:先補一個1,然後再補0,直到長度滿足對512取模後余數是448。總而言之,補位是至少補一位,最多補512位。還是以前面的「abc」為例顯示補位的過程。
原始信息:01100001 01100010 01100011
補位第一步:0110000101100010 01100011 1
首先補一個「1」
補位第二步:0110000101100010 01100011 10…..0
然後補423個「0」
我們可以把最後補位完成後的數據用16進制寫成下面的樣子
61626380 0000000000000000 00000000
00000000 0000000000000000 00000000
00000000 0000000000000000 00000000
00000000 00000000
現在,數據的長度是448了,我們可以進行下一步操作。
(二)補長度
所謂的補長度是將原始數據的長度補到已經進行了補位操作的消息後面。通常用一個64位的數據來表示原始消息的長度。如果消息長度不大於2^64,那麼第一個字就是0。在進行了補長度的操作以後,整個消息就變成下面這樣了(16進制格式)
61626380 0000000000000000 00000000
00000000 0000000000000000 00000000
00000000 0000000000000000 00000000
00000000 0000000000000000 00000018
如果原始的消息長度超過了512,我們需要將它補成512的倍數。然後我們把整個消息分成一個一個512位的數據塊,分別處理每一個數據塊,從而得到消息摘要。
(三)使用的常量
一系列的常量字K(0),K(1), ... , K(79),如果以16進制給出。它們如下:
Kt = 0x5A827999 (0<= t <= 19)
Kt = 0x6ED9EBA1 (20<= t <= 39)
Kt = 0x8F1BBCDC (40<= t <= 59)
Kt = 0xCA62C1D6 (60<= t <= 79).
(四)需要使用的函數
在SHA1中我們需要一系列的函數。每個函數ft (0 <= t <= 79)都操作32位字B,C,D並且產生32位字作為輸出。ft(B,C,D)可以如下定義
ft(B,C,D) = (B ANDC) or ((NOT B) AND D) ( 0 <= t <= 19)
ft(B,C,D) = B XOR CXOR D (20 <= t <= 39)
ft(B,C,D) = (B ANDC) or (B AND D) or (C AND D) (40 <= t <= 59)
ft(B,C,D) = B XOR CXOR D (60 <= t <= 79).
(五)計算消息摘要
必須使用進行了補位和補長度後的消息來計算消息摘要。計算需要兩個緩沖區,每個都由5個32位的字組成,還需要一個80個32位字的緩沖區。第一個5個字的緩沖區被標識為A,B,C,D,E。第二個5個字的緩沖區被標識為H0,H1, H2, H3, H4。80個字的緩沖區被標識為W0,W1,..., W79
另外還需要一個一個字的TEMP緩沖區。
為了產生消息摘要,在第4部分中定義的16個字的數據塊M1,M2,..., Mn
會依次進行處理,處理每個數據塊Mi 包含80個步驟。
在處理每個數據塊之前,緩沖區{Hi} 被初始化為下面的值(16進制)
H0 = 0x67452301
H1 = 0xEFCDAB89
H2 = 0x98BADCFE
H3 = 0x10325476
H4 = 0xC3D2E1F0.
現在開始處理M1, M2,... , Mn。為了處理 Mi,需要進行下面的步驟
(1). 將Mi 分成 16 個字 W0, W1, ... , W15,W0 是最左邊的字
(2). 對於t = 16 到 79 令 Wt = S1(Wt-3 XOR Wt-8XOR Wt- 14 XOR Wt-16).
(3). 令A = H0, B = H1, C = H2, D = H3, E = H4.
(4) 對於t = 0 到 79,執行下面的循環
TEMP = S5(A) +ft(B,C,D) + E + Wt + Kt;
E = D; D = C; C =S30(B); B = A; A = TEMP;
(5). 令H0 = H0 + A, H1 = H1 + B, H2 = H2 + C, H3 = H3 + D, H4 = H4 + E.
在處理完所有的 Mn, 後,消息摘要是一個160位的字元串,以下面的順序標識
H0 H1 H2 H3 H4.
對於SHA256、SHA384、SHA512。你也可以用相似的辦法來計算消息摘要。對消息進行補位的演算法完全是一樣的。
三、SHA演算法被破解了嗎?
2013年9月10日美國約翰霍普金斯大學的計算機科學教授,知名的加密演算法專家,Matthew Green被NSA要求刪除他的一份關於破解加密演算法的與NSA有關的博客。 同時約翰霍普金斯大學伺服器上的該博客鏡像也被要求刪除。
加密演算法專家,美國約翰霍普金斯大學教授Matthew Green
但當記者向該大學求證時,該校稱從未收到來自NSA的要求要刪除博客或鏡像的資料,但記者卻無法在原網址再找到該博客。幸運的是,從谷歌的緩存可以找到該博客。該博客提到NSA每年花費2.5億美元來為自己在解密信息方面獲取優勢,並列舉了NSA的一系列見不得人的做法。
在BitcoinTalk上,已經掀起了一輪爭論:到底SHA-2是否安全?
部分認為不安全的觀點包括:
NSA製造了sha-2, 我們不相信NSA,他們不可能不留後門。
棱鏡事件已經明白的告訴我們,政府會用一切可能的手段來監視與解密。
雖然有很多人會研究SHA-2,且目前沒有公開的證據表明有漏洞。但沒有公開這並不能代表就沒有,因為發現漏洞的人一定更傾向於保留這個秘密來自己利用,而不是公布。
部分認為安全的觀點包括:
SHA-2是應用廣泛的演算法,應該已經經歷了實踐的檢驗。
美國的對頭中國和俄國都有很多傑出的數學家,如果有問題的話,他們肯定已經發現了。
如果真的不安全,世界上安全的東西就太少了,我不能生活在提心吊膽里,所以我選擇相信安全。
㈧ 哈希(hash) - 哈希演算法的應用
通過之前的學習,我們已經了解了哈希函數在散列表中的應用,哈希函數就是哈希演算法的一個應用。那麼在這里給出哈希的定義: 將任意長度的二進制值串映射為固定長度的二進制值串,這個映射規則就是哈希演算法,得到的二進制值串就是哈希值 。
要設計一個好的哈希演算法並不容易,它應該滿足以下幾點要求:
哈希演算法的應用非常廣泛,在這里就介紹七點應用:
有很多著名的哈希加密演算法:MD5、SHA、DES...它們都是通過哈希進行加密的演算法。
對於加密的哈希演算法來說,有兩點十分重要:一是很難根據哈希值反推導出原始數據;二是散列沖突的概率要很小。
當然,哈希演算法不可能排除散列沖突的可能,這用數學中的 鴿巢原理 就可以很好解釋。以MD5演算法來說,得到的哈希值為一個 128 位的二進制數,它的數據容量最多為 2 128 bit,如果超過這個數據量,必然會出現散列沖突。
在加密解密領域沒有絕對安全的演算法,一般來說,只要解密的計算量極其龐大,我們就可以認為這種加密方法是較為安全的。
假設我們有100萬個圖片,如果我們在圖片中尋找某一個圖片是非常耗時的,這是我們就可以使用哈希演算法的原理為圖片設置唯一標識。比如,我們可以從圖片的二進制碼串開頭取100個位元組,從中間取100個位元組,從結尾取100個位元組,然後將它們合並,並使用哈希演算法計算得到一個哈希值,將其作為圖片的唯一標識。
使用這個唯一標識判斷圖片是否在圖庫中,這可以減少甚多工作量。
在傳輸消息的過程中,我們擔心通信數據被人篡改,這時就可以使用哈希函數進行數據校驗。比如BT協議中就使用哈希栓發進行數據校驗。
在散列表那一篇中我們就講過散列函數的應用,相比於其它應用,散列函數對於散列演算法沖突的要求低很多(我們可以通過開放定址法或鏈表法解決沖突),同時散列函數對於散列演算法是否能逆向解密也並不關心。
散列函數比較在意函數的執行效率,至於其它要求,在之前的我們已經講過,就不再贅述了。
接下來的三個應用主要是在分布式系統中的應用
復雜均衡的演算法很多,如何實現一個會話粘滯的負載均衡演算法呢?也就是說,我們需要在同一個客戶端上,在一次會話中的所有請求都路由到同一個伺服器上。
最簡單的辦法是我們根據客戶端的 IP 地址或會話 ID 創建一個映射關系。但是這樣很浪費內存,客戶端上線下線,伺服器擴容等都會導致映射失效,維護成本很大。
藉助哈希演算法,我們可以很輕松的解決這些問題:對客戶端的 IP 地址或會話 ID 計算哈希值,將取得的哈希值域伺服器的列表的大小進行取模運算,最後得到的值就是被路由到的伺服器的編號。
假設有一個非常大的日誌文件,裡面記錄了用戶的搜索關鍵詞,我們想要快速統計出每個關鍵詞被搜索的次數,該怎麼做呢?
分析一下,這個問題有兩個難點:一是搜索日誌很大,沒辦法放到一台機器的內存中;二是如果用一台機器處理這么大的數據,處理時間會很長。
針對這兩個難點,我們可以先對數據進行分片,然後使用多台機器處理,提高處理速度。具體思路:使用 n 台機器並行處理,從日誌文件中讀出每個搜索關鍵詞,通過哈希函數計算哈希值,然後用 n 取模,最終得到的值就是被分配的機器編號。
這樣,相同的關鍵詞被分配到了相同的機器上,不同機器只要記錄屬於自己那部分的關鍵詞的出現次數,最終合並不同機器上的結果即可。
針對這種海量數據的處理問題,我們都可以採用多機分布式處理。藉助這種分片思路,可以突破單機內存、CPU等資源的限制。
處理思路和上面出現的思路類似:對數據進行哈希運算,對機器數取模,最終將存儲數據(可能是硬碟存儲,或者是緩存分配)分配到不同的機器上。
你可以看一下上圖,你會發現之前存儲的數據在新的存儲規則下全部失效,這種情況是災難性的。面對這種情況,我們就需要使用一致性哈希演算法。
哈希演算法是應用非常廣泛的演算法,你可以回顧上面的七個應用感受一下。
其實在這里我想說的是一個思想: 用優勢彌補不足 。
例如,在計算機中,數據的計算主要依賴 CPU ,數據的存儲交換主要依賴內存。兩者一起配合才能實現各種功能,而兩者在性能上依然無法匹配,這種差距主要是: CPU運算性能對內存的要求遠高於現在的內存能提供的性能。
也就是說,CPU運算很快,內存相對較慢,為了抹平這種差距,工程師們想了很多方法。在我看來,散列表的使用就是利用電腦的高計算性能(優勢)去彌補內存速度(不足)的不足,你仔細思考散列表的執行過程,就會明白我的意思。
以上就是哈希的全部內容