python網路io

A. 用python打開文件總是出現IOError怎麼回事

用python打開文件總是出現IOError的原因：

1.python ioerror的出現：打開一個不存在的文件，示例中有意輸入了一個不存在的文件名，並試圖打開它。程序找不到這個文件名所以引發了IOError

」Traceback (most recent call last): File "<stdin>", line 1, in <mole>IOError: [Errno 2] No such file or directory: 'a.txt'「

2.文件寫入時遇到python error錯誤原因。有同學遇到了IOError Errno 0 錯誤的情況，在用a+方式打開文件，之後讀取該文件內容。修改讀取的內容後重新寫入文件，在寫入時程序也遇到了IOError錯誤。這時要注意在讀取文件之後記得要把文件關閉，當你需要寫入文件時，要再將文件以w+方式打開寫入。加深學習Python open()函數文件打開、讀、寫基礎操作，可以減少類似情況發生。

3.當你不能滿足被訪問文件所設置的許可權時，也會引發IO Error錯誤，類似這樣

」IOError: [Errno 13] Permission denied: 'c:/a.txt' python permission denied「

從字面意思來理解就可以知道原因了，是因為我們執行的命令（運行python文件等），沒有許可權，給一個超級管理員許可權就可以了。

B. Python基礎之:Python中的IO

IO就是輸入和輸出，任何一個程序如果和外部希望有交互的話，都需要使用到IO。相對於java而言，Python中的IO更加的簡單，易用。
本文將會詳細介紹Python中的IO操作。

linux中有三種標准輸入輸出，分別是STDIN，STDOUT，

STDERR，對應的數字是0，1，2。

STDIN是標准輸入，默認從鍵盤讀取信息；

STDOUT是標准輸出，默認將輸出結果輸出至終端；

STDERR是標准錯誤，默認將輸出結果輸出至終端。

我們常用的 2>&1，指將標准輸出、標准錯誤指定為同一輸出路徑 。

python中，我們可以使用print方法來輸出信息。\

我們看下print函數的定義：

print函數將 objects 列印到 file 指定的文本流，以 sep 分隔並在末尾加上 end。 sep, end, file 和 flush 如果存在，那麼必須以關鍵字參數的形式給出。

所有非關鍵字參數都會被轉換為字元串，並會被寫入到流，以 sep 分割，並在末尾加上 end。 sep 和 end 都必須為字元串；它們也可以為 None，這意味著使用默認值。 如果沒有給出 objects，則 print() 將只寫入 end。

file 參數必須是一個具有 write(string) 方法的對象；如果參數不存在或為 None，則將使用 sys.stdout。 由於要列印的參數會被轉換為文本字元串，因此 print()不能用於二進制模式的文件對象。 對於這些對象，可以使用 file.write(...)。

輸出是否被緩存通常決定於 file，但如果 flush 關鍵字參數為真值，輸出流會被強制刷新。

可以看到print的輸出格式還是比較簡單的。我們接下來看一下怎麼豐富輸出的格式。

如果想要格式化字元串，可以在字元串的開始引號之前加上 f 或 F。
這樣的話，我們可以直接在字元串中引入變數值，只需要把變數放在 { 和 } 中間即可。

除了在{ }中放入Python變數之外，還可以在其中放入函數：

在 ':' 後傳遞一個整數可以讓該欄位成為最小字元寬度。方便列對齊:

{ }中的變數後面還可以跟著轉值符號：'!a' 表示應用 ascii() ，'!s' 表示應用 str()，還有 '!r' 表示應用 repr()：

除此之外，str本身自帶一個功能強大的format 函數：

調用此方法的字元串可以包含字元串字面值或者以花括弧 {} 括起來的替換域，每個替換域可以包含一個位置參數的數字索引，或者一個關鍵字參數的名稱。 返回的字元串副本中每個替換域都會被替換為對應參數的字元串值。

再看一個使用索引的例子：

看一個關鍵字的例子：

再看一個組合的例子：

還有非常復雜的組合的例子：

或者使用 '**' 符號將 table 作為關鍵字參數傳遞：

還可以使用n類型 '{:n}' 來格式化數字：

如果我們只是想要將Python對象轉換為字元串，那麼可以使用repr()或者str(), str() 函數是用於返回人類可讀的值的表示，而 repr()是用於生成解釋器可讀的表示。
舉個例子：

str對象還提供了一些對字元串進行手動格式化的方法：

字元串對象的 str.rjust()方法通過在左側填充空格來對給定寬度的欄位中的字元串進行右對齊。類似的方法還有 str.ljust()和 str.center()。
如果輸入的字元串太長，它們不會截斷字元串，而是原樣返回。
如果想保證字元串的長度，則可以使用切片： x.ljust(n)[:n] 。
還可以使用str.zfill()來用0填充字元串：

% 也可以用來格式化字元串，給定 'string' % values，則 string 中的 % 實例會以零個或多個 values 元素替換。 此操作通常被稱為字元串插值。

python中文件讀取非常簡單，使用open()方法即可。
open()會返回一個文件對象。我們看一下它的定義：

第一個參數是文件名。
第二個參數是文件打開的模式，可用的模式有：

默認模式為 'r' 。
看一個open文件的例子：

文件打開了，自然需要被關閉，所以我們需要顯示調用 f.close() 方法：

有沒有類似java中的try with resource的自動關閉文件的功能呢？
我們可以使用with，這樣文件在使用完畢之後，會自動被關閉，非常的好用。

文件被關閉之後，如果想要再次讀取，就會報錯：

獲取到文件對象之後，我們就可以調用文件中的方法了。

f.read(size) 會讀取一些數據並將其作為字元串（在文本模式下）或位元組串對象（在二進制模式下）返回。

size 是一個可選的數值參數。 當 size 被省略或者為負數時，將讀取並返回整個文件的內容；當取其他值時，將讀取並返回至多 size 個字元（在文本模式下）或 size 個位元組（在二進制模式下）。 如果已到達文件末尾，f.read() 將返回一個空字元串 ('')。

f.readline() 從文件中讀取一行；換行符（\n）留在字元串的末尾，如果文件不以換行符結尾，則在文件的最後一行省略。如果 f.readline() 返回一個空的字元串，則表示已經到達了文件末尾，而空行使用 '\n' 表示，該字元串只包含一個換行符。

還有一種更加簡單的讀取方法，就是從文件中遍歷：

如果你想以列表的形式讀取文件中的所有行，你也可以使用 list(f) 或 f.readlines()。
f.write(string) 會把 string 的內容寫入到文件中，並返回寫入的字元數。

如果是在文本模式下，那麼在寫入文件之前，需要把對象轉換成為文本形式，我們可以使用str()來進行轉換。

使用f.seek(offset, whence)可以定位文件指針的位置，然後後續會從該位置開始進行讀取操作。

whence 的 0 值表示從文件開頭起算，1 表示使用當前文件位置，2 表示使用文件末尾作為參考點。 whence 如果省略則默認值為 0，即使用文件開頭作為參考點。

JSON是一個很方便進行信息交流的文件格式。我們看下怎麼使用JSON來將對象轉換為字元串：

mps是將對象轉換為json str。 json還有一個mp方法，可以直接將對象存入到文件中。

要從文件中解析出json字元串，可以使用load：

JSON 中的鍵-值對中的鍵永遠是 str類型的。當一個對象被轉化為 JSON 時，字典中所有的鍵都會被強制轉換為字元串。這所造成的結果是字典被轉換為 JSON 然後轉換回字典時可能和原來的不相等。換句話說，如果 x 具有非字元串的鍵，則有 loads(mps(x)) != x。

C. python語言基礎知識是什麼

如下：

一、Python語言基礎

Python核心：Python數據基本運算、語句、容器、函數

Python 面向對象編程：OOA、OOD、OOP、天龍八部技能系統框架 設計 Python高級：模塊、包、函數式編程、文件。

二、Python高級軟體開發技術

Linux操作系統 ：Linux常用命令、編輯工具、vim/Pycharm

數據結構與演算法 ：鏈表、棧和隊列、樹和二叉樹、查找排序

IO網路編程：文件操作、位元組流讀寫、網路協議、套接 字、TCP/UDP

並發編程：多進程、進程池、進程通信、多線程、線程鎖、多任務並發、IO模型、協程

Python 正則表達式：正則表達式、貪婪模和非貪婪模式、re模塊

MySQL基礎：資料庫應用、SQL語言、Mysql增刪改查、 pymysql模塊

三、Python Web全棧式工程師

HTML/CSS HTML5標簽，CSS選擇器，CSS樣式屬性以 及值

Java ：JS流程式控制制，DOM，BOM，JQuery API

MySQL高級：MySQL索引、事務、引擎、優化、pymysql 模塊使用

Python Django 框架：Django、模板、視圖、模型、請求對象等

Ajax Ajax,：JSON, Jquery對Ajax的支持, 跨域訪問

四、Python 爬蟲

Redis：Redis、string、hash、list、set、zset、 Python與MySQL和Redis結合

爬蟲、HTTP、BeautifulSoup,XPath,Scrapy其實無論是學習什麼知識，都要有一個對學習目標的清楚認識。 只有這樣才能朝著目標持續前進，少走彎路，從學習中得到不斷的提升，享受python學習計劃的過程。

D. python的問題

IDE選用這里推薦兩款常用的 IDE，可以按照自己的條件和場景來選擇。PyCharmPyCharm 是由 JetBrain 的人員製作的 IDE，該團隊負責最著名的 Java IDE，IntelliJ IDEA之一。PyCharm 的界面和功能對於那些有使用過其他 JetBrain 產品的人來說，是完美的。 此外，如果您喜歡 IPython 或 Anaconda 發行版，那麼 PyCharm 可以將其工具和庫（如NumPyMatplotlib）集成在一起，從而讓您可以使用數組查看器和互動式圖表。Thonny現在的開發工具太多了，而且每個開發工具都致力於做成最好用最智能的工具，所以功能越堆越多，越懟越智能。安裝這些開發工具比較燒腦，經常需要經過許多配置步驟。作為一個 Python 開發者來說，好多人光是這些配置都要弄半天。配置好之後，打開軟體，發現滿屏都是菜單、按鈕，無從下手，學習這些功能使用又是一大難題。這是一款對初學者特別友好的開發 IDE，它是由愛沙尼亞的 Tartu 大學開發，十分易於上手，還支持插件。如果你有編程基礎，會其他編程語言，那麼建議你用Pycharm。如果你是編程小白，或者零基礎上手，那麼建議你用Thonny。入門首先要學習Python基礎知識，直接上課程：Python 環境搭建Python 基礎語法Python 變數與數據類型Python 流程式控制制Python函數Python 模塊和包Python 數據結構--序列Python ListPython tupplePython 類與對象Python 字典Python 集合Python 函數的參數Python 高階函數Python 輸入輸出Python 錯誤和異常Python 之引用Python 之迭代器Python 之裝飾器Python NameSpace & ScopePython Standard Library 01Python Standard Library 02Python datetime 和 timePython 垃圾回收機制Python 到底是值傳遞還是引用傳遞Python 之對象的比較與拷貝進階通過上面基礎知識的學習，相信你已經知道Python是個什麼玩意了，對它也有一個初步的了解，對它的入門知識點也有些印象了。這時候你需要進階學習，在入門的基礎上更進一步。下面就從 Python 模塊、Python爬蟲基礎、Python Web開發、Python 資料庫操作、Python 數據分析及數據科學、Python IO及非同步、Python網路編程、Python圖像處理、Python 辦公、Python 機器學習、Python 可視化 這些Python的基礎大類來進行深入學習。Python 模塊Python os 模塊詳解Python shutil 模塊Python sys 模塊詳解Python queue 模塊詳解Python collections 模塊Python random 模塊Python logging 模塊詳解Python 枚舉Python json&picklepathlib 模塊Python calendar 模塊Python math 模塊Python decimal 模塊Python itertools 模塊Python statistics 模塊Python operator 模塊Python paramiko 模塊Python filecmp&difflib模塊初識 Python 多線程Python 多線程之 threading 模塊Python Queue 進階用法Python multiprocessing 模塊Python 線程池Python 多線程 EventPython爬蟲基礎爬蟲介紹Python 爬蟲之 urllib 包基本使用Python 用戶登錄 Flask-LoginPython Requests 庫的基本使用Python Requests 庫高級用法正則表達式XPath 和 lxml爬蟲利器 Beautiful Soup 之遍歷文檔PyQuery 詳解爬蟲利器 Beautiful Soup 之搜索文檔Selenium 環境配置Selenium詳解Python Scrapy 爬蟲框架及搭建Python Scrapy 項目實戰PySpider框架的使用Scrapy 模擬登陸Python 解析 XML爬取微信公眾號文章內容Python 爬取豆瓣電影 top 250Python newspaper 框架Python Web開發Web 開發 Flask 介紹Web開發 Jinja2模板引擎Flask 框架集成BootstrapWeb表單Flask數據持久化Web 開發 RESTfulPython Web開發 Django 簡介Python Django 模型概述與應用HTTP 入門Python Web 開發之 JWT 簡介Python Web開發 OAuth2.0 簡介OAuth2.0 客戶端實戰Flask 單元測試Web 開發 Django 管理工具Web 開發 Django 模板Flask 項目結構Python 資料庫操作Python 操作 Redis 資料庫介紹Python 操作 SQLitePython 操作 MongoDB 資料庫介紹Python 操作 MySQLPython SQLAlchemyPython 數據分析及數據科學數據分析之 Numpy 初步NumPy Ndarray 對象及數據類型NumPy 字元串操作NumPy 數學函數NumPy 統計函數NumPy 排序和篩選函數NumPy 位運算與算術函數數據分析之 pandas 初步NumPy 矩陣Numpy 中數組和矩陣的區別Python IO及非同步文件讀寫StringIO & BytesIOPython asyncioPython非同步之aiohttpPython網路編程TCP 編程UDP 編程Python圖像處理圖像庫 PIL（一）圖像庫 PIL（二）圖像庫 PIL 實例—驗證碼去噪Python 辦公Python 操作 ExcelPython 操作 WordPython 解析 PDFPython 操作 CSVPython 機器學習機器學習概覽第 112 天：機器學習演算法之蒙特卡洛Python XGBoost 演算法項目實戰三木板模型演算法項目實戰第116天：機器學習演算法之樸素貝葉斯理論機器學習演算法之 K 近鄰第120天：機器學習演算法之 K 均值聚類機器學習之決策樹Python 可視化Python matplotlib introctionPython Matplotlib 進階操作Seaborn-可視化統計關系Seaborn-可視化分類數據Seaborn-可視化數據集的分布實戰Python的知識點學完了之後，並不代表學完了。這只能代表你會Python了，並不能表示你可以去找工作、你可以去接單了。因為你還缺乏實戰練習，這個階段需要你能從一個實際需求中進行建模，然後用Python去實現模型，得到預期的結果。這里列一些貼近工作生活實際的小項目，每個項目都能讓你學習到如何進行需求建模，如何用代碼去實現，去解決實際的問題。解析網路網盤鏈接：幾行代碼，網盤鏈接提頭來見！揭露出軌女友：女友加班發自拍，男友用幾行代碼發現驚天秘密...爬取小程序：不能爬小程序，叫什麼會爬蟲解密當代女性胸圍：我半夜爬了嚴選的女性文胸數據，發現了驚天秘密製作簽名軟體：牛逼！用Python為她設計專屬簽名軟體！識別車牌：如何用 Python 識別車牌？追女神：用Python助女神發朋友圈下載知乎美女圖片：Python 抓取知乎幾千張小姐姐圖片是什麼體驗？炒股賺錢：一份代碼幫我賺了10萬寫小游戲：不到 150 行代碼寫一個 Python 版的貪吃蛇摳圖無煩惱：Python裝逼指南——五行代碼實現批量摳圖跟蹤房價數據：看我如何抓取最新房價數據跟女友惡作劇：女友電腦私存撕蔥帥照，我用python偷梁換柱...自動搶紅包：強大！用 60 行代碼自動搶微信紅包下載B站視頻：使用 Python 下載 B 站視頻更多精彩可以關注我的專欄：我是@無歡不散，看到這里的朋友請幫忙點個贊，也可以關注 @無歡不散 不迷路。

E. 學python如何學

python要怎麼學？讓我們一起了解一下吧！
首先選擇好python方向，比如說數據採集方向（爬蟲），Web開發方向，人工智慧方向等；接著學習python必學的內容，如Python的基礎語言、學習Python的資料庫編程；然後就可以根據書籍或教州派學視頻，一步步來學習Python；最後去尋找合適的python項目實例，查漏補缺的同時提升自己的能力。如果是零基礎仿者的初學者，建議選擇培訓班進行系統化學習，才能更快上手。
拓展：python必學的具體內容
1、Python的基礎語言
從Python的基礎語法開始學習，了解什麼是Python的變數，什麼是循環，什麼是函數，什麼是模塊類等等。
2、Python的文件操作
學習完基礎之後，進行一些簡單的聯系，如文件的操作。學習文件操作的時候，要學習文件的寫入和讀取以及了解各種文件之間的讀寫不同知識點。
3、Python的資料庫編程
一般學習Mysql資料庫的操作，包括資料庫的增加數據，刪除數據，以及查詢數據以及對應的SQL語句等都是學習的重點。
4、Python的網路編程
要學習網路編程，一般需要了解三個方面：
1.寫出基本備跡薯的TCP連接，知道編寫TCP的各個步驟，例如創建socket、綁定port、埠復用等，對TCP稍微做了解，知道協議的每個欄位，了解三次握手。
2.了解基本的伺服器並發模型，例如多進程、多線程、IO復。
3.了解一些網路庫例如twisted。
今天的分享就是這些，希望能幫助到大家！

F. python 運維常用腳本

Python 批量遍歷目錄文件,並修改訪問時間

import os

path = "D:/UASM64/include/"
dirs = os.listdir(path)
temp=[];

for file in dirs:
temp.append(os.path.join(path, file))
for x in temp:
os.utime(x, (1577808000, 1577808000))
Python 實現的自動化伺服器管理

import sys
import os
import paramiko

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

def ssh_cmd(user,passwd,port,userfile,cmd):

def ssh_put(user,passwd,source,target):

while True:
try:
shell=str(input("[Shell] # "))
if (shell == ""):
continue
elif (shell == "exit"):
exit()
elif (shell == "put"):
ssh_put("root","123123","./a.py","/root/a.py")
elif (shell =="cron"):
temp=input("輸入一個計劃任務: ")
temp1="(crontab -l; echo "+ temp + ") |crontab"
ssh_cmd("root","123123","22","./user_ip.conf",temp1)
elif (shell == "uncron"):
temp=input("輸入要刪除的計劃任務: ")
temp1="crontab -l | grep -v " "+ temp + "|crontab"
ssh_cmd("root","123123","22","./user_ip.conf",temp1)
else:
ssh_cmd("lyshark","123123","22","./user_ip.conf",shell)

遍歷目錄和文件

import os

def list_all_files(rootdir):
import os
_files = []
list = os.listdir(rootdir) #列出文件夾下所有的目錄與文件
for i in range(0,len(list)):
path = os.path.join(rootdir,list[i])
if os.path.isdir(path):
_files.extend(list_all_files(path))
if os.path.isfile(path):
_files.append(path)
return _files

a=list_all_files("C:/Users/LyShark/Desktop/a")
print(a)
python檢測指定埠狀態

import socket

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sk.settimeout(1)

for ip in range(0,254):
try:
sk.connect(("192.168.1."+str(ip),443))
print("192.168.1.%d server open "%ip)
except Exception:
print("192.168.1.%d server not open"%ip)

sk.close()

python實現批量執行CMD命令

import sys
import os
import paramiko

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

print("------------------------------> ")
print("使用說明,在當前目錄創建ip.txt寫入ip地址")
print("------------------------------> ")

user=input("輸入用戶名:")
passwd=input("輸入密碼:")
port=input("輸入埠:")
cmd=input("輸入執行的命令:")

file = open("./ip.txt", "r")
line = file.readlines()

for i in range(len(line)):
print("對IP: %s 執行"%line[i].strip(' '))

python3-實現釘釘報警

import requests
import sys
import json

dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token='

data = {"msgtype": "markdown","markdown": {"title": "監控","text": "apche異常"}}

headers = {'Content-Type':'application/json;charset=UTF-8'}

send_data = json.mps(data).encode('utf-8')
requests.post(url=dingding_url,data=send_data,headers=headers)

import psutil
import requests
import time
import os
import json

monitor_name = set(['httpd','cobblerd']) # 用戶指定監控的服務進程名稱

proc_dict = {}
proc_name = set() # 系統檢測的進程名稱
monitor_map = {
'httpd': 'systemctl restart httpd',
'cobblerd': 'systemctl restart cobblerd' # 系統在進程down掉後，自動重啟
}

dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token='

while True:
for proc in psutil.process_iter(attrs=['pid','name']):
proc_dict[proc.info['pid']] = proc.info['name']
proc_name.add(proc.info['name'])

判斷指定埠是否開放

import socket

port_number = [135,443,80]

for index in port_number:
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
result = sock.connect_ex((飗.0.0.1', index))
if result == 0:
print("Port %d is open" % index)
else:
print("Port %d is not open" % index)
sock.close()

判斷指定埠並且實現釘釘輪詢報警

import requests
import sys
import json
import socket
import time

def dingding(title,text):
dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token='
data = {"msgtype": "markdown","markdown": {"title": title,"text": text}}
headers = {'Content-Type':'application/json;charset=UTF-8'}
send_data = json.mps(data).encode('utf-8')
requests.post(url=dingding_url,data=send_data,headers=headers)

def net_scan():
port_number = [80,135,443]
for index in port_number:
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
result = sock.connect_ex((飗.0.0.1', index))
if result == 0:
print("Port %d is open" % index)
else:
return index
sock.close()

while True:
dingding("Warning",net_scan())
time.sleep(60)

python-實現SSH批量CMD執行命令

import sys
import os
import paramiko

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

def ssh_cmd(user,passwd,port,userfile,cmd):
file = open(userfile, "r")
line = file.readlines()
for i in range(len(line)):
print("對IP: %s 執行"%line[i].strip(' '))
ssh.connect(hostname=line[i].strip(' '),port=port,username=user,password=passwd)
cmd=cmd
stdin, stdout, stderr = ssh.exec_command(cmd)
result = stdout.read()

ssh_cmd("lyshark","123","22","./ip.txt","free -h |grep 'Mem:' |awk '{print $3}'")

用python寫一個列舉當前目錄以及所有子目錄下的文件，並列印出絕對路徑

import sys
import os

for root,dirs,files in os.walk("C://"):
for name in files:
print(os.path.join(root,name))
os.walk()

按照這樣的日期格式（xxxx-xx-xx）每日生成一個文件，例如今天生成的文件為2013-09-23.log， 並且把磁碟的使用情況寫到到這個文件中。

import os
import sys
import time

new_time = time.strftime("%Y-%m-%d")
disk_status = os.popen("df -h").readlines()

str1 = ''.join(disk_status)
f = open(new_time+'.log','w')
f.write("%s"%str1)

f.flush()
f.close()

統計出每個IP的訪問量有多少？（從日誌文件中查找）

import sys

list = []

f = open("/var/log/httpd/access_log","r")
str1 = f.readlines()
f.close()

for i in str1:
ip=i.split()[0]
list.append(ip)

list_num=set(list)

for j in list_num:
num=list.count(j)
print("%s -----> %s" %(num,j))

寫個程序，接受用戶輸入數字，並進行校驗，非數字給出錯誤提示，然後重新等待用戶輸入。

import tab
import sys

while True:
try:
num=int(input("輸入數字：").strip())
for x in range(2,num+1):
for y in range(2,x):
if x % y == 0:
break
else:
print(x)
except ValueError:
print("您輸入的不是數字")
except KeyboardInterrupt:
sys.exit(" ")

ps 可以查看進程的內存佔用大小，寫一個腳本計算一下所有進程所佔用內存大小的和。

import sys
import os

list=[]
sum=0

str1=os.popen("ps aux","r").readlines()

for i in str1:
str2=i.split()
new_rss=str2[5]
list.append(new_rss)
for i in list[1:-1]:
num=int(i)
sum=sum+num

print("%s ---> %s"%(list[0],sum))

關於Python 命令行參數argv

import sys

if len(sys.argv) < 2:
print ("沒有輸入任何參數")
sys.exit()

if sys.argv[1].startswith("-"):
option = sys.argv[1][1:]

利用random生成6位數字加字母隨機驗證碼

import sys
import random

rand=[]

for x in range(6):
y=random.randrange(0,5)
if y == 2 or y == 4:
num=random.randrange(0,9)
rand.append(str(num))
else:
temp=random.randrange(65,91)
c=chr(temp)
rand.append(c)
result="".join(rand)
print(result)

自動化-使用pexpect非交互登陸系統

import pexpect
import sys

ssh = pexpect.spawn('ssh [email protected]')
fout = file('sshlog.txt', 'w')
ssh.logfile = fout

ssh.expect("[email protected]'s password:")

ssh.sendline("密碼")
ssh.expect('#')

ssh.sendline('ls /home')
ssh.expect('#')

Python-取系統時間

import sys
import time

time_str = time.strftime("日期：%Y-%m-%d",time.localtime())
print(time_str)

time_str= time.strftime("時間：%H:%M",time.localtime())
print(time_str)

psutil-獲取內存使用情況

import sys
import os
import psutil

memory_convent = 1024 * 1024
mem =psutil.virtual_memory()

print("內存容量為:"+str(mem.total/(memory_convent))+"MB ")
print("已使用內存:"+str(mem.used/(memory_convent))+"MB ")
print("可用內存:"+str(mem.total/(memory_convent)-mem.used/(1024*1024))+"MB ")
print("buffer容量:"+str(mem.buffers/( memory_convent ))+"MB ")
print("cache容量:"+str(mem.cached/(memory_convent))+"MB ")

Python-通過SNMP協議監控CPU
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*

import os

def getAllitems(host, oid):
sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid + '|grep Raw|grep Cpu|grep -v Kernel').read().split(' ')[:-1]
return sn1

def getDate(host):
items = getAllitems(host, '.1.3.6.1.4.1.2021.11')

if name == ' main ':

Python-通過SNMP協議監控系統負載
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*

import os
import sys

def getAllitems(host, oid):
sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split(' ')
return sn1

def getload(host,loid):
load_oids = Ƈ.3.6.1.4.1.2021.10.1.3.' + str(loid)
return getAllitems(host,load_oids)[0].split(':')[3]

if name == ' main ':

Python-通過SNMP協議監控內存
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*

import os

def getAllitems(host, oid):

def getSwapTotal(host):

def getSwapUsed(host):

def getMemTotal(host):

def getMemUsed(host):

if name == ' main ':

Python-通過SNMP協議監控磁碟
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*

import re
import os

def getAllitems(host,oid):

def getDate(source,newitem):

def getRealDate(item1,item2,listname):

def caculateDiskUsedRate(host):

if name == ' main ':

Python-通過SNMP協議監控網卡流量
注意：被監控的機器上需要支持snmp協議 yum install -y net-snmp*

import re
import os

def getAllitems(host,oid):
sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split(' ')[:-1]
return sn1

def getDevices(host):
device_mib = getAllitems(host,'RFC1213-MIB::ifDescr')
device_list = []

def getDate(host,oid):
date_mib = getAllitems(host,oid)[1:]
date = []

if name == ' main ':

Python-實現多級菜單

import os
import sys

ps="[None]->"
ip=["192.168.1.1","192.168.1.2","192.168.1.3"]
flage=1

while True:
ps="[None]->"
temp=input(ps)
if (temp=="test"):
print("test page !!!!")
elif(temp=="user"):
while (flage == 1):
ps="[User]->"
temp1=input(ps)
if(temp1 =="exit"):
flage=0
break
elif(temp1=="show"):
for i in range(len(ip)):
print(i)

Python實現一個沒用的東西

import sys

ps="[root@localhost]# "
ip=["192.168.1.1","192.168.1.2","192.168.1.3"]

while True:
temp=input(ps)
temp1=temp.split()

檢查各個進程讀寫的磁碟IO

import sys
import os
import time
import signal
import re

class DiskIO:
def init (self, pname=None, pid=None, reads=0, writes=0):
self.pname = pname
self.pid = pid
self.reads = 0
self.writes = 0

def main():
argc = len(sys.argv)
if argc != 1:
print ("usage: please run this script like [./lyshark.py]")
sys.exit(0)
if os.getuid() != 0:
print ("Error: This script must be run as root")
sys.exit(0)
signal.signal(signal.SIGINT, signal_handler)
os.system('echo 1 > /proc/sys/vm/block_mp')
print ("TASK PID READ WRITE")
while True:
os.system('dmesg -c > /tmp/diskio.log')
l = []
f = open('/tmp/diskio.log', 'r')
line = f.readline()
while line:
m = re.match(
'^(S+)(d+)(d+): (READ|WRITE) block (d+) on (S+)', line)
if m != None:
if not l:
l.append(DiskIO(m.group(1), m.group(2)))
line = f.readline()
continue
found = False
for item in l:
if item.pid == m.group(2):
found = True
if m.group(3) == "READ":
item.reads = item.reads + 1
elif m.group(3) == "WRITE":
item.writes = item.writes + 1
if not found:
l.append(DiskIO(m.group(1), m.group(2)))
line = f.readline()
time.sleep(1)
for item in l:
print ("%-10s %10s %10d %10d" %
(item.pname, item.pid, item.reads, item.writes))
def signal_handler(signal, frame):
os.system('echo 0 > /proc/sys/vm/block_mp')
sys.exit(0)

if name ==" main ":
main()

利用Pexpect實現自動非交互登陸linux

import pexpect
import sys

ssh = pexpect.spawn('ssh [email protected]')
fout = file('sshlog.log', 'w')
ssh.logfile = fout

ssh.expect("[email protected]'s password:")

ssh.sendline("密碼")

ssh.expect('#')
ssh.sendline('ls /home')
ssh.expect('#')

利用psutil模塊獲取系統的各種統計信息

import sys
import psutil
import time
import os

time_str = time.strftime( "%Y-%m-%d", time.localtime( ) )
file_name = "./" + time_str + ".log"

if os.path.exists ( file_name ) == False :
os.mknod( file_name )
handle = open ( file_name , "w" )
else :
handle = open ( file_name , "a" )

if len( sys.argv ) == 1 :
print_type = 1
else :
print_type = 2

def isset ( list_arr , name ) :
if name in list_arr :
return True
else :
return False

print_str = "";

if ( print_type == 1 ) or isset( sys.argv,"mem" ) :
memory_convent = 1024 * 1024
mem = psutil.virtual_memory()
print_str += " 內存狀態如下: "
print_str = print_str + " 系統的內存容量為: "+str( mem.total/( memory_convent ) ) + " MB "
print_str = print_str + " 系統的內存以使用容量為: "+str( mem.used/( memory_convent ) ) + " MB "
print_str = print_str + " 系統可用的內存容量為: "+str( mem.total/( memory_convent ) - mem.used/( 1024*1024 )) + "MB "
print_str = print_str + " 內存的buffer容量為: "+str( mem.buffers/( memory_convent ) ) + " MB "
print_str = print_str + " 內存的cache容量為:" +str( mem.cached/( memory_convent ) ) + " MB "

if ( print_type == 1 ) or isset( sys.argv,"cpu" ) :
print_str += " CPU狀態如下: "
cpu_status = psutil.cpu_times()
print_str = print_str + " user = " + str( cpu_status.user ) + " "
print_str = print_str + " nice = " + str( cpu_status.nice ) + " "
print_str = print_str + " system = " + str( cpu_status.system ) + " "
print_str = print_str + " idle = " + str ( cpu_status.idle ) + " "
print_str = print_str + " iowait = " + str ( cpu_status.iowait ) + " "
print_str = print_str + " irq = " + str( cpu_status.irq ) + " "
print_str = print_str + " softirq = " + str ( cpu_status.softirq ) + " "
print_str = print_str + " steal = " + str ( cpu_status.steal ) + " "
print_str = print_str + " guest = " + str ( cpu_status.guest ) + " "

if ( print_type == 1 ) or isset ( sys.argv,"disk" ) :
print_str += " 硬碟信息如下: "
disk_status = psutil.disk_partitions()
for item in disk_status :
print_str = print_str + " "+ str( item ) + " "

if ( print_type == 1 ) or isset ( sys.argv,"user" ) :
print_str += " 登錄用戶信息如下: "
user_status = psutil.users()
for item in user_status :
print_str = print_str + " "+ str( item ) + " "

print_str += "--------------------------------------------------------------- "
print ( print_str )
handle.write( print_str )
handle.close()

import psutil

mem = psutil.virtual_memory()
print mem.total,mem.used,mem
print psutil.swap_memory() # 輸出獲取SWAP分區信息

cpu = psutil.cpu_stats()
printcpu.interrupts,cpu.ctx_switches

psutil.cpu_times(percpu=True) # 輸出每個核心的詳細CPU信息
psutil.cpu_times().user # 獲取CPU的單項數據 [用戶態CPU的數據]
psutil.cpu_count() # 獲取CPU邏輯核心數，默認logical=True
psutil.cpu_count(logical=False) # 獲取CPU物理核心數

psutil.disk_partitions() # 列出全部的分區信息
psutil.disk_usage('/') # 顯示出指定的掛載點情況【位元組為單位】
psutil.disk_io_counters() # 磁碟總的IO個數
psutil.disk_io_counters(perdisk=True) # 獲取單個分區IO個數

psutil.net_io_counter() 獲取網路總的IO，默認參數pernic=False
psutil.net_io_counter(pernic=Ture)獲取網路各個網卡的IO

psutil.pids() # 列出所有進程的pid號
p = psutil.Process(2047)
p.name() 列出進程名稱
p.exe() 列出進程bin路徑
p.cwd() 列出進程工作目錄的絕對路徑
p.status()進程當前狀態[sleep等狀態]
p.create_time() 進程創建的時間 [時間戳格式]
p.uids()
p.gids()
p.cputimes() 【進程的CPU時間，包括用戶態、內核態】
p.cpu_affinity() # 顯示CPU親緣關系
p.memory_percent() 進程內存利用率
p.meminfo() 進程的RSS、VMS信息
p.io_counters() 進程IO信息，包括讀寫IO數及位元組數
p.connections() 返回打開進程socket的nametples列表
p.num_threads() 進程打開的線程數

import psutil
from subprocess import PIPE
p =psutil.Popen(["/usr/bin/python" ,"-c","print 'helloworld'"],stdout=PIPE)
p.name()
p.username()
p.communicate()
p.cpu_times()

psutil.users() # 顯示當前登錄的用戶，和Linux的who命令差不多

psutil.boot_time() 結果是個UNIX時間戳，下面我們來轉換它為標准時間格式，如下：
datetime.datetime.fromtimestamp(psutil.boot_time()) # 得出的結果不是str格式，繼續進行轉換 datetime.datetime.fromtimestamp(psutil.boot_time()).strftime('%Y-%m-%d%H:%M:%S')

Python生成一個隨機密碼

import random, string
def GenPassword(length):

if name == ' main ':
print (GenPassword(6))

G. python程序運行後提示IOError: [Errno 22] Invalid argument 急啊！！！！

python程序運行後提示IOError: [Errno 22] Invalid argument是設置錯誤造成的，解決方法為：

1、根據提示找到錯誤代碼處進行查看，是open函數出了問題。

H. python協程和非同步IO——IO多路復用

C10k是一個在1999年被提出來的技術挑戰,如何在一顆1GHz CPU,2G內存,1gbps網路環境下,讓單台伺服器鏈滾同時為1萬個客戶端提供FTP服務

阻塞式I/O(使用最擾掘多)、非阻塞式I/O、I/O復用、信號驅動式I/O(幾乎不使用)、非同步I/O(POSIX的aio_系列函數)

select、poll、epoll都是IO多路復用的機制。I/O多路復用就是通過一種機制,一個進程可以監聽多個描述符,一旦，某個描述符就緒(一般是讀就緒或者寫就緒),能夠通知程序進行相應的讀寫操作。但select、poll、epoll本質上都是同步I/O,因為他們都需要在讀寫時間就緒後負責進行讀寫,也就是說讀寫過程是阻塞的,而非同步I/O無需自己負責進行讀寫,非同步I/O的實現會負責把數據從內核拷貝到用戶空間
(1)select
select函數監視的文件描述符分3類,分別是writefds、readfds、exceptfds。調用select函數會阻塞,直到有描述符就緒(有數據可讀、可寫或者有except),或者超時函數返回。當select函數返回後可以通過遍歷fdset來找到就緒的描述符。
select目前幾乎在所有的平台上支持,其良好的跨平台支持也是它的一個優點。select的一個缺點在於單個進程能夠監視的文件描述符的數量存在最大緩喚核限制,在Linux上一般為1024,可以通過修改宏定義甚至重新編譯內核的方式提升這一限制,但是這樣也會降低效率。
(2)poll
不同於select使用三個點陣圖來表示三個fdset的方式,poll使用一個pollfd的指針實現。
pollfd結構包含了要監視的event和發生的event,不再使用select"參數-值"傳遞的方式。同時pollfd並沒有最大數量限制(但是數量過大後性能也會下降)。和select函數一樣,poll返回後,需要輪詢pollfd來獲取就緒的描述符。
從上面看,select和poll都需要在返回後通過遍歷文件描述符來獲取已經就緒的socket。事實上同時連接的大量客戶端在同一時刻可能只有很少的處於就緒的狀態,因此隨著監視的描述符數量的增長,其效率也會線性下降
(3)epoll
epoll是在2.6內核中提出的,是之前的select和poll的增強版本。相對於select和poll來說,epoll更加領靈活,沒有描述符限制。epoll使用一個文件描述符管理多個描述符,將用戶關系的文件描述符的事件存放到內核的一個事件表中,這樣在用戶空間和內核空間的只需一次。

I. Python網路編程6-使用Pysnmp實現簡單網管

  簡單網路管理協議SNMP（Simple Network Management Protocol）用於網路設備的管理。SNMP作為廣泛應用於TCP/IP網路的網路管理標准協議，提供了統一的介面，從而實現了不同種類和廠商的網路設備之間的統一管理。
  SNMP協議分為三個版本：SNMPv1、SNMPv2c和SNMPv3。

  SNMP系統由網路管理系統NMS（Network Management System）、SNMP Agent、被管對象Management object和管理信息庫MIB（Management Information Base）四部分組成。

  SNMP查詢是指NMS主動向SNMP Agent發送查詢請求，如圖1-3所示。SNMP Agent接收到查詢請求後，通過MIB表完成相應指令，並將結果反饋給NMS。SNMP查詢操作有三種：Get、GetNext和GetBulk。SNMPv1版本不支持GetBulk操作。

  不同版本的SNMP查詢操作的工作原理基本一致，唯一的區別是SNMPv3版本增加了身份驗證和加密處理。下面以SNMPv2c版本的Get操作為例介紹SNMP查詢操作的工作原理。假定NMS想要獲取被管理設備MIB節點sysContact的值，使用可讀團體名為public，過程如下所示：

  SNMP設置是指NMS主動向SNMP Agent發送對設備進行Set操作的請求，如下圖示。SNMP Agent接收到Set請求後，通過MIB表完成相應指令，並將結果反饋給NMS。

  不同版本的SNMP Set操作的工作原理基本一致，唯一的區別是SNMPv3版本增加了身份驗證和加密處理。下面以SNMPv3版本的Set操作為例介紹SNMP Set操作的工作原理。
假定NMS想要設置被管理設備MIB節點sysName的值為HUAWEI，過程如下所示：

  SNMPv1和SNMPv2c的Set操作報文格式如下圖所示。一般情況下，SNMPv3的Set操作信息是經過加密封裝在SNMP PDU中，其格式與SNMPv2c的Set操作報文格式一致。

  SNMP Traps是指SNMP Agent主動將設備產生的告警或事件上報給NMS，以便網路管理員及時了解設備當前運行的狀態。
  SNMP Agent上報SNMP Traps有兩種方式：Trap和Inform。SNMPv1版本不支持Inform。Trap和Inform的區別在於，SNMP Agent通過Inform向NMS發送告警或事件後，NMS需要回復InformResponse進行確認。

  在Ensp中搭建網路環境，在R2上啟用SNMP作為SNMP agent，Linux主機作為NMS；為方便觀察SNMP報文格式，在R2使用SNMP的版本為v2c。

通過下面的Python腳本獲取R2的系統信息與當前的主機名

運行結果如下

  在R2介面上抓包結果如下，Linux主機向R2的161埠發送SNMP get-request報文，可以看到SNMP使用的版本為v2c，設置的團體名為public，隨機生成了一個request-id，變數綁定列表（Variable bindings），即要查詢的OID，但Value為空；值得注意的是這些信息都是明文傳輸的，為了安全在實際環境中應使用SNMPv3。

通過下面的Python腳本獲取R2的介面信息。

運行結果如下：

在R2介面抓包結果如下，getBuikRequest相比get-request設置了一個max-repetitions欄位，表明最多執行get操作的次數。Variable bindings中請求的OID條目只有一條。

下面Python腳本用於設置R2的主機名為SNMPv2R2。

運行結果如下

在路由器上可以看到主機名有R2變為了SNMPv2R2。

get-response數據包內容與set-request中無異。

下面Python腳本用於接收，R2發送的Trap，並做簡單解析。

先運行該腳本，之後再R2上手動將一個介面shutdown，結果如下：

介面上抓包結果如下，此時團體名用的是public，data部分表明是trap。

由於Ensp中的通用路由器認證演算法只支持des56，而pysnmp不支持該演算法，因此使用AR路由器配置SNMPv3。

使用下面Python腳本發送snmpv3 get報文獲取設備系統信息。

抓包結果如下，首先發送get-resques進行SNMPv3認證請求，隨機生成一個msgID，認證模式為USM，msgflgs中Reportable置1要求對方發送report，其他為置0，表示不進行加密與鑒權；另外安全參數，認證參數、加密參數都為空，此時不攜帶get請求數據。

路由器給NMS回復report，msgID與resquest一致，Msgflgs中各位都置0，同時回復使用的安全引擎，認證與加密參數為空，不進行認證與加密，因此能看到data中的數據。

AR1收到請求後進行回復，數據包中msgflags標志位中除reportable外其他位都置1，表示不需要回復，同時進行加密與鑒權。同樣也可以看到認證用戶為testuser，認證參數與加密參數都有填充，data部分也是同樣加密。

參考：
什麼是SNMP - 華為 (huawei.com)
AR100-S V300R003 MIB參考 - 華為 (huawei.com)
SNMP library for Python — SNMP library for Python 4.4 documentation (pysnmp.readthedocs.io)

J. python連接hbase報錯ioerror

ioerror的具體原因可能有很鉛老此多，如果在python連接hbase時出現這個錯誤，可以考慮以下幾方面：一、檢查hbase是槐迅否正常啟動；二、檢查python代碼是否正含型確；三、查看zookeeper是否已經連接成功；四、查看埠是否佔用，埠是否通。如果還不行，可以嘗試更換python和hbase的版本號來解決問題。