⑴ python 常用的系統函數有哪些
1.常用內置函數：(不用import就可以直接使用)
help(obj) 在線幫助, obj可是任何類型
callable(obj) 查看一個obj是不是可以像函數一樣調用
repr(obj) 得到obj的表示字元串，可以利用這個字元串eval重建該對象的一個拷貝
eval_r(str) 表示合法的python表達式，返回這個表達式
dir(obj) 查看obj的name space中可見的name
hasattr(obj,name) 查看一個obj的name space中是否有name
getattr(obj,name) 得到一個obj的name space中的一個name
setattr(obj,name,value) 為一個obj的name space中的一個name指向vale這個object
delattr(obj,name) 從obj的name space中刪除一個name
vars(obj) 返回一個object的name space。用dictionary表示
locals() 返回一個局部name space,用dictionary表示
globals() 返回一個全局name space,用dictionary表示
type(obj) 查看一個obj的類型
isinstance(obj,cls) 查看obj是不是cls的instance
issubclass(subcls,supcls) 查看subcls是不是supcls的子類
類型轉換函數
chr(i) 把一個ASCII數值,變成字元
ord(i) 把一個字元或者unicode字元,變成ASCII數值
oct(x) 把整數x變成八進製表示的字元串
hex(x) 把整數x變成十六進製表示的字元串
str(obj) 得到obj的字元串描述
list(seq) 把一個sequence轉換成一個list
tuple(seq) 把一個sequence轉換成一個tuple
dict(),dict(list) 轉換成一個dictionary
int(x) 轉換成一個integer
long(x) 轉換成一個long interger
float(x) 轉換成一個浮點數
complex(x) 轉換成復數
max(...) 求最大值
min(...) 求最小值
用於執行程序的內置函數
complie 如果一段代碼經常要使用,那麼先編譯,再運行會更快。
2.和操作系統相關的調用
系統相關的信息模塊 import sys
sys.argv是一個list,包含所有的命令行參數.
sys.stdout sys.stdin sys.stderr 分別表示標准輸入輸出,錯誤輸出的文件對象.
sys.stdin.readline() 從標准輸入讀一行 sys.stdout.write("a") 屏幕輸出a
sys.exit(exit_code) 退出程序
sys.moles 是一個dictionary，表示系統中所有可用的mole
sys.platform 得到運行的操作系統環境
sys.path 是一個list,指明所有查找mole，package的路徑.
操作系統相關的調用和操作 import os
os.environ 一個dictionary 包含環境變數的映射關系 os.environ["HOME"] 可以得到環境變數HOME的值
os.chdir(dir) 改變當前目錄 os.chdir('d:\\outlook') 注意windows下用到轉義
os.getcwd() 得到當前目錄
os.getegid() 得到有效組id os.getgid() 得到組id
os.getuid() 得到用戶id os.geteuid() 得到有效用戶id
os.setegid os.setegid() os.seteuid() os.setuid()
os.getgruops() 得到用戶組名稱列表
os.getlogin() 得到用戶登錄名稱
os.getenv 得到環境變數
os.putenv 設置環境變數
os.umask 設置umask
os.system(cmd) 利用系統調用，運行cmd命令
操作舉例：
os.mkdir('/tmp/xx') os.system("echo 'hello' > /tmp/xx/a.txt") os.listdir('/tmp/xx')
os.rename('/tmp/xx/a.txt','/tmp/xx/b.txt') os.remove('/tmp/xx/b.txt') os.rmdir('/tmp/xx')
用python編寫一個簡單的shell
#!/usr/bin/python
import os, sys
cmd = sys.stdin.readline()
while cmd:
os.system(cmd)
cmd = sys.stdin.readline()
用os.path編寫平台無關的程序
os.path.abspath("1.txt") == os.path.join(os.getcwd(), "1.txt")
os.path.split(os.getcwd()) 用於分開一個目錄名稱中的目錄部分和文件名稱部分。
os.path.join(os.getcwd(), os.pardir, 'a', 'a.doc') 全成路徑名稱.
os.pardir 表示當前平台下上一級目錄的字元 ..
os.path.getctime("/root/1.txt") 返回1.txt的ctime(創建時間)時間戳
os.path.exists(os.getcwd()) 判斷文件是否存在
os.path.expanser('~/dir') 把~擴展成用戶根目錄
os.path.expandvars('$PATH') 擴展環境變數PATH
os.path.isfile(os.getcwd()) 判斷是否是文件名，1是0否
os.path.isdir('c:\Python26\temp') 判斷是否是目錄,1是0否
os.path.islink('/home/huaying/111.sql') 是否是符號連接 windows下不可用
os.path.ismout(os.getcwd()) 是否是文件系統安裝點 windows下不可用
os.path.samefile(os.getcwd(), '/home/huaying') 看看兩個文件名是不是指的是同一個文件
os.path.walk('/home/huaying', test_fun, "a.c")
遍歷/home/huaying下所有子目錄包括本目錄,對於每個目錄都會調用函數test_fun.
例：在某個目錄中，和他所有的子目錄中查找名稱是a.c的文件或目錄。
def test_fun(filename, dirname, names): //filename即是walk中的a.c dirname是訪問的目錄名稱
if filename in names: //names是一個list,包含dirname目錄下的所有內容
print os.path.join(dirname, filename)
os.path.walk('/home/huaying', test_fun, "a.c")
文件操作
打開文件
f = open("filename", "r") r只讀 w寫 rw讀寫 rb讀二進制 wb寫二進制 w+寫追加
讀寫文件
f.write("a") f.write(str) 寫一字元串 f.writeline() f.readlines() 與下read類同
f.read() 全讀出來 f.read(size) 表示從文件中讀取size個字元
f.readline() 讀一行,到文件結尾,返回空串. f.readlines() 讀取全部，返回一個list. list每個元素表示一行，包含"\n"\
f.tell() 返回當前文件讀取位置
f.seek(off, where) 定位文件讀寫位置. off表示偏移量，正數向文件尾移動，負數表示向開頭移動。
where為0表示從開始算起,1表示從當前位置算,2表示從結尾算.
f.flush() 刷新緩存
關閉文件
f.close()
regular expression 正則表達式 import re
簡單的regexp
p = re.compile("abc") if p.match("abc") : print "match"
上例中首先生成一個pattern(模式),如果和某個字元串匹配，就返回一個match object
除某些特殊字元metacharacter元字元，大多數字元都和自身匹配。
這些特殊字元是 。^ $ * + ? { [ ] \ | ( )
字元集合(用[]表示)
列出字元,如[abc]表示匹配a或b或c,大多數metacharacter在[]中只表示和本身匹配。例：
a = ".^$*+?{\\|()" 大多數metachar在[]中都和本身匹配，但"^[]\"不同
p = re.compile("["+a+"]")
for i in a:
if p.match(i):
print "[%s] is match" %i
else:
print "[%s] is not match" %i
在[]中包含[]本身，表示"["或者"]"匹配.用
和
表示.
^出現在[]的開頭,表示取反.[^abc]表示除了a,b,c之外的所有字元。^沒有出現在開頭，即於身身匹配。
-可表示範圍.[a-zA-Z]匹配任何一個英文字母。[0-9]匹配任何數字。
\在[]中的妙用。
\d [0-9]
\D [^0-9]
\s [ \t\n\r\f\v]
\S [^ \t\n\r\f\v]
\w [a-zA-Z0-9_]
\W [^a-zA-Z0-9_]
\t 表示和tab匹配, 其他的都和字元串的表示法一致
\x20 表示和十六進制ascii 0x20匹配
有了\，可以在[]中表示任何字元。註：單獨的一個"."如果沒有出現[]中，表示出了換行\n以外的匹配任何字元,類似[^\n].
regexp的重復
{m,n}表示出現m個以上(含m個),n個以下(含n個). 如ab{1,3}c和abc,abbc,abbbc匹配，不會與ac,abbbc匹配。
m是下界，n是上界。m省略表下界是0,n省略，表上界無限大。
*表示{,} +表示{1,} ?表示{0,1}
最大匹配和最小匹配 python都是最大匹配，如果要最小匹配，在*,+,?,{m,n}後面加一個?.
match object的end可以得到匹配的最後一個字元的位置。
re.compile("a*").match('aaaa').end() 4 最大匹配
re.compile("a*?").match('aaaa').end() 0 最小匹配
使用原始字元串
字元串表示方法中用\\表示字元\.大量使用影響可讀性。
解決方法：在字元串前面加一個r表示raw格式。
a = r"\a" print a 結果是\a
a = r"\"a" print a 結果是\"a
使用re模塊
先用re.compile得到一個RegexObject 表示一個regexp
後用pattern的match,search的方法,得到MatchObject
再用match object得到匹配的位置,匹配的字元串等信息
RegxObject常用函數:
>>> re.compile("a").match("abab") 如果abab的開頭和re.compile("a")匹配，得到MatchObject
<_sre.SRE_Match object at 0x81d43c8>
>>> print re.compile("a").match("bbab")
None 註：從str的開頭開始匹配
>>> re.compile("a").search("abab") 在abab中搜索第一個和re_obj匹配的部分
<_sre.SRE_Match object at 0x81d43c8>
>>> print re.compile("a").search("bbab")
<_sre.SRE_Match object at 0x8184e18> 和match()不同,不必從開頭匹配
re_obj.findall(str) 返回str中搜索所有和re_obj匹配的部分.
返回一個tuple,其中元素是匹配的字元串.
MatchObject的常用函數
m.start() 返回起始位置,m.end()返回結束位置(不包含該位置的字元).
m.span() 返回一個tuple表示(m.start(), m.end())
m.pos(), m.endpos(), m.re(), m.string()
m.re().search(m.string(), m.pos(), m.endpos()) 會得到m本身
m.finditer()可以返回一個iterator,用來遍歷所有找到的MatchObject.
for m in re.compile("[ab]").finditer("tatbxaxb"):
print m.span()
高級regexp
| 表示聯合多個regexp. A B兩個regexp，A|B表示和A匹配或者跟B匹配.
^ 表示只匹配一行的開始行首,^只有在開頭才有此特殊意義。
$ 表示只匹配一行的結尾
\A 表示只匹配第一行字元串的開頭 ^匹配每一行的行首
\Z 表示只匹配行一行字元串的結尾 $匹配第一行的行尾
\b 只匹配詞的邊界 例：\binfo\b 只會匹配"info" 不會匹配information
\B 表示匹配非單詞邊界
示例如下：
>>> print re.compile(r"\binfo\b").match("info ") #使用raw格式 \b表示單詞邊界
<_sre.SRE_Match object at 0x817aa98>
>>> print re.compile("\binfo\b").match("info ") #沒有使用raw \b表示退格符號
None
>>> print re.compile("\binfo\b").match("\binfo\b ")
<_sre.SRE_Match object at 0x8174948>
分組(Group) 示例：re.compile("(a(b)c)d").match("abcd").groups() ('abc', 'b')
#!/usr/local/bin/python
import re
x = """
name: Charles
Address: BUPT
name: Ann
Address: BUPT
"""
#p = re.compile(r"^name:(.*)\n^Address:(.*)\n", re.M)
p = re.compile(r"^name:(?P.*)\n^Address:(?P.*)\n", re.M)
for m in p.finditer(x):
print m.span()
print "here is your friends list"
print "%s, %s"%m.groups()
Compile Flag
用re.compile得到RegxObject時，可以有一些flag用來調整RegxObject的詳細特徵.
DOTALL, S 讓.匹配任意字元,包括換行符\n
IGNORECASE, I 忽略大小寫
LOCALES, L 讓\w \W \b \B和當前的locale一致
MULTILINE, M 多行模式，隻影響^和$(參見上例)
VERBOSE, X verbose模式
⑵ 開篇：XLA是什麼
XLA (Accelerated Linear Algebra)是專用於機器學習的編譯器，機器學習的運算中99%都是向量乘以矩陣、矩陣乘以矩陣的計算，XLA是專門用來優化這些計算的。
舉個例子，運行在GPU上的 model_fn 函數會順序調用 multiply 、 add 和 rece_sum 這三個op，而且 multiply ，也就是 y * z 的計算結果會先從GPU拷貝回host，再拷貝到device作為 add 的input，同樣的，add的計算結果也會以相同的方式傳遞給下一個op。
顯然，對於整個函數來說，將中間變數在host和device間來回倒騰是沒有意義的。因此，如果把函數看作一個op，那在計算中產生的中間結果就不必返回到host，少了數據傳輸的時間開銷，就可以大幅提升運算效率。
這種將多個op融合成一個op的方法就稱為 fuse ，當前fuse的技術路線有：
XLA的優化當然不只是fuse，還有對計算圖的優化，包括刪除無效指令、減少內存佔用、替換復雜指令等優化。下圖是官方提供的性能報告，經XLA優化過後，Tensorflow BERT MLPerf的訓練性能提升了~7倍。除了Tensorflow外，XLA還支持 JAX 、 Julia 、 PyTorch 和 Nx 等前端。
jit 是指在首次運行時將函數編譯成二進製程序，後續再調用該函數時直接運行先前編譯好的程序而非python code。 @tf.funciton 修飾的函數（包括它的子函數）會做 jit 。除非signature發生了變化，也就是input的shape或dtype和編譯時不同，否則 get_MSE 是不需要重復編譯的。
@tf.function 將函數內的ops替換成一組（ XlaCompile , XlaRun ) ops，在運行時前者負責編譯，並將編譯結果-- executable 保存到cache，後者負責運行executable。如果cache里已經有編譯好的程序就不需要編譯了，例如 get_MSE(tf.constant(3.0), tf.constant(4.0)) 。
XLA編譯器支持的語言（IR）是HLO（High Level Operations），顧名思義這些語言是由一個個op組成，因此，我們在編譯前需要先從python code中提取出所有ops，再將它們轉換成HLO。
JAX通過tracing的方式，從 @jax.jit 修飾的函數中提取ops，這些ops通過 jaxpr 來表示。然後再通過XLA client提供的API為ops生成相應的HLO。PyTorch/XLA也是採用類似的方法來生成HLO。
Tensorflow的 tf2xla 為每個 Op 創建了一個同名的 XlaOp 用於生成HLO， XlaOp 派生於 Op ，使用相同的注冊機制，因此，只要把要編譯的子圖根據拓撲排序運行一遍就能生成它的HLO。
HLO先經過一系列 pass 優化後再將HLO lowering成ISA，最後將編譯好的二進制封裝到 executable 。
除了二進製程序，它還包含運行該程序所需要的infos和options。調用 executable.run() 就可以執行計算圖。
⑶ Python語言到底有哪些優點呢
多年來，Python在各種流行編程語言中一直排名靠前，它自身的特點讓Python成為世界上功能最豐富的編程語言之一，可以適用於任何項目開發，因此Python深受開發工程師的喜愛。那到底Python自身有哪些優點使得Python深得大家的喜歡，下面和四川優就業的小編一起來看看吧。
一、簡單易學
Python語言的優點第一個就是簡單易學，Python最大的優點之一是具有偽代碼的本質，它使我們在開發Python程序時，專注的是解決問題,而不是搞明白語言本身。Python採用C語言進行開發，但是Python不再有C語言中的指針等復雜的數據類型存在。舉個例子來說，同樣一個程序，使用C可能需要1000行代碼，使用Java需要100行代碼，而使用Python則只需要20行代碼。這也就是很多新手小白選擇學習Python的原因，它沒有那麼復雜的邏輯，代碼簡潔規范，關鍵字也相對較少，說明文檔還非常簡單，極易上手。
二、免費開源
簡單地說，我們不用花一分錢，就可以直接下載安裝使用，自由的發布軟體的拷貝、閱讀它的源代碼，還可以對其源碼進行修改，並能把它的一部分用於新的自由軟體中。
三、開發速度快、效率高
Python被稱為「膠水語言」，並且有豐富強大庫，可以實現很多強大的功能，因此Python運行速度非常快，開發效率非常高。
四、面向對象
Python具有很強的面向對象特性，同時也簡單化了面向對象的實現，可以消除保護類型、抽象類、介面等面向對象的元素。與其他主要的語言如C++和Java相比，Python以一種非常強大又簡單的方式實現面向對象編程。
除了以上的這些優點，Python還有很多像可移植性強、可擴展性、可嵌入性等優勢。也正是這些優點，所以造就了功能強大的Python語言。