python實現機器碼

① python | 加一行注釋，讓你的程序提速10+倍！numba庫十分鍾上手指南

Numba庫十分鍾上手指南：

1. Numba簡介：

   • 功能：Numba是一個針對Python的開源JIT編譯器，可以對原生代碼進行CPU和GPU加速。
   • 安裝：使用conda或pip安裝Numba。

2. 如何使用Numba：

   • 基本用法：只需在原來的函數上添加一行@jit裝飾器，即可將一個函數編譯成機器碼，實現執行速度的大幅提升。
   • 性能提升：執行速度可提升23倍甚至更多，且隨著數據和計算量的增大，Numba的性能提升可能會更大。

3. Numba的使用場景與限制：

   • 適用場景：Numba支持Python原生函數和部分NumPy函數，適用於計算密集型任務。
   • 限制：不支持pandas、scikitlearn、tensorflow、pytorch等高級封裝。
   • 優化模式：在nopython模式下強制使用加速方式，保證加速效果；對於計算密集部分使用nopython優化，其餘部分使用Python原生代碼。

4. Numba的編譯技術：

   • 懶編譯：僅在運行時首次發現@jit時才編譯代碼塊，第二次使用時使用緩存，縮短運行時間。
   • Eager Compilation：通過告知Numba輸入輸出類型，加快編譯速度。

5. Numba的性能評測與功能：

   • 性能：結合NumPy，Numba可提供接近C語言的速度。
   • 功能：多樣且強大，包括@vectorize裝飾器使函數向量化，以及使用GPU加速等。

6. Numba的原理：

   • 技術基礎：基於LLVM和NVVM技術，可將解釋語言直接翻譯成機器碼。
   • 應用場景：在金融量化分析、計算機視覺或矩陣和張量處理等領域，Numba提供比肩C/C++程序的加速效果。

總結：使用Numba庫，只需在Python函數上添加一行@jit裝飾器，即可大幅提升程序執行速度，是數據科學家進行高性能計算的重要工具。

② Python3.13的JIT是如何實現的

去年聖誕節前，CPython核心開發者宣布，Python虛擬機能夠以JIT形式執行位元組碼，這一消息令人振奮。JIT，Just In Time，指的是將IR（如Python位元組碼）編譯為CPU能理解的機器碼，以加速程序運行。這一實現方式與傳統的先編譯後執行的AOT（Ahead Of Time）形成對比。在Python3.13中，虛擬機仍然讀取前端生成的位元組碼，但不是解釋執行，而是將其翻譯成CPU能執行的機器碼。這一轉變顯著提高了執行效率，相比C語言代碼執行速度更快。

然而，CPython的JIT實現過程並不簡單。CPython位元組碼的動態特性使得直接轉換成靜態機器碼頗具挑戰性。實現過程中，面臨著三個主要困難：消除解釋器架構（overhead）、靜態編譯優化位元組碼（trace）以及映射成機器碼（rece indirection）。為了解決這些問題，CPython引入了微指令（UOP）的概念。微指令將位元組碼拆分成更細粒度的操作，從而簡化轉換過程。通過這種方式，CPython能夠將基本位元組碼進一步細化為Tire2位元組碼，這使得後續的優化和機器碼生成更加高效。

實現JIT的一個關鍵步驟是通過指令模板的方式簡化頻繁執行的Tire2位元組碼。指令模板預先定義了機器碼，當解釋器首次執行代碼時，會識別出哪些位元組碼循環調用，並在後續執行中替換成預設的機器碼，從而提升執行速度。例如，LOAD_FAST位元組碼對應特定的C代碼，通過提取其核心部分並封裝成模板，可以進一步轉換為機器碼，並最終融入CPython中，實現直接執行機器碼，顯著快於原生C語言代碼。

為了親身體驗CPython的JIT功能，可以通過以下步驟安裝和配置環境。首先，確保安裝LLVM版本為16，最簡便的方法是在GitHub上下載編譯好的安裝包。接著，解壓安裝包，將bin目錄下的clang-16配置為環境變數。隨後，准備一個bootstrap Python，用於生成CPython項目中依賴的代碼。建議使用Python3.11以上版本作為bootstrap Python。最後，執行一系列指令，包括下載pip、使用pip安裝pyperformance並運行測試用例，以及與常規版本的Python3.13進行性能比較。通過這些步驟，能夠直觀感受到JIT帶來的性能提升或了解其當前狀態。值得注意的是，目前的JIT實現仍處於實驗階段，性能優化和微指令模板的改進是持續關注的焦點。

在理解JIT在CPython中的實現細節時，參考資源包括YouTube視頻、GitHub PR和pyperformance鏈接，提供了深入的技術指導和實踐經驗。通過這些資源，開發者能夠更深入地了解CPython JIT的開發歷程、實現方法以及未來展望。

③ Python學習筆記_Python程序的執行

Python程序的執行過程主要包括以下幾個步驟：

1. 源代碼編譯為位元組碼：

   • Python編譯器將源代碼轉換為虛擬機能夠理解的位元組碼指令，而不是直接生成機器碼。
   • 編譯過程涉及將源代碼轉換為抽象語法樹，然後再進一步轉換為位元組碼。
   • 編譯器將函數調用等信息保存為C中的PyCodeObject對象，該對象包含位元組碼和其他相關信息。

2. 位元組碼的執行：

   • Python虛擬機逐條解釋並執行這些位元組碼指令。
   • 虛擬機是一個棧機器，通過模擬物理計算機的操作，使用棧來執行指令。
   • 在執行過程中，每個函數調用都會創建一個frame，該frame包含代碼的信息和上下文信息。

3. .pyc文件的作用：

   • .pyc文件是Python的緩存文件，用於存儲編譯後的位元組碼。
   • 當import模塊時，Python會檢查緩存文件夾中的.pyc文件是否過期。如果未過期且可用，則直接使用該文件，從而繞過編譯階段。
   • .pyc文件由magic number、時間戳和使用marshaled模塊序列化的位元組碼組成。

4. CPython的其他組件：

   • CPython不僅包含編譯器和虛擬機，還包含命令行互動式解釋環境REPL、內置模塊以及用於安裝包的pip工具。
   • CPython還提供了一系列C API，供開發者在C語言中調用Python功能。

總結：Python程序的執行過程是一個從源代碼到位元組碼再到執行結果的過程，其中涉及到編譯、虛擬機解釋執行以及緩存文件的使用等多個環節。了解這些過程有助於深入理解Python的執行機制，從而更好地進行Python編程。