python实现机器码

① python | 加一行注释，让你的程序提速10+倍！numba库十分钟上手指南

Numba库十分钟上手指南：

1. Numba简介：

   • 功能：Numba是一个针对Python的开源JIT编译器，可以对原生代码进行CPU和GPU加速。
   • 安装：使用conda或pip安装Numba。

2. 如何使用Numba：

   • 基本用法：只需在原来的函数上添加一行@jit装饰器，即可将一个函数编译成机器码，实现执行速度的大幅提升。
   • 性能提升：执行速度可提升23倍甚至更多，且随着数据和计算量的增大，Numba的性能提升可能会更大。

3. Numba的使用场景与限制：

   • 适用场景：Numba支持Python原生函数和部分NumPy函数，适用于计算密集型任务。
   • 限制：不支持pandas、scikitlearn、tensorflow、pytorch等高级封装。
   • 优化模式：在nopython模式下强制使用加速方式，保证加速效果；对于计算密集部分使用nopython优化，其余部分使用Python原生代码。

4. Numba的编译技术：

   • 懒编译：仅在运行时首次发现@jit时才编译代码块，第二次使用时使用缓存，缩短运行时间。
   • Eager Compilation：通过告知Numba输入输出类型，加快编译速度。

5. Numba的性能评测与功能：

   • 性能：结合NumPy，Numba可提供接近C语言的速度。
   • 功能：多样且强大，包括@vectorize装饰器使函数向量化，以及使用GPU加速等。

6. Numba的原理：

   • 技术基础：基于LLVM和NVVM技术，可将解释语言直接翻译成机器码。
   • 应用场景：在金融量化分析、计算机视觉或矩阵和张量处理等领域，Numba提供比肩C/C++程序的加速效果。

总结：使用Numba库，只需在Python函数上添加一行@jit装饰器，即可大幅提升程序执行速度，是数据科学家进行高性能计算的重要工具。

② Python3.13的JIT是如何实现的

去年圣诞节前，CPython核心开发者宣布，Python虚拟机能够以JIT形式执行字节码，这一消息令人振奋。JIT，Just In Time，指的是将IR（如Python字节码）编译为CPU能理解的机器码，以加速程序运行。这一实现方式与传统的先编译后执行的AOT（Ahead Of Time）形成对比。在Python3.13中，虚拟机仍然读取前端生成的字节码，但不是解释执行，而是将其翻译成CPU能执行的机器码。这一转变显着提高了执行效率，相比C语言代码执行速度更快。

然而，CPython的JIT实现过程并不简单。CPython字节码的动态特性使得直接转换成静态机器码颇具挑战性。实现过程中，面临着三个主要困难：消除解释器架构（overhead）、静态编译优化字节码（trace）以及映射成机器码（rece indirection）。为了解决这些问题，CPython引入了微指令（UOP）的概念。微指令将字节码拆分成更细粒度的操作，从而简化转换过程。通过这种方式，CPython能够将基本字节码进一步细化为Tire2字节码，这使得后续的优化和机器码生成更加高效。

实现JIT的一个关键步骤是通过指令模板的方式简化频繁执行的Tire2字节码。指令模板预先定义了机器码，当解释器首次执行代码时，会识别出哪些字节码循环调用，并在后续执行中替换成预设的机器码，从而提升执行速度。例如，LOAD_FAST字节码对应特定的C代码，通过提取其核心部分并封装成模板，可以进一步转换为机器码，并最终融入CPython中，实现直接执行机器码，显着快于原生C语言代码。

为了亲身体验CPython的JIT功能，可以通过以下步骤安装和配置环境。首先，确保安装LLVM版本为16，最简便的方法是在GitHub上下载编译好的安装包。接着，解压安装包，将bin目录下的clang-16配置为环境变量。随后，准备一个bootstrap Python，用于生成CPython项目中依赖的代码。建议使用Python3.11以上版本作为bootstrap Python。最后，执行一系列指令，包括下载pip、使用pip安装pyperformance并运行测试用例，以及与常规版本的Python3.13进行性能比较。通过这些步骤，能够直观感受到JIT带来的性能提升或了解其当前状态。值得注意的是，目前的JIT实现仍处于实验阶段，性能优化和微指令模板的改进是持续关注的焦点。

在理解JIT在CPython中的实现细节时，参考资源包括YouTube视频、GitHub PR和pyperformance链接，提供了深入的技术指导和实践经验。通过这些资源，开发者能够更深入地了解CPython JIT的开发历程、实现方法以及未来展望。

③ Python学习笔记_Python程序的执行

Python程序的执行过程主要包括以下几个步骤：

1. 源代码编译为字节码：

   • Python编译器将源代码转换为虚拟机能够理解的字节码指令，而不是直接生成机器码。
   • 编译过程涉及将源代码转换为抽象语法树，然后再进一步转换为字节码。
   • 编译器将函数调用等信息保存为C中的PyCodeObject对象，该对象包含字节码和其他相关信息。

2. 字节码的执行：

   • Python虚拟机逐条解释并执行这些字节码指令。
   • 虚拟机是一个栈机器，通过模拟物理计算机的操作，使用栈来执行指令。
   • 在执行过程中，每个函数调用都会创建一个frame，该frame包含代码的信息和上下文信息。

3. .pyc文件的作用：

   • .pyc文件是Python的缓存文件，用于存储编译后的字节码。
   • 当import模块时，Python会检查缓存文件夹中的.pyc文件是否过期。如果未过期且可用，则直接使用该文件，从而绕过编译阶段。
   • .pyc文件由magic number、时间戳和使用marshaled模块序列化的字节码组成。

4. CPython的其他组件：

   • CPython不仅包含编译器和虚拟机，还包含命令行交互式解释环境REPL、内置模块以及用于安装包的pip工具。
   • CPython还提供了一系列C API，供开发者在C语言中调用Python功能。

总结：Python程序的执行过程是一个从源代码到字节码再到执行结果的过程，其中涉及到编译、虚拟机解释执行以及缓存文件的使用等多个环节。了解这些过程有助于深入理解Python的执行机制，从而更好地进行Python编程。