pip 如何告诉 Python 如何导入 C 扩展

编程问答 2022-05-03

问题描述

我希望以可移植的方式使用 sysv_ipc 库。

我安装它：

pip3 install sysv_ipc

然后来自 Python：

import sysv_ipc
sysv_ipc.__file__

# Output:
# /home/x/.local/lib/python3.9/site-packages/sysv_ipc.cpython-39-x86_64-linux-gnu.so

如果我将该文件复制到一个文件夹，pip uninstall 库，然后从该文件夹打开 python 并尝试相同的导入，它会失败。

我尝试检查还安装了什么，发现：

/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info
/home/x/.local/lib/python3.9/site-packages/sysv_ipc.cpython-39-x86_64-linux-gnu.so
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/INSTALLER
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/LICENSE
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/MetaDATA
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/RECORD
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/REQUESTED
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/WHEEL
/home/x/.local/lib/python3.9/site-packages/sysv_ipc-1.1.0.dist-info/top_level.txt

我也没有在 setup.py 中找到线索。

我想弄清楚的是 -

pip 与 sysv_ipc 将从该特定文件导入的 Python 有何关联？

解决方法

Pip 在 Python 如何处理扩展模块导入方面没有任何作用。 Python 所需要的只是扩展模块文件本身，前提是它采用您当前操作系统支持的格式，并且该文件位于您的 sys.path 搜索路径上的目录中。

Pip 只负责确保构成项目分发的文件最终位于 sys.path 位置。您找到的 .dist-info 目录是包元数据的一部分，由 pip 和 importlib.metadata 用于卸载、依赖项跟踪和报告等操作。导入时不使用这些文件。

您还没有确切地分享您尝试导入扩展模块的具体方式或失败的原因，因此我无法评论您出了什么问题。

但是当一切正常时，从动态加载的共享对象库中导入模块的工作方式与导入常规模块非常相似：

  1. Python 使用 PathFinder object 在 sys.path 列表中的所有目录中搜索与导入名称匹配的文件和目录。它知道根据文件扩展名查找扩展模块（支持的文件扩展名取决于您的操作系统，请参阅 importlib.machinery.EXTENSION_SUFFIXES 以获取列表）。
  2. 如果发现具有与导入名称匹配的扩展名后缀的文件，则使用 importlib.machinery.ExtensionFileLoader class 加载库。

加载是指：使用依赖于操作系统的动态加载函数来加载文件中的代码，然后访问入口点函数（通常是PyInit_<modulename>）来获取模块命名空间。请参阅documentation on creating extension modules。对于 .so 文件，Python/dynload_shlib.c file 实现了加载器，但在同一目录中还有其他 dynload_ 实现。要加载 .so 文件，Python 会将文件路径（至少包含一个 / 斜杠）传递给 dlopen() function。

至于在您的情况下可能出了什么问题：您使用了与用于安装项目的 Python 解释器不同的 Python 解释器。请注意，扩展模块文件名在模块名称后包含一个字符串，用于标识 Python ABI (Application Binary Interface)：

sysv_ipc.cpython-39-x86_64-linux-gnu.so
######## ^^^^^^^^^^^^^^^^^^^^^^^^^^^
module   ABI identifier

标识符可以将多个 Python 版本的扩展文件安装到同一目录中。通过查看 importlib.machinery.EXTENSION_SUFFIXES 来检查您的特定 Python 二进制文件接受哪些扩展：

$ python3 -c "from importlib.machinery import EXTENSION_SUFFIXES;print(EXTENSION_SUFFIXES)"
['.cpython-39-x86_64-linux-gnu.so','.abi3.so','.so']

输出告诉我这个解释器只会查找要加载的 sysv_ipc.cpython-39-x86_64-linux-gnu.so、sysv_ipc.abi3.so 和 sysv_ipc.so 文件名。

给定的 Python 版本支持扩展模块可能想要使用的特定导出 C 函数，并且 ABI 会告诉您它是针对哪个版本编译的。使用短 abi3.so 后缀的扩展是针对 stable ABI 编译的，这是一个较小的 Python 功能子集，保证存在于许多 Python 版本中。

虽然您可以将扩展文件重命名为仅使用最短后缀 ([module_name].so)，但它在很大程度上取决于动态加载的机器代码调用的 Python 功能是否仍然存在使用不同的 Python 版本。

这里是一个快速演示，显示您可以从任意目录导入 sysv_ipc 动态库，前提是我使用了正确的 Python 版本：

$ virtualenv /demo
... creating a virtualenv ...
done.
$ cd /demo
demo/ $ source bin/activate
(demo) /demo/ $ pip install sysv_ipc
Collecting sysv_ipc
... installing ...
Successfully installed sysv-ipc-1.1.0
(demo) /demo/ $ mkdir newdir
(demo) /demo/ $ cp lib/python3.9/site-packages/sysv_ipc.cpython-39-x86_64-linux-gnu.so newdir
(demo) /demo/ $ pip uninstall -y sysv_ipc
Found existing installation: sysv-ipc 1.1.0
... uninstalling ...
  Successfully uninstalled sysv-ipc-1.1.0
(demo) /demo/ $ cd newdir/
(demo) /demo/newdir/ $ python
Python 3.9.2 (default,Mar 15 2021,17:53:50)
[Clang 7.0.1 (tags/RELEASE_701/final)] on linux
Type "help","copyright","credits" or "license" for more information.
>>> import sysv_ipc
>>> sysv_ipc.__file__
'/demo/newdir/sysv_ipc.cpython-39-x86_64-linux-gnu.so'
pippippython-3.xpython-c-apipython-importpython-internals