创建包含独立的可安装子软件包的name_space软件包 使用名称空间软件包导入installable_subpackage内的冗余文件夹模块 init .py文件使用setuptools软件包和package_dir参数

问题描述

我目前正在尝试将多个相关的软件包归为一个父软件包（meta_package）。同时，我还希望其中一个软件包可以作为独立软件包安装。为此，我创建了以下文件夹结构：

├── meta_package
│   ├── subpackage1
│   │   ├── module.py
│   │   ├── __init__.py
│   ├── subpackage2
│   │   ├── module.py
│   │   └── __init__.py
│   ├── subpackage3
│   │   ├── module.py
│   │   └── __init__.py
│   └── installable_subpackage
│       ├── README.md
│       ├── __init__.py
│       ├── requirements.txt
│       ├── setup.py
│       ├── installable_subpackage
│       │   ├── __init__.py
│       │   └── submodule
│       │       ├── __init__.py
│       │       └── module.py

尽管以上结构达到了预期的结果，但在将子包定义为namespace packages或普通包时，它都引入了一个额外的installable_subpackage目录。结果是从installable_subpackage导入Class，我必须使用以下import语句：

from meta_package.installable_subpackage.installable_subpackage.submodule.module import Class

但是，我希望能够使用以下（较短的）import语句来导入Class：

from meta_package.installable_subpackage.submodule.module import Class

我已经尝试过的东西

使用名称空间软件包

我尝试将namespace packages用于子软件包，而不是使用常规软件包。但是，这并不能解决额外的文件夹问题，还引入了许多python import traps。

导入installable_subpackage内的冗余文件夹（模块）。 init .py文件

我还尝试了将installable_subpackage子模块中的installable_subpackage.__init__.py子模块导入：

import meta_package.installable_subpackage.installable_subpackage

但是，这似乎不起作用，因为meta_package.installable_subpackage.submodule导入路径未指向meta_package.installable_subpackage.installable_subpackage.submodule模块。我认为这是因为此方法仅适用于类，而不适用于模块。

使用setuptools软件包和package_dir参数

最后，根据to this issue，我尝试在setuptools setup.py中使用packages package_dir和meta_package参数来摆脱多余的文件夹。为此，我使用了以下setup.py：

from setuptools import setup,find_namespace_packages

setup(
    name="meta_package",...
    packages=find_namespace_packages(include=["meta_package.*"]),package_dir={"meta_package.installable_subpackage": "meta_package/installable_subpackage/installable_subpackage"},)

但是，这似乎也没有摆脱多余的文件夹。

问题

我要实现的包装结构是否可行？此外，如果是，则鼓励还是建议不要使用它？

系统信息

• Python版本：Python 3.8.5
• 虚拟环境：Conda

解决方法

@sinoroc指出：

使用package_dir时，您不能真正使用find_namespace_packages，您必须手动编写列表或对其进行修改，然后再将其分配给软件包。

为了实现所需的行为，我必须在将软件包列表提供给setuptools.setup方法之前对其进行修改。这可以通过几种方式完成。

1。将虚拟的简化包裹添加到包裹列表中

我们可以将每个冗余文件夹的额外（缩短）模块条目添加到packages列表中。这可以通过使用以下setup.py文件来完成：

setup.py文件

from setuptools import setup,find_namespace_packages

# Retrieve package list
PACKAGES = find_namespace_packages(include=["meta_package*"])+["meta_package.installable_subpackage"]

setup(
    name="meta_package",...
    packages=PACKAGES,package_dir={
        "meta_package.installable_subpackage": "meta_package/installable_subpackage/installable_subpackage",},)

要对许多子软件包自动执行此操作，可以使用以下代码：

# Retrieve package list
PACKAGES = find_namespace_packages(include=["meta_package*"])

# Add extra virtual shortened package for each of namespace_pkgs that contain redundant folders
namespace_pkgs = ["installable_subpackage"]
exclusions = r"|".join(
    [r"\." + item + r"\.(?=" + item + r".)" for item in namespace_pkgs]
)
PACKAGE_DIR = {}
for package in PACKAGES:
    sub_tmp = re.sub(exclusions,".",package)
    if sub_tmp is not package:
        PACKAGE_DIR[sub_tmp] = package.replace(".","/")
PACKAGES.extend(PACKAGE_DIR.keys())

setup(
    name="meta_package",package_dir=PACKAGE_DIR,)

2。修改软件包列表，使其仅包含缩短的软件包

或者，如果要用短名称完全替换长模块名称，则可以使用以下setup.py：

setup.py文件

from setuptools import setup,find_namespace_packages

# Retrieve package list
PACKAGES = find_namespace_packages(include=["meta_package*"])

# Remove redundant folders from the package list
PACKAGES = [re.sub(r"\.installable_subpackage\.(?=installable_subpackage.)",package) for package in PACKAGES]

setup(
    name="meta_package",)

使用以下代码，对于许多子包装，这也可以自动完成：

# Remove redundant folder from package list
red_folders = ["installable_subpackage"]
exclusions = r"|".join(
    [r"\." + item + r"\.(?=" + item + r".)" for item in red_folders]
)
PACKAGE_DIR = {}
for index,package in enumerate(PACKAGES):
    sub_tmp = re.sub(exclusions,package)
    if sub_tmp is not package:
        PACKAGES[index] = sub_tmp

重要提示

在使用上述方法时，请务必注意，如果以开发模式安装软件包（请参阅this issue），它们将无法使用。因此，最好使用第一种方法，因为开发人员仍然可以使用长模块名，而用户也可以使用短模块名。

更新

得到这个答案后，我尝试将这种逻辑放入setup.cfg文件中，以便与PEP517 / 518兼容。在执行此操作时，我遇到了一些问题。可以在我在the setuptools GitHub page上创建的此问题上找到解决方案。可以在here中找到示例存储库。