Ruby RSpec测试用例的并行文本执行

编程问答 2022-06-05

问题描述

我是这项技术的新手，我正在研究自动化框架ruby-capybara-RSpec。现在，我想并行运行测试用例，对于CI / CD，我正在使用“ GitHub动作”；对于VM，我正在使用酱汁实验室，并且我有两个VM。如果有任何默认/内置的功能或我可以使用任何特定的宝石来实现它，请帮助我。预先谢谢你。

PS：客户没有具体要求，所以我可以提出自己的方法。

解决方法

我为Sauce Labs工作，并维护了现已弃用的Ruby gem，包括为其添加并行功能。可以肯定地说我有意见™️。

您必须决定是通过测试（例如，一次在单个浏览器上运行更多测试）还是通过浏览器（一次在多个平台上运行同一测试）并行化。

由于RSpec不支持并行化，因此您的任何一种核心方法都必须涉及运行多个RSpec流程； 如何您将如何运行它们。

使用Github操作，您可以并行运行多个作业。这适合于在单个平台上串行运行所有测试，但可以并行运行多个完整运行。也就是说，同时运行（所有测试：Firefox）和（所有测试：Chrome）。您要做的就是为每个Sauce Labs并发插槽设置一项工作，然后通过输入或环境变量传入您的浏览器配置。

如果您想在一个平台上运行所有测试，则可以使用Grosser的Parallel Tests库。它将测试分为（n）个并发组，然后为每个组启动一个单独的RSpec流程。如果您遵循these instructions，则每个组应该大致同时结束。

我会做什么

我个人会在一个浏览器中同时使用Parallel Tests gem和我的全部并发功能。如果我的代码完全坏了，那将是让我尽快知道的质量保证。然后，我将添加一个矩阵作业（每个并发插槽一个），该作业needs在运行之前首先通过。我可以使用矩阵变量来控制运行哪个平台：

    quality_gate:
      name: Quality Gate,running all tests on Chrome Latest
      steps:
        prepare_code: #Setup
        run_tests: 
          - run: parallel_rspec specs/
    
    browser_coverage:
      name: Concurrency 1
      needs: quality_gate
      strategy:
        max-parallel: 2
        fail-fast: true
        matrix:
          browserName: [Firefox,Chrome]
          browserVersion: [latest]
          platformName: [Windows 10,Windows 7,MacOS 10.14]
          exclude:
            - browserName: Chrome
              browserVersion: latest
              platformName: Windows 10
          include: 
            - browserName: Safari
              platformName: MacOS 10.14
      steps:
        - uses: actions/checkout@v2
      
        - name: Set up Ruby
          uses: ruby/setup-ruby@v1.47.0
          with:
            ruby-version: 2.7.1

        - name: Install dependencies
          run: bundle install

        - name: run tests
          env:
            browserName: ${{ matrix.browserName }} 
            browserVersion: ${{ matrix.browserVersion }} 
            platformName: ${{ matrix.platformName }} 
          run: rspec

注意事项

  • 如果您的组织在多个团队之间共享并发性，则可能无法在运行时使用所有并发性
  • 矩阵由每个值乘以每个其他值组成，这可能无效。例如，Safari无法在Windows 10上运行。您需要检查Platform Configurator以确保排除无效的组合

奖励积分

如果添加workflow dispatch操作，则可以手动开始测试。通过使用inputs，您可以手动指定浏览器配置和/或并发性，以从Github进行按需执行。

有效示例

好的，所以您启发了我做一个worked example。这个动作：

  • 包括Sauce Connect
  • 在单个浏览器上完全并行运行，以确保代码正常工作
  • 如果通过，则可以在所有其他浏览器上运行
  • 允许手动触发不同的浏览器
github-actionsrspecrspecrspecrubyrubyrubyrubygemsrubygemsrubygemssaucelabs