NET5 - 如何在一台机器上运行大量的网络验收测试

问题描述

假设我想在现代（截至发问之日）机器上运行所谓的网络验收测试，比方说，该机器通常具有介于 16 和 128 个逻辑核心之间。在每种特定情况下，数字可能会有所不同，但现在让我们坚持这个范围。

网络验收测试我的意思是一个测试，它使用 driver（例如 chromedriver / geckodriver 等...），以测试想要的任何方式操作网页，然后“收集”一些输出（例如 - 网页是否有 this 或 that 元素或是否导航到 this 或 那个 预期页面）。实际细节无关紧要。

鉴于这样的测试自然会花费大部分时间等待（以确保一旦他们想要操作某个网页[元素]，那么它肯定已经加载了）然后似乎可以合理地假设，如果我在机器上有 N 个逻辑核心，那么我应该能够产生至少 N 个这样的 Web 验收测试。

一个典型的 C# 代码可以总结如下：

namespace WebAcceptanceTests
{
    public static class Chrome
    {
        public static async Task Run(
            Uri uri,Func<ChromeDriver,Task> manipulate,Action<ChromeDriver> validate)
        {
            var chromeDriverService = ChromeDriverService.CreateDefaultService();
            chromeDriverService.HideCommandPromptWindow = true;
            var options = new ChromeOptions();

            // To make Chrome window invisible.
            options.AddArgument("--headless");
            using var driver = new ChromeDriver(chromeDriverService,options);

            try
            {
                driver.Manage().Window.Maximize();
                driver.Navigate().GoToUrl(uri);

                await manipulate(driver);
                validate(driver);
            }
            finally
            {
                driver.Quit();
            }
        }
    }
}

其中 manipulate 执行页面的一些“操作”（例如尝试点击一些按钮/输入一些文本/等等...）和 validate 执行一些验证（例如如果 {{1} } 输入用户名和密码，然后单击登录按钮，然后站点是否真正转换到登录页面）。这些 manipulate 和 manipulate 所做的实际细节无关紧要。但是，validate 是一个漫长的过程，因为站点需要加载页面并在此处或此处执行一些“工作”。因此，我们可以通过一种方法对其进行建模，该方法只是等待而不执行任何操作，例如：

manipulate

但是，如果我开始生成这样的驱动程序，那么很快（创建的驱动程序少于 10 个）一些创建的驱动程序开始产生奇怪的错误，例如： public static async Task Manipulate(ChromeDriver driver) { // Do some useful stuff here instead of just waiting. await Task.Delay(60_000); }

我收到这些错误的测试服务器机器有 16 个内核和足够的 RAM，可以毫无问题地打开数百个 Chrome 标签页，但少数 chrome 驱动程序（少于 10 个）似乎无法并行工作。

有没有人知道如何让许多 chrome 驱动程序并行工作？理想情况下，我想打开（内核数的 3-4 倍）驱动程序，因为它们大多会等待并且什么都不做。

谢谢。

解决方法

我们使用 NUnit 并行运行来实现这一点，通过夹具 parakkekuzabke。

在 OneTimeSetup 期间分配驱动程序。在单个夹具中做任何测试需要。 在 OneTimeTearDown 上，配置驱动程序。 我们在所有 Web 验收测试装置都继承的基类中执行此操作

    [Parallelizable(ParallelScope.Fixtures)]
    public abstract class WebDriverTest
    {
        protected IDriver driver;

        [OneTimeSetup]
        public void PrepareDriver()
        {
            // ...
            this.driver = new ChromeDriver(chromeDriverService,options);
            // ...
        }

        [OneTimeTearDown]
        public void CleanupDriver()
        {
            this.driver.Dispose();
        }

        [TearDown]
        public void ScreenshotForFailedTest()
        {
            var testStatus = GetTestStatus();

            if (!string.IsNullOrEmpty(testStatus) && testStatus.Equals("Failed"))
            {
                this.driver.TakeScreenshot(); // extension method with a take screenshot functionality
                // log more details if needed
            }
        }
    }

[OneTimeTearDown] 即使测试失败也会执行

作为奖励，我们使用屏幕

使用此代码段，我们在每次提交时在 5-6 分钟内对 chrome 运行了大约 500 次冒烟测试。