如何使用IAsyncEnumerable进行并行化 没有IAsyncEnumerable 使用IAsyncEnumerable

问题描述

我遇到一种情况，我正在启动Task-s，并且希望以某种方式将它们的结果以某种方式尽快传递/排队到数据结构中，而不关心它们的顺序。

IAsyncEnumerable是否适合这种情况？

public async Task BigMethod()
{
    Queue<int> queue = new Queue<int>();
    foreach (var item in RunJobsAsync())
    {
        queue.Enqueue(item);
    }
    //await foreach(var item in await RunIAsyncJobsAsync())
    // {
    //     queue.Enqueue(item);
    // }
    // [some more code]
}

没有IAsyncEnumerable

public async Task<IEnumerable<int> RunJobsAsync()
{    
    List<Task<int>> tasks = new List<Task<int>>();
    foreach(var x in Enumerable.Range(0,100))
    {
        tasks.Add(Task.Run(async()=> await someMethodAsync()));
    }
    await tasks.WhenAll(tasks);
    return tasks.Select(x=>x.Result);
}

使用IAsyncEnumerable

public async IAsyncEnumerable<int> RunIAsyncJobsAsync()
{
    foreach (var x in Enumerable.Range(0,100))
    {
        yield return await Task.Run(async () => await someMethodAsync());
    }
}

IAsyncEnumerable是否有任何性能提升，因为我最终希望在所有async调用完成之前不再进一步使用该算法，但是我希望它们并行执行，因此我不想等待所有的顺序，而是等待最长的一个。

PS 在这种情况下，我需要ConcurrentQueue /锁定吗？

解决方法

否，IAsyncEnumerable不适合这种情况。由于在完成所有异步操作之前，您不希望进一步前进，因此您将不会利用IAsyncEnumerable的主要资产。即：在结果可用时立即流式传输。返回Task<IEnumerable<int>>或什至更好的Task<int[]>更为简单和可取。尤其是如果您还想同时启动操作，则IAsyncEnumerable默认情况下是不执行此操作的，quite tricky是要实现的。