异步处理传入的FileStream

问题描述

我正在从用户上传中读取文件，并且该文件正在同步工作。我需要对其进行更改，以便立即向用户发送“已接收”警报，然后异步读取文件，而用户会定期轮询以查看读取是否完成。

这是我的代码现在的样子：

public FileUpload SaveFile(Stream stream)
{
        FileUpload uploadObj = //instantiate the return obj

        var task = Task.Run(async () => await ProcessFileAsync(stream));
        
        return upload;
}

public async Task ProcessFileAsync(Stream stream)
{
        StreamReader file = new StreamReader(stream);
        CsvReader csv = new CsvReader(file,CultureInfo.InvariantCulture);
        
        while (await csv.ReadAsync())
        {
           //read the file
        }
}

我遇到的问题是，当我调用csv.ReadAsync()方法时，Stream对象已经被释放。当我希望SaveFile()方法将值返回给用户，但返回操作却放置了Stream对象时，如何访问Stream？

解决方法

这里的要点是您在ASP.NET的约束下工作，ASP.NET约束了许多底层HTTP内容。

当您说要异步处理用户上传的文件时，您希望脱离使用HTTP和ASP.NET的正常工作顺序。您会看到，当客户端发送带有正文（文件）的请求时，服务器会接收到请求标头，并启动ASP.NET告诉您的应用程序代码有新请求传入。

这时甚至还没有（完全）读取请求正文。这就是为什么让Stream来处理请求而不是字符串或文件名的原因-数据还不必到达服务器！只是请求标头，通知Web服务器有关请求。

如果您return a response at that point，对于所有HTTP和ASP.NET而言，请求都已完成，您将无法继续读取其正文。

现在，您要做的就是读取请求正文（文件），并在 发送给客户端之后进行处理。您可以执行此操作，但是您仍然必须阅读请求正文-因为如果您在读取请求之前从操作方法中返回了某些内容，则框架将认为您已经完成并处理了请求流。这就是导致您异常的原因。

如果您使用字符串，模型绑定或涉及框架读取请求主体的任何内容，那么可以，您的代码仅在读取主体后才执行。

看来可以助您一臂之力的短期解决方案是使用read the request stream into a stream that you own，而不是框架：

var myStream = new MemoryStream();
await stream.CopyTo(myStream);
Task.Run(async () => await ProcessFileAsync(myStream));

现在，您已经阅读了整个请求正文并将其保存在内存中，因此ASP.NET可以安全地处理请求流并将响应发送给客户端。

但是不要这样做。从控制器启动即发即弃任务是一个坏主意。将上传的文件保存在内存中是一个坏主意。

实际上应该执行的操作，如果您仍然想执行带外操作：

• 将传入文件保存为服务器上的实际临时文件
• 使用标识符（临时生成的文件名，例如GUID）向客户端发送响应
• 公开一个端点，客户端可以使用该端点通过所述GUID请求状态
• 具有后台进程不断扫描目录中是否有新上传的文件并对其进行处理

对于后者，您可以hosted services或第三方工具，例如Hangfire。

,

如果环境允许，您将需要执行以下操作之一

var result = task.Result;
//do stuff

...或

public Task<FileUpload> SaveFile(Stream stream)
{
    var uploadObj = //instantiate the return obj

    await ProcessFileAsync(stream);
    
    return uploadObj;
}

如果您走那条路线，请参阅此处，全面了解即发即弃： Web Api - Fire and Forget