问题描述
|
好的，这是情况...我有一个应用程序，每秒生成大约8个文件。每个文件为19-24kb。这每分钟产生约10到11 MB。这个问题不是关于如何ftp的，因为我已经有了该解决方案...问题更多的是关于如何跟上数据流的速度（在大多数情况下，只有2mb的上传带宽，除非我前往客户站点）有大烟斗）。我不在乎ftp是否需要花费更长的时间来传输流量，但是我想知道是否有人对如何批处理文件进行移动，以便在ftp处理完成时将删除已传输的文件。然后转到下一批。这就是我的想法：
多线程应用程序，第一个线程运行应用程序，第二个线程是计时器，计时器每\'N \'分钟创建一个文本文件，并在该时间段内创建所有文件。 StreamRead文件，然后将文本文件移动到另一个位置（可能创建一个临时文件夹），然后通过ftp将这些文件发送出去，然后删除文件，文件夹和文本文件...同时，正在写入和临时显示更多文本文件创建的文件夹。这听起来可行吗？我会采纳任何人的建议，只是在寻找最快，最可靠的途径。
请不要要求查看代码，考虑到我们正在使用假设，因此没有理由看到它。
解决方法
实际上，您不知道为什么需要将所有工作保留在单个应用程序中并处理线程复杂性的更多详细信息，因此可以争论将生成文件的部分和通过FTP将文件传输的部分保留在单独的应用程序中。
责任分离。确保每个应用程序仅执行一项工作，并且正确，快速地完成它。
一个Serivce或应用程序（无论是台式机还是网络）生成文件。
另一个服务会监视一个文件夹并将所有传入文件移入临时文件，执行所需的操作，FTP和删除。
看到我不知道您的设置以及文件的内容来源，在一个应用程序中编写它可能是您建议的最佳选择。
基本上可以回答您的问题。是的，听起来确实可行。
如何实现它以及您对实现的满意程度取决于您。
如果您在实施过程中遇到困难，请随时通过一些代码示例来发布新威胁中的任何问题，以了解如何实施特定功能以及遇到的问题。
假设在此之前，您认为能够管理所需实现的任何方法都是完全有效的。
编辑
看到您说您已经完成了生成文件的应用程序，并且您已经有了一个解决方案，FTP意味着使用2个单独的应用程序听起来更合理。
然后，您所需要的只是围绕FTP解决方案包装服务，并度过快乐的日子。
如果它已经在工作，则无需与生成文件的原始应用程序交互。
为什么要冒险破坏它，除非您必须在其中添加fTP功能并且别无选择。
, 我将创建一个服务，并使用FileSystemWatcher，System.Threading.Timer或同时使用这两个方法将传入文件添加到并发集合中（如果FileSystemWatcher的缓冲区超限，可能会丢失文件，因此最好使用计时器来拾取任何文件错过了）。当文件进入时，我会将它们移到一个单独的文件夹中，并使用.NET 4.0任务进行处理。然后，我将在后续步骤中对原始任务进行任何必要的后期处理。您可以具有处理任何故障的继续步骤，以及在成功时发生的不同继续步骤。这些任务中的每一个都会在线程池中启动一个线程，并将为您管理。
这是OnlyOnFaulted延续任务的http://msdn.microsoft.com/zh-cn/library/dd997415.aspx中的示例。您可能有第二个继续任务，该任务仅在成功时运行。
var task1 = Task.Factory.StartNew(() =>
{
throw new MyCustomException(\"Task1 faulted.\");
})
.ContinueWith((t) =>
{
Console.WriteLine(\"I have observed a {0}\",t.Exception.InnerException.GetType().Name);
},TaskContinuationOptions.OnlyOnFaulted);
var availableFiles = new BlockingCollection<string>();
var processedFiles = new BlockingCollection<string>();
var newFiles = new HashSet<string>();
...
lock (newFiles) {
foreach (var file in Directory.GetFiles())
if (!newFiles.Contains(file)) {
availableFiles.Add(file);
newFiles.Add(file);
}
}
foreach (var file in availableFiles.GetConsumingEnumerable()) {
SendFileOverFtp(file);
processedFiles.Add(file);
}
foreach (var file in processedFiles.GetConsumingEnumerable()) {
lock (newFiles) {
File.Delete(file);
newFiles.Remove(file);
}
}