有多个线程时如何减少文件写入次数？

问题描述

| 这是情况。 在Java Web App中，我被要求负责管理，我被要求改善QA期间压力测试的总体响应时间。该Web应用程序不使用数据库，因为它本来应该很简单。 （我不能改变那个决定） 为了持久化配置，我发现，每次更改配置时，包含配置对象列表的常规对象都会序列化到文件中。 通过使用Jmeter，我发现在给定的测试用例中，有2个请求最多。这两个请求都添加或更改了一些配置对象。由于必须同步访问文件，因此，当许多用户更改配置时，必须在几秒钟内将文件完全写入几次，并且请求正在等待文件写入发生。 我认为所有这些序列化都是根本不需要的，因为我们一次又一次地重写大多数对象，每个请求中的更改都针对一个对象，但是每次都将文件整体写入。 因此，有没有办法减少实际文件的写入次数，但仍保证所有更改最终都被序列化？ 任何建议表示赞赏     

解决方法

一种选择是更改内存，并在后台保持一个线程，以给定的间隔运行，并将更改刷新到磁盘。请记住，在崩溃的情况下，您将丢失未刷新的数据。 可以使用ScheduledExecutorService调度后台线程。 IMO，最好使用数据库。您不能使用Java，H2或HSQLDB等嵌入式DB吗？这些数据库支持并发访问，并且在崩溃时也可以保证数据的一致性。     ,如果您绝对不能使用数据库，那么显而易见的解决方案是将您的单个文件分成多个文件，每个配置对象一个文件。这将加快序列化和输出过程，并减少锁争用（更改不同配置对象的请求可能会同时写入其文件，尽管可能会成为IO绑定）。     ,一种方法是执行Lucene的操作，而实际上根本不覆盖旧文件，而是写一个仅包含“ updates”的新文件。这取决于您的更新是否具有关联性，但是无论如何通常都是这种情况。 这个想法是，如果您的旧文件包含\“ 8 \”并且您有3个更新，则将\“ 3 \”写入新文件，而新状态为\“ 11 \”，接下来您将写入\“-2 \ “，您现在有了\” 9 \“。您可以定期汇总旧版本和更新版本。您写入的任何物理文件都不会更新，但是一旦不再使用可能会被删除。 为了使这个想法更有意义，请考虑上面的数字是否是某种记录。 \“ 3 \”可以转换为\“添加三个新记录\”，而\“-2 \”可以转换为\“删除这两个记录\”。 Lucene是一个非常成功地使用这种风格的附加更新策略的项目示例。