Python数据记录器导致Windows错误地报告驱动器已满

编程问答 2022-10-31

问题描述

我正在通过Web套接字连接监视数据流，然后进行少量处理，然后将消息记录到磁盘。邮件会根据标签进行过滤，并附加到给定标签的相应csv文件的末尾。共有6000-9000个标签，每天监控8小时。每天添加的磁盘总大小通常在800 MB到3 GB之间。另外请注意，每天都会创建一组新文件

（我意识到这时我可能应该搬到HDF商店之类的地方。但是我想知道是什么导致当前设置中的磁盘使用问题...）

当我终止通过CTR-C的日志记录并出现所产生的KeyboardInterrupt异常时，Windows突然显示我唯一的硬盘（C :)已接近或完全满，而实际上我应该还剩60-70 GB。重新启动计算机即可解决问题。

深入研究发现，在“ C：\ ProgramData \ Microsoft \ Search \ Data \ Applications \ Windows”中找到的Windows索引器数据库“ Windows.edb”已增长为占用67.6 GB的空间 （这样就可以了...）

为什么？

创建9000个csv文件是否会使索引数据库陷入困境？ 而是频繁地对每个导致其膨胀的open（）write（）close（）？

我认为后者更可能是问题所在，但由于以下两个原因，我在持久性文件描述符方面没有取得巨大成功：

  • 首先，我不知道所有标签是否在手，而且它们每天都会更改为 天
  • 第二，我想在记录过程中深入研究文件（可能是 由主机随时终止），所以我更喜欢刷新消息 每次都磁盘。我正在使用ThreadPoolExecutor处理 时间安排，而且在开销方面也不是问题。我做了 尝试使用永久性文件描述符，甚至手动设置 缓冲或强制刷新似乎没有得到我想要的结果。

下面是消息监视器：

def threadedMonitor(self):
    print("Launching threads")
    with ThreadPoolExecutor(max_workers = 1000) as threadExecutor:         
        num_replies = 0
        while self.monitoring:
            try:
                rawReply = self.ws.recv()
                threadExecutor.submit(self.processRecieved,rawReply)                    
                num_replies+=1
                if num_replies == self.printUpdateAt:
                    self.writeLog('{} replies recieved. '.format(num_replies)+rawReply)                        
                    print('Update: ',rawReply)
                    num_replies=0       
            except:
                self.monitoring = False
        self.unsubscribe()

和消息处理器：

def processRecieved(self,rawReply):
    if self.monitoring:
        update = loadParser(rawReply)                
        if update['messageType'] == 'A':    
            if update['data'][0] in ['T','Q']:                    
                if not update['data'][3] in self.symDict:
                    self.addSymbol(update['data'][3])            
                    self.writeLog('Adding {} to symDict.'.format(update['data'][3]))                             
                out_str = ','.join([str(value) for value in update['data']])+'\n'              
                fOut = open(self.symDict[update['data'][3]]['fName'],'a')    
                fOut.write(out_str)
                fOut.close()
        else:
            self.writeLog(str(update))

感谢您提供的任何见解。我知道我可以关闭索引，删除和重建索引数据库，甚至可以从索引器中隐藏此文件夹。但是，我更愿意在python方面理解并解决该问题。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

file-iooperating-systempythonwebsocketwindowswindows