Azure数据资源管理器缓慢地接收/失败

问题描述

我正在尝试将一些数据摄取到ADX中，但看不到任何数据出现：

• 40个实木复合地板文件（从1Mb到550Mb，总共8GB）
• 使用事件网格从blob存储中
• 以自动扩展在D11 V2群集层上运行
• 摄取利用率保持100％的状态持续2天，然后降至0％
• 摄入潜伏期最多增加到24小时，然后下降
• 行数始终为0，数据库大小不会增加
• 操作日志显示很多故障：“操作”：DataIngestPull，“管理命令执行在'2020-09-08T06：39：18.1115065Z'超时”等。
• 诊断日志记录还显示失败：FailedIngestion，Blob已超过“ 2.00：00：00”重试时间或“ 10”重试次数，BadRequest_MessageExhausted
• 当我摄取一个小文件时，它可以工作并且数据显示出来

最糟糕的是，我无法取消摄取，但必须等待2天。有办法取消吗？

如何成功提取此数据？应该花这么长时间吗？

解决方法

由于每个摄取批次太大，因此摄取似乎正在超时。解决此问题的最佳方法是将Blob的原始数据大小（可能是近似大小）添加到Blob元数据中，如here所述。另外，您可以尝试减少数据库/表的批处理策略，如here所述（可以从1GB减少到500MB，如果不够的话可以进一步减少）。