问题描述
我将 JSON 数据保存为 Azure Blob 存储 - 标准层中的块 Blob。文件大小为 14.5MB,它包含大约 25,000 个 OLHC 数据对象,我从位于同一区域的 Azure 函数访问 blob。代码只是读取 blob 进行反序列化,但需要 20-40 秒。有什么我错过的吗?
public static async Task<Stream> GetBlob(string ConnectionString,string ContainerName,string Path)
{
BlobClient blobClient = new BlobClient(ConnectionString,ContainerName,Path);
MemoryStream ms = new MemoryStream();
try
{
await blobClient.DownloadToAsync(ms);
ms.Seek(0,SeekOrigin.Begin);
return ms;
} catch (Exception ex)
{
ms.dispose();
throw;
}
}
然后我请求函数中的 blob
log.Loginformation($"Begin Downloading Blob ");
using (Stream blob = await Core.Azure.Blob.GetBlob(blobString,"containerName",fileName))
{
log.Loginformation($"End Downloading Blob ");
log.Loginformation($"Begin Reading Blob ");
using (StreamReader reader = new StreamReader(blob))
{
string json = await reader.ReadToEndAsync();
log.Loginformation($"Begin Deserialize Blob ");
sticks = JsonConvert.DeserializeObject<List<MyModel>>(json);
log.Loginformation($"End Deserialize Blob ");
}
}
log.Loginformation($"{symbol} End Get Blob ");
检查 Blob 是否存在函数
public static async Task<bool> CheckExists(string ConnectionString,Path);
return await blobClient.ExistsAsync();
}
这是计时长达47秒的结果
我切换到流阅读器和 JSON 阅读器,它下降到 10-30 秒..但是,那仍然是很长的时间
2021-01-09 23:53:26.656 开始下载 Blob
2021-01-09 23:53:30.163 结束下载 Blob
2021-01-09 23:53:30.163 开始阅读 Blob
2021-01-09 23:53:37.040 开始反序列化 Blob
2021-01-09 23:53:49.737 结束反序列化 Blob
另一场比赛
OHLCData.Json 14.44 MB(28,000 行)
2021-01-10 12:40:49.970 开始检查 Blob 是否存在
2021-01-10 12:40:58.962 结束检查 Blob 存在
2021-01-10 12:40:58.962 开始下载 Blob
2021-01-10 12:41:08.181 结束下载 Blob
2021-01-10 12:41:08.187 开始阅读 Blob
2021-01-10 12:41:25.713 开始反序列化 Blob
2021-01-10 12:41:33.817 结束反序列化 Blob
2021-01-10 12:41:33.817 结束获取 Blob
解决方法
您正在将整个 blob 下载到内存流中(不必要的额外内存终止),转换为字符串,然后对其进行反序列化。我宁愿直接从 blob 流中一次性完成,利用如下所示的 stream support of Newtonsoft.Json
来优化速度和内存使用。
BlobClient blobClient = new BlobClient(ConnectionString,ContainerName,Path);
using (var stream = await blobClient.OpenReadAsync())
using (var sr = new StreamReader(stream))
using (var jr = new JsonTextReader(sr))
{
result = JsonSerializer.CreateDefault().Deserialize<T>(jr);
}
您也可以使用 System.Text.Json
API 执行类似操作。
JsonSerializerOptions Options = new JsonSerializerOptions();
using (var stream = await blobClient.OpenReadAsync())
{
result = await JsonSerializer.DeserializeAsync<T>(stream,Options);
}