如何构建代表Azure的Data Lake第2代的Docker映像?

问题描述

我正在将以下Docker映像用于MS sql Server ...

version: "3.2"
services:

  sql-server-db:
    image: mcr.microsoft.com/mssql/server:latest
    ports:
      - 1433:1433
    env_file: ./tests/.my_test_env

如何构造Docker映像以模拟Azure Data Lake(第2代)?我使用Python 3 SDK与数据湖进行了交互,在此处进行了介绍-https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-python

解决方法

我认为不可能创建一个模拟ADLS Gen 2的Docker映像。ADLSGen 2完全在Azure上,并且没有本地模拟器。第1代确实提供了一个本地模拟器,可通过Visual Studio进行访问,这对于ADLA项目很方便。我认为您提到的文章描述的是“与ADLS Gen 2进行 interact 的安装库”,而不是“与ADLS Gen 2的仿真器安装库”。

This article描述了Azure存储模拟器,并提到了Blob,队列和表服务。尽管提到了ADLS Gen 2,但它在某种程度上 分层名称空间选项已启用。

您是否必须使用Gen 2,例如,您可以按照下面的文章将仿真的Blob存储用于少量存储,还是为什么不使用真实的数据湖帐户?

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-emulator