如何从pyarrow或pandas加载modin数据帧

问题描述

由于Modin不支持从s3上的多个pyarrow文件加载，因此我正在使用pyarrow加载数据。

    import s3fs
    import modin.pandas as pd
    from pyarrow import parquet
    
    s3 = s3fs.S3FileSystem(
        key=aws_key,secret=aws_secret
    )

    table = parquet.ParquetDataset(
        path_or_paths="s3://bucket/path",filesystem=s3,).read(
        columns=["hotelId","startDate","endDate"]
    )

    # to get a pandas df the next step would be table.to_pandas()

如果我知道要将数据放入Modin df中进行并行计算，而不必写入和读取csv，该怎么办？有没有一种方法可以直接从pyarrow.Table或至少从pandas数据框中构造Modin df？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）