从阿里巴巴OSS读取对象并使用pandas修改它python

问题描述

所以，我的数据是阿里云OSS存储桶中的csv文件格式。 我目前正在执行一个 Python 脚本，其中：

1. 我将文件下载到我的本地机器上。
2. 在我的本地机器上使用 Python 脚本进行更改。
3. 将其存储在 AWS 云中。

我必须修改这个方法并在阿里云中安排一个cron作业来自动运行这个脚本。 Python脚本会上传到阿里云的任务管理中。

所以新的步骤将是：

1. 将文件从 OSS 存储桶读入 Pandas。
2. 修改它 - 将它与其他数据合并，一些列会发生变化。 - 将在熊猫中完成。
3. 将修改后的文件存储到 AWS RDS 中。

我被困在第一步本身。 错误日志：OSS2 和 Pandas 的“未找到模块”。

正确的做法是什么？

这是我的脚本的草稿（关于如何能够在我的本地机器上执行脚本）：

import os,re
import oss2 -- **throws an error. No module found.**
import datetime as dt
import pandas as pd -- **throws an error. No module found.**
import tarfile
import MysqL.connector
from datetime import datetime
from itertools import islice
dates = (dt.datetime.Now()+dt.timedelta(days=-1)).strftime("%Y%m%d")
def download_file(access_key_id,access_key_secret,endpoint,bucket):

    #Authentication
    auth = oss2.Auth(access_key_id,access_key_secret)

    # Bucket name
    bucket = oss2.Bucket(auth,bucket)

    # Download the file
    try:
        # List all objects in the fun folder and its subfolders.
        for obj in oss2.ObjectIterator(bucket,prefix=dates+'order'):
            order_file = obj.key
            objectName = order_file.split('/')[1]
            df = pd.read_csv(bucket.get_object(order_file)) # to read into pandas
            # FUNCTION to modify and upload
        print("File downloaded")
    except:
        print("Pls check!!! File not read")
    return objectName

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）