混合日期时间格式必须为一种格式

问题描述

我有一个大型CSV文件，其中有数百列我想提取到SQL Server中。 我正在使用Pandas将其读取为数据帧，并通过pyodbc调用存储过程以写入数据。我已经使用较小的CSV多次进行了此操作。在这种情况下，我有几列代表日期时间值。问题在于，在同一列中，我可以有几行使用不同的格式作为日期：

'2020-07-08T09:00:01+00:00'
'2020-07-08T05:00:07Z'
'2020-07-08T06:40:23.000Z'

我可以用这个解析所有这些

from dateutil import parser
z1 = parser.isoparse(z)

其中z是这些字符串中的任何一个。这是我的困境。如果我只是将它们写为字符串，则对sql的调用喜欢格式为'2020-07-08T06：40：23.000Z'，而对其他部分则不喜欢。所以我想用这种格式写。

所以我尝试

date_format = "%Y-%m-%dT%H:%M:%S.%fZ"
parser.isoparse(z).strftime(frm)

但是，该格式会写入字符串“ 2012-11-29T16：33：00.000000Z”，而不是“ 2012-11-29T16：33：00.000Z” 在最后一个句点和Z之间必须恰好有3个零。我尝试使用“％3f”，但strftime（）不喜欢这样。我可以用自己的函数“修复它”以抽出多余的“ 0”，但这似乎很俗气。似乎应该有某种方法可以像我想要的那样直接将其写入（sql似乎期望的方式）。咒语是什么？

解决方法

看来，解析到datetime并不是这里的问题。 pd.to_datetime对于这些格式（基本上使用dateutil.parser.parse）非常有效。要获得所需的3位数小数秒的格式，可以按照the docs中所述使用正则表达式搜索和替换。例如：

import pandas as pd

df = pd.DataFrame({'date0': ['2020-07-08T09:00:01+00:00'],'date1': ['2020-07-08T05:00:07Z'],'date2': ['2020-07-08T06:40:23.000Z']})

# parsing to datetime is no issue:
df = df.applymap(pd.to_datetime)

# now replace the ".ffffffZ" pattern with ".fffZ":
pat = '.[0-9]{6}UTC'
repl = lambda m: m.group(0)[:4] + 'Z'

# e.g. like
df['date0'].dt.strftime("%Y-%m-%dT%H:%M:%S.%f%Z").str.replace(pat,repl)
# 0    2020-07-08T09:00:01.000Z
# Name: date0,dtype: object

请注意，此会截断到毫秒。如果您想四舍五入，请先这样做，例如如here所述，频率别名为'L'（另请参见here）。

---

如果您知道所有日期时间都采用UTC，则当然也可以简单地剪切字符串并添加'Z'，

df['date0'].dt.strftime("%Y-%m-%dT%H:%M:%S.%f").str[:-3] + 'Z'
# 0    2020-07-08T09:00:01.000Z
# Name: date0,dtype: object

有趣的是，此方法似乎无法快速调用timeit：

%timeit df['date0'].dt.strftime("%Y-%m-%dT%H:%M:%S.%f").str[:-3] + 'Z'
615 µs ± 38.5 µs per loop (mean ± std. dev. of 7 runs,1000 loops each)

%timeit df['date0'].dt.strftime("%Y-%m-%dT%H:%M:%S.%f%Z").str.replace(pat,repl)
468 µs ± 13.7 µs per loop (mean ± std. dev. of 7 runs,1000 loops each)