如何从Postgres表中检索上次修改的时间戳并将其传递给使用pyspark的条件

问题描述

我有一个postgres表“ log”，其中有一个名为“ timestamp”的列，其中包含文件夹中文件的日期和时间。

我需要从表中检索最新的时间戳，并将其传递给“用于条件”，但表最初将为空，从第二次迭代开始，我需要使用从表中获取pyspark

请让我知道如何解决

到目前为止我尝试过

       log_qry = """select timestamp from log order by timestamp desc limit 1"""
       cursor.execute = log_qry
       conn.commit

这似乎不起作用

解决方法

您的查询应如下所示：

select timestamp from log order by timestamp desc limit 1

如果表log中没有记录，它将返回0条记录。

最好像下面这样用max进行尝试：

select max(timestamp) from log

它将始终返回1条记录，如果表为空，则将返回null，否则将返回列timestamp中的最大值timestamp。

不要使用保留关键字和列名

,

SELECT * FROM table WHERE DATE(dateColumn) = CURDATE() AND column1 IN ('something','somethingElse') AND column2 IS NOT NULL ORDER BY column1; 是保留字，如果在查询中用作名称，则应双引号。
如果您的“条件”不接受null，则将其合并到很早以前的日期/时间。

timestamp