根据先前的非缺失值计算缺失的行值

问题描述

这是Excel中的简单练习，但不知道如何在Pyspark中做

我有一个按时间顺序排列的增长率。​​ p>

Period,Rate,value
1,.,100
2,0.01,3,0.02,4,0.01

因此，该值仅在期间1中可用。所有其他值应按以下方式计算：

时段2：100 *（1 + 0.01）= 101

期间3：101 *（1 + 0.02）

周期2本质上是以周期1为基础的值加上周期2中要计算的比率。依此类推。

在Excel中执行此操作非常容易，但不知道如何在Pyspark中执行。

非常感谢。

解决方法

您可以使用log和exp来获取该期间之前的总价值。您的价值是乘积。

1,0.01,100 * (1 + 0.01)
2,100 * (1 + 0.01) * (1 + 0.01)
...
n,100 * (1 + 0.01)^n

因此，在窗口上输入log，sum值log(1 + 0.01)，然后返回到exp。

value = 100

w = Window.orderBy('Period')
df.withColumn('value',value * exp(sum(log(col('Rate') + 1).cast('decimal(38,20)')).over(w))).show()

+------+----+------------------+
|Period|Rate|             value|
+------+----+------------------+
|     1| 0.0|             100.0|
|     2|0.01|             101.0|
|     3|0.01|            102.01|
|     4|0.01|103.03010000000002|
|     5|0.01|        104.060401|
|     6|0.01|105.10100501000001|
|     7|0.01|106.15201506010001|
|     8|0.01|107.21353521070101|
|     9|0.01|108.28567056280802|
|    10|0.01|109.36852726843608|
|    11|0.01|110.46221254112045|
|    12|0.01|111.56683466653166|
|    13|0.01|112.68250301319698|
|    14|0.01|113.80932804332895|
|    15|0.01|114.94742132376223|
|    16|0.01|116.09689553699987|
+------+----+------------------+

或者，通过将费率列出来使用aggregate函数。

value = 100

df.withColumn('temp',expr("aggregate(collect_list(Rate + 1) OVER (ORDER BY Period),1D,(acc,x) -> acc * x)")) \
  .withColumn('value',col('temp') * value).show()

+------+----+------------------+------------------+
|Period|Rate|             value|              temp|
+------+----+------------------+------------------+
|     1| 0.0|             100.0|               1.0|
|     2|0.01|             101.0|              1.01|
|     3|0.01|            102.01|            1.0201|
|     4|0.01|103.03009999999999|          1.030301|
|     5|0.01|        104.060401|        1.04060401|
|     6|0.01|      105.10100501|      1.0510100501|
|     7|0.01|106.15201506009998|    1.061520150601|
|     8|0.01|107.21353521070098|1.0721353521070098|
|     9|0.01|108.28567056280801|  1.08285670562808|
|    10|0.01|109.36852726843608|1.0936852726843609|
|    11|0.01|110.46221254112045|1.1046221254112045|
|    12|0.01|111.56683466653166|1.1156683466653166|
|    13|0.01|112.68250301319698|1.1268250301319698|
|    14|0.01|113.80932804332895|1.1380932804332895|
|    15|0.01|114.94742132376223|1.1494742132376223|
|    16|0.01|116.09689553699987|1.1609689553699987|
+------+----+------------------+------------------+

两个示例在第四个周期都存在精度问题。