数据清理:保留至少n次连续观察的数据

问题描述

嘿,我需要一些清理数据的帮助,我对R还是很陌生,所以请放轻松。

我在下面发布了数据样本。

  • 这是一个面板数据集,用于查看公司随时间变化的价格(值列)
  • 公司名称为cik列

问题是我没有整个期间每个公司的完整数据,有些公司在整个期间根本没有任何数据,因此,它们在所有日期的价值都是不适用,不过,有些人会在一定时期内(例如2004-2006年)获得数据,但不会在整个采样期间获得数据。当连续24个月或更长时间连续有数据时,我想保留数据。

例如,如果公司具有从2005/01/01到2008/01/01的数据,我想保留此数据。 但是,如果公司具有从2005/01/01到2006/01/01的数据,我想排除此数据。 在数据中还会有一些公司发生中断,例如某公司可能有从2005/01/01到2006/01/01以及从2008/01/01到2015/01/01的数据,在这种情况下,我想要保留2008年1月1日至2015年1月1日的数据,但不包括2005年1月1日至2006年1月1日的数据。

cik     value   date
<dbl>   <dbl>   <date>
1001039 41.500  2004-10-31      
1001039 26.000  2004-11-30      
1001039 24.500  2004-12-31      
1001039 31.250  2005-01-31      
1001039 24.090  2005-02-28      
1001039 30.250  2005-03-31      
1001039 35.340  2005-04-30      
1001039 38.500  2005-05-31      
1001039 30.000  2005-06-30      
1001039 27.250  2005-07-31      
1001039 34.500  2005-08-31      
1001039 37.500  2005-09-30      
1001039 43.750  2005-10-31      
1001039 40.120  2005-11-30      
1001039 33.250  2005-12-31      
1001039 29.000  2006-01-31      
1001039 23.500  2006-02-28      
1001039 21.500  2006-03-31      
1001039 17.840  2006-04-30      
1001039 21.000  2006-05-31      
1001039 18.060  2006-06-30      
1001039 19.160  2006-07-31      
1001039 18.500  2006-08-31      
1001039 17.750  2006-09-30      
1001039 15.500  2006-10-31      
1001039 12.000  2006-11-30      
1001039 11.500  2006-12-31      
1001039 9.915   2007-01-31          
104169  5.700   2007-05-31      
104169  10.000  2007-06-30      
104169  21.000  2007-07-31      
104169  22.500  2007-08-31      
104169  18.500  2007-09-30      
104169  22.500  2007-10-31      
104169  28.000  2007-11-30      
104169  26.000  2007-12-31      
104169  35.500  2008-01-31      
104169  57.200  2008-02-29      
104169  42.300  2008-03-31      
104169  30.800  2008-04-30      
104169  35.500  2008-05-31  
1001039 34.980  2017-10-31      
1001039 33.360  2017-11-30      
1001039 32.970  2017-12-31      
1001039 28.685  2018-01-31      
1001039 28.200  2018-02-28      
1001039 35.855  2018-03-31      
1001039 29.755  2018-04-30      
1001039 34.145  2018-05-31      
1001039 48.275  2018-06-30      
1001039 37.310  2018-07-31      
1001039 34.600  2018-08-31      
1001039 36.980  2018-09-30      
1001039 34.615  2018-10-31      
1001039 35.195  2018-11-30      
1001039 40.920  2018-12-31      
1001039 29.050  2019-01-31      
1001039 21.005  2019-02-28      
1001039 18.420  2019-03-31      
1001039 16.980  2019-04-30      
1001039 21.280  2019-05-31      
1001039 17.235  2019-06-30      
1001039 15.700  2019-07-31      
1001039 15.990  2019-08-31      
1001039 19.525  2019-09-30      
1001039 19.500  2019-10-31      
1001039 16.885  2019-11-30      
1001039 15.940  2019-12-31      
1001039 18.770  2020-01-31      
1001039 28.650  2020-02-29      
1001039 59.405  2020-03-31      
1001039 36.265  2020-04-30      
1001039 26.345  2020-05-31      
1001039 23.960  2020-06-30      
1001039 22.195  2020-07-31      
100885  40.010  2004-10-31      
100885  26.500  2004-11-30      
100885  30.000  2004-12-31
100885  70.200  2008-03-31      
100885  40.300  2008-04-30      
100885  51.500  2008-05-31      
100885  72.500  2008-06-30      
100885  55.600  2008-07-31      
100885  66.000  2008-08-31      
100885  54.200  2008-09-30      
100885  85.500  2008-10-31      
100885  140.000 2008-11-30      
100885  100.000 2008-12-31      
100885  104.100 2009-01-31      
100885  101.090 2009-02-28      
100885  86.960  2009-03-31      
100885  63.850  2009-04-30      
100885  50.500  2009-05-31      
100885  57.160  2009-06-30      
100885  38.000  2009-07-31      
100885  48.500  2009-08-31      
100885  44.250  2009-09-30      
100885  59.790  2009-10-31      
100885  70.130  2009-11-30      
100885  45.420  2009-12-31      
100885  59.290  2010-01-31      
100885  58.980  2010-02-28      
100885  58.500  2010-03-31      
100885  52.250  2010-04-30      
100885  54.360  2010-05-31      
100885  50.500  2010-06-30      
100885  41.870  2010-07-31      

非常感谢大家!

解决方法

您可以创建按月顺序中断的组(连续的date之间的差异大于31天),并仅选择至少具有24个小肠(2年)的组。

library(dplyr)
df %>%
  arrange(cik,date) %>%
  group_by(cik,grp = cumsum(c(TRUE,diff(date)) > 31)) %>%
  filter(n() >= 24)

相关问答

依赖报错 idea导入项目后依赖报错,解决方案:https://blog....
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下...
错误1:gradle项目控制台输出为乱码 # 解决方案:https://bl...
错误还原:在查询的过程中,传入的workType为0时,该条件不起...
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct...