旗下产业: A产业/ A实习/ A计划
全国统一咨询热线:010-5367 2995
首页 > 热门文章 > 大数据分析 > 如何使用pandas中的时序数据分组运算

如何使用pandas中的时序数据分组运算

时间:2020-12-24来源:www.aaa-cg.com.cn点击量:作者:Sissi
时间:2020-12-24点击量:作者:Sissi



一、简介
 

  我们在使用pandas分析处理时间序列数据时,经常需要对原始时间粒度下的数据,按照不同的时间粒度进行分组聚合运算,譬如基于每个交易日的股票收盘价,计算每个月的最低和最高收盘价。
 

  而在pandas中,针对不同的应用场景,我们可以使用resample()、groupby()以及Grouper()来非常高效快捷地完成此类任务。
 

二、在pandas中进行时间分组聚合
 

  在pandas中根据具体任务场景的不同,对时间序列进行分组聚合可通过以下两类方式实现:
 

  2.1 利用resample()对时序数据进行分组聚合

  resample原始的意思是「重采样」,可分为「上采样」与「下采样」,而我们通常情况下使用的都是「下采样」,也就是从高频的数据中按照一定规则计算出更低频的数据,就像我们一开始说的对每日数据按月汇总那样。
 

如何使用pandas中的时序数据分组运算
如何使用pandas中的时序数据分组运算
 

  如果你熟悉pandas中的groupby()分组运算,那么你就可以很快地理解resample()的使用方式,它本质上就是在对时间序列数据进行“分组”,最基础的参数为rule,用于设置按照何种方式进行重采样,就像下面的例子那样:
 

  可以看到,在上面的例子中,我们对index为日期时间类型的DataFrame应用resample()方法,传入的参数'M'是resample第一个位置上的参数rule,用于确定时间窗口的规则,譬如这里的字符串'M'就代表「月且聚合结果中显示对应月的最后一天」,常用的固化的时间窗口规则如下表所示:

如何使用pandas中的时序数据分组运算
 

  且这些规则都可以在前面添加数字实现倍数效果:

如何使用pandas中的时序数据分组运算
如何使用pandas中的时序数据分组运算
 

  且resample()非常贴心之处在于它会自动帮你对齐到规整的时间单位上,譬如我们这里只有交易日才会有记录,如果我们设置的时间单位下无对应记录,也会为你保留带有缺失值记录的时间点:

如何使用pandas中的时序数据分组运算
如何使用pandas中的时序数据分组运算
 

  而通过参数closed我们可以为细粒度的时间单位设置区间闭合方式,譬如我们以2日为单位,将closed设置为'right'时,从第一行记录开始计算所落入的时间窗口时,其对应为时间窗口的右边界,从而影响后续所有时间单元的划分方式:

如何使用pandas中的时序数据分组运算
如何使用pandas中的时序数据分组运算
 

  而即使你的数据框index不是日期时间类型,也可以使用参数on来传入日期时间列名实现同样的效果。
 

  2.2 利用groupby()+Grouper()实现混合分组
 

  有些情况下,我们不仅仅需要利用时间类型列来分组,也可能需要包含时间类型在内的多个列共同进行分组,这种情况下我们就可以使用到Grouper()。
 

  它通过参数freq传入等价于resample()中rule的参数,并利用参数key指定对应的时间类型列名称,但是可以帮助我们创建分组规则后传入groupby()中:
 

如何使用pandas中的时序数据分组运算
如何使用pandas中的时序数据分组运算
 

  且在此种混合分组模式下,我们可以非常方便的配合apply、transform等操作,这里就不再赘述。



 

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可先就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可推荐就业!

©2007-2021/北京漫动者教育科技有限公司版权所有
备案号:京ICP备12034770号

老师想和你聊一聊

©2007-2022/ www.aaa-cg.com.cn 北京漫动者教育科技有限公司 备案号: 京ICP备12034770号 监督电话:010-53672995 邮箱:bjaaa@aaaedu.cc

京公网安备 11010802035704号

网站地图