为了账号安全,请及时绑定邮箱和手机立即绑定

Spark Window函数-日期之间的range

Spark Window函数-日期之间的range

慕村225694 2019-11-30 14:01:33
我有一个DataFrame包含数据的Spark SQL ,我要获取的是给定日期范围内当前行之前的所有行。因此,举例来说,我想让7天之前的所有行都排在给定行的前面。我发现我需要使用一个Window Function喜欢:Window \    .partitionBy('id') \    .orderBy('start')问题来了。我希望有rangeBetween7天的时间,但是在Spark文档中我什么都找不到。Spark甚至提供这种选择吗?现在,我只获得前面的所有行:.rowsBetween(-sys.maxsize, 0)但想要达到以下目标:.rangeBetween("7 days", 0)如果有人可以帮助我,我将非常感激。提前致谢!
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 948 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信