做了一个groupBy().agg()之后,df.groupBy("keyy").agg({"_c1" : "sum", "_c2" : "sum"})数据就变成了这样的格式。newdf :[Row(keyy=u'aaa', SUM(_c1)=0.123,SUM(_c2)=0.567),Row(keyy=u'bbb', SUM(_c1)=0.234, SUM(_c2)=0.567)]因为接下来还要对后面两列进行操作,发现sql 或者直接选取列都因为这奇葩(?)的列名,都不能运行。有什么办法能把这个dataframe的列名改成正常的名字, 比如c1之类的?只要能让后面的调用,麻烦点的方法都可以,不用考虑perforamance.........newdf里, SUM(_c1) SUM(_c2) 不一定一个在前一个在后,有时候可能是【keyy ,SUM(_c2),SUM(_c1) 】多谢多谢!
2 回答
慕码人8056858
TA贡献1803条经验 获得超6个赞
试试这样:
df.groupBy("key").agg(sum($"quantity") as "c1", avg($"quantity") as "c2")
ABOUTYOU
TA贡献1812条经验 获得超5个赞
兄弟 你可以这样:
from pyspark.sql import functions as F
df.groupBy("keyy").agg(F.sum('_c1').alias('c1'), F.sum('_c2').alias('c2')).collect()
- 2 回答
- 0 关注
- 135 浏览
添加回答
举报
0/150
提交
取消