为了账号安全,请及时绑定邮箱和手机立即绑定

请问有什么办法能把这个dataframe的列名改成正常的名字吗?

请问有什么办法能把这个dataframe的列名改成正常的名字吗?

慕田峪4524236 2022-05-07 16:10:09
做了一个groupBy().agg()之后,df.groupBy("keyy").agg({"_c1" : "sum", "_c2" : "sum"})数据就变成了这样的格式。newdf :[Row(keyy=u'aaa', SUM(_c1)=0.123,SUM(_c2)=0.567),Row(keyy=u'bbb', SUM(_c1)=0.234, SUM(_c2)=0.567)]因为接下来还要对后面两列进行操作,发现sql 或者直接选取列都因为这奇葩(?)的列名,都不能运行。有什么办法能把这个dataframe的列名改成正常的名字, 比如c1之类的?只要能让后面的调用,麻烦点的方法都可以,不用考虑perforamance.........newdf里, SUM(_c1) SUM(_c2) 不一定一个在前一个在后,有时候可能是【keyy ,SUM(_c2),SUM(_c1) 】多谢多谢!
查看完整描述

2 回答

?
慕码人8056858

TA贡献1803条经验 获得超6个赞

试试这样:
df.groupBy("key").agg(sum($"quantity") as "c1", avg($"quantity") as "c2")

查看完整回答
反对 回复 2022-05-10
?
ABOUTYOU

TA贡献1812条经验 获得超5个赞

兄弟 你可以这样:
from pyspark.sql import functions as F
df.groupBy("keyy").agg(F.sum('_c1').alias('c1'), F.sum('_c2').alias('c2')).collect()

查看完整回答
反对 回复 2022-05-10
  • 2 回答
  • 0 关注
  • 135 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信