python的dataFrame.describe可以传入一个数组,返回结果会输出基本统计信息和分段信息,如图1,而在spark中dataFrame.describe只会返回基本统计信息,如图2,如何在spark中不植入pandas的东西,而实现或者算出这个分段信息呢?
1 回答
月关宝盒
TA贡献1772条经验 获得超5个赞
#!/usr/bin/env python3# -*- coding: utf-8 -*-"""
Created on Fri Jun 8 16:27:57 2018
@author: luogan
"""import pandas as pdfrom pyspark.sql import SparkSession
spark= SparkSession\
.builder \
.appName("dataFrame") \
.getOrCreate()# Loads data.ll3=pd.DataFrame([[1,2],[3,4]],columns=['a','b'])
cc=ll3.values.tolist()
dd=list(ll3.columns)#df=spark.createDataFrame(ll3)#turn pandas.DataFrame to spark.dataFramespark_df = spark.createDataFrame(cc, dd)
print('spark.dataFram=',spark_df.show())#turn spark.dataFrame to pandas.DataFrame pandas_df = spark_df .toPandas()
print('pandas.DataFrame=',pandas_df)
添加回答
举报
0/150
提交
取消