为了账号安全,请及时绑定邮箱和手机立即绑定
首页 手记 python数据分析应用 - 近5年八类资产价格走势分析

python数据分析应用 - 近5年八类资产价格走势分析

2018.06.13 23:58 1936浏览

最近发现PYTHON与TABLEAU的组合简直就是我们数据分析爱好者的绝佳工具组合。最近对大类资产配置这个问题产生了较大的兴趣,笔者就使用python作为数据获取、数据处理的工具,同时采用tableau作为数据展现的工具简单分析了8大类资产近5年多的价格走势,也许会对当下大类资产配置决策提供一些参考依据。这8大类资产包括:

  • 小麦

  • 大豆

  • 新华富时A50指数

  • 原油

  • 黄金

  • 美元指数

  • 道琼斯指数

数据获取

数据来源,直接爬取investing.com网站公布的各大类资产日行情数据,以黄金为例python源代码如下:

#首先需要安装selenium以及chrome驱动from selenium import webdriverdef crawlMainIndex():
    '''
    在INVESTING.COM网站下下载最新的常见指数行情
    '''
    driver=webdriver.Chrome()    #爬取黄金指数行情
    mainIndexDownloader(driver,'gold','http://cn.investing.com/commodities/gold-historical-data')    #此处省略爬取其它指数行情...
    driver.quit()def mainIndexDownloader(driver,indextype,url):
    '''
        根据xpath定位交易日、收盘价、开盘价、最高价、最低价、成交量、日涨幅等日行情数据
        最后保存到数据库当中,为了可以每天增量下载,这里直接使用django的持久化框架。
    '''
    time.sleep(1)
    driver.get(url)
    time.sleep(1)
    i = 1
    while True:
        quotes = driver.find_elements_by_xpath('//*[@id="curr_table"]/tbody/tr[%d]/td' % i)        if len(quotes) == 0:            break
        #mainIndexQuote类直接映射为mysql数据库当中cron_mainindexquote表
        data = mainIndexQuote(
            tradeday=dateConverter(quotes[0].text),
            closeprice=quotes[1].text,
            openprice=quotes[2].text,
            highprice=quotes[3].text,
            lowprice=quotes[4].text,
            tradevol=quotes[5].text,
            chgpcnt=quotes[6].text.replace('%', ''),
            type=indextype
        )
        existList = mainIndexQuote.objects.filter(tradeday=dateConverter(quotes[0].text)).filter(type=indextype)        #判断是否数据库当中已经存在,不存在则插入
        if len(existList) == 0:            #持久化,保存在数据库当中
            data.save()
        i += 1

数据处理

想要分析抓取下来的8类资产价格走势,必须要解决以下几个问题:

  • 不同品种的交易日期并不完全相同,放到一起展示,存在不对齐现象,即缺失值,必须对缺失值进行处理

  • 不同交易品种,价格分布的区间不一样,需要进行规一化处理

  • 由于数据库当中表的存储方式为长表,需要转换为宽表,具体原理请参见笔者的另一篇简书笔记Python数据分析之重塑reshaping与交叉表pivot table(1)

python语言当中的数据分析包pandas为解决上述数据分析过程当中的常见问题提供了非常便捷的方法,对应的源代码如下,可以看出上述三个问题,只需要两行代码

import pandas as pddef analyseMainIndex():
    '''
    根据历史数据抓取的各主要指数行情,分析大类资产栩置情况
    :return:
    '''
    with engine.connect() as conn, conn.begin():
        df = pd.read_sql_table('cron_mainindexquote', conn)    #由于数据库当中表的存储方式为长表,需要转换为宽表,具体原理请参见笔者的另一篇简书笔记
    #http://www.jianshu.com/p/e7ac9a0f5e6c
    df1=df.pivot(index='tradeday', columns='type', values='closeprice')    #使用后向填充,作为缺失值处理方式,当然也可以使用前期填充,修改bfill参数值即可
    #通过使用lambda匿名函数可以将不同大类资产的价格规范化为[0,1]区间,方便合并展示
    df2=df1.fillna(method='bfill').apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)))    #将处理后的规范化的数据直接存储到CSV文件当中,当然此处也可以直接保存到数据库当中
    df2.to_csv(r'd:\temp\normalization.csv')

数据展现

数据可视化的意义在于,让人在信息爆炸时代快速、直观地获取自已关注的信息。通过tableau直连前面已经清理整理好的csv数据文件之后,几秒钟之内即可绘制出8类资产价格走势图。效果如下:

8类资产近5年价格走势.png


从上图中可以发现,在这八大类资产当中,小麦、大豆、铜、石油都处于近5年来的相对价格低位,而美元指数、道指、已经处于5年内价格高位,正所谓,人往高处走,水往低处流,那是不是说近5年来的相对低位的资产种类看多就会因为被低估而比较安全呢?至少从近期来看,结论似乎是对的,但相信答案没有那么简单。

工行网银交易截图


图片发自简书App


提出问题,收集数据,学习原理,尝试回答问题,正是数据分析的迷人之处。



作者:dudubird85
链接:https://www.jianshu.com/p/ca0db9803719


点击查看更多内容
0人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
手记
粉丝
46
获赞与收藏
202

关注TA,一起探索更多经验知识

同主题相似文章浏览排行榜

风间影月说签约讲师

51篇手记,涉及Java、MySQL、Redis、Spring等方向

进入讨论

Tony Bai 说签约讲师

152篇手记,涉及Go、C、Java、Python等方向

进入讨论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消