为了账号安全,请及时绑定邮箱和手机立即绑定
首页 手记 Hive基本操作之用户访问次数统计

Hive基本操作之用户访问次数统计

2021.09.12 23:11 1999浏览

# 前言

根据对用户ID、访问日期、访问次数的若干条数据,分析得出每个用户的累计访问次数,涉及字符串替换、时间函数、开窗、求和等技术。

## 1. 假如有用户访问数据(用户ID,访问日期,访问次数)

|userId|visitDate|visitCount|

| -- | -- | -- |

|u01|2017/1/21|5|

|u02|2017/1/23|6|

|u03|2017/1/22|8|

|u04|2017/1/20|3|

|u01|2017/1/23|6|

|u01|2017/2/21|8|

|u02|2017/1/23|6|

|u01|2017/2/22|4|

## 2. 希望得到每个月用户的访问累计次数

|用户id|月份|小计|累积|

| -------- | -------- | -------- | -------- |

|u01|2017-01|11|11|

|u01|2017-02|12|23|

|u02|2017-01|12|12|

|u03|2017-01|8|8|

|u04|2017-01|3|3|

## 3. 启动hive,选库,建表

```

create table action

(userId string,

visitDate string,

visitCount int)

row format delimited fields terminated by "\t";

```

## 4. 将数据导入表

```

load data local inpath '/data/action.dat' into table action;

```

## 5. 转换日期字符串为标准格式

```

select

userId,

date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,

visitCount

from

action;

```

|userid|mn|visitcount|

| -- | -- | -- |

|u01|2017-01|5|

|u02|2017-01|6|

|u03|2017-01|8|

|u04|2017-01|3|

|u01|2017-01|6|

|u01|2017-02|8|

|u02|2017-01|6|

|u01|2017-02|4|

## 6. 计算每人单月访问量

```

select

userId,

mn,

sum(visitCount) mn_count

from

(select

userId,

date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,

visitCount

from

action) as t1

group by

userId,mn;

```

|userid|mn|mn_count|

| -- | -- | -- |

|u01|2017-01|11|

|u01|2017-02|12|

|u02|2017-01|12|

|u03|2017-01|8|

|u04|2017-01|3|

## 7. 按月累计访问量

```

select

userId,

mn,

mn_count,

sum(mn_count) over(partition by userId order by mn)

from (select

userId,

mn,

sum(visitCount) mn_count

from

(select

userId,

date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,

visitCount

from

action) as t1

group by

userId,mn) as t2;

```

|userid|mn|mn_count|sum_window_0|

| -- | -- | -- | -- |

|u01|2017-01|11|11|

|u01|2017-02|12|23|

|u02|2017-01|12|12|

|u03|2017-01|8|8|

|u04|2017-01|3|3|

# The End



点击查看更多内容
0人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
软件工程师
手记
粉丝
1
获赞与收藏
3

关注TA,一起探索更多经验知识

同主题相似文章浏览排行榜

风间影月说签约讲师

50篇手记,涉及Java、MySQL、Redis、Spring等方向

进入讨论

Tony Bai 说签约讲师

142篇手记,涉及Go、C、Java、Python等方向

进入讨论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消