为了账号安全,请及时绑定邮箱和手机立即绑定

使用presto数据库在字符数字比较中遇到的坑

标签:
Hbase

1.事情的始末

公司的sql查询平台提供了HIVE和Presto两种查询引擎来查询hive中的数据,由于presto的速度较快,一般能用presto跑就不用hive跑(有的时候如果使用了hive的UDF就必须用hive了),然而昨天发生了一件血案。

有一个需求需要统计某个时间小于100000s的所有记录,这个时间存在一个map<string,string>中,然后自然想到的就是where map["stat_time"] <100000 ,结果出来的数据特别少,开始还天真的以为是数据的确就特别少。后来产品说不正常。仔细排查以后发现,这些数据都是小于10的。

相信看到这里就已经比较清晰了,这presto种字符串和数字比较,是把数字转化成字符串进行比较,也就是"10000" 和 23比,"10000" 小,由于hive和很多语言以及框架上,这种情况都是把字符串转化成数字,就没做特殊处理。结果遇到了这个坑。后来把查询引擎缓存hive就好了。

2.扩展

不过为了安全,健壮性和可读性考虑,还是应该加上一些转换函数,hive和presto中都提供了cast转换

cast(value AS type)  type显式转换一个值的类型。 可以将varchar类型的值转为数字类型,反过来转换也可以。

try_cast(value AS type)  type与cast类似,不过,如果转换失败会返回null,这个只有presto有

另外需要注意的是
hive中的int类型是就是int,而presto中是包装类型Integer,如果cast的type写错也会报错



作者:Meet相识_bfa5
链接:https://www.jianshu.com/p/43c783c58376


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消