为了账号安全,请及时绑定邮箱和手机立即绑定

sparkSQL将SQL执行结果输出到hdfs上,脚本如何写?

/ 猿问

sparkSQL将SQL执行结果输出到hdfs上,脚本如何写?

守着星空守着你 2019-05-03 21:04:07

这里需要用到的工具叫做sqlcmd.exe, 它随SQL server的安装而安装. 该可执行程序的位置在:
C:\Program Files\Microsoft SQL Server\xxx\Tools\Binn
其中xxx是你所安装的SQL Server的版本号.

查看完整描述

2 回答

?
烙印99

Version Number

SQL Server 2005 90

SQL Server 2008 100

在SQL 2014中它的位置在:
C:\Program Files\Microsoft SQL Server\Client SDK\ODBC\110\Tools\Binn
貌似是跟着Client SDK一起被安装的.
sqlcmd.exe的位置是被加入了环境变量了的, 所以可以在任何路径下直接调用. 可以通过下面的命令来查看环境变量.
Set | more
可以用以下的方式使用sqlcmd:
命令行中直接交互式执行sql语句
命令行中制定所需执行sql语句的脚本文件和输出文件
这里再给出一个sqlcmd中直接运行命令的截图, 除了脚本之外, 这样也可以更直观的与SQL Server进行交互.

查看完整回答
反对 回复 2019-05-03
?
守着一只汪

1.需要在本机下载hadoop,不需要修改配置安装,但需要设置下hadoop_home,java_home等;

2.(windows下)下载hadoop在win下的执行文件放到bin目录(可以去github上搜winutils)

3.拷贝集群配置文件到resources下面

4.如果集群设置了hdfs访问权限限制,比如开启了指定用户xxx才能访问那么可以在程序里设置System.setProperty("HADOOP_USER_NAME", "xxx")

5.如果集群配置中都是指定的主机名,那么需要在你本机hosts中加上集群主机解析

查看完整回答
反对 回复 2019-05-03

添加回答

回复

举报

0/150
提交
取消
意见反馈 邀请有奖 帮助中心 APP下载
官方微信