hive数据库(hive sql有什么好用的工具)
本文目录
hive sql有什么好用的工具
Hive可视化工具
目前市面上的Hive可视化客户端工具,大都是C/S模式的,安装使用都不是太方便,目前有一款基于WEB的可视化工具TreeSoft,
通过浏览器就可以访问使用了,并且可以同时管理、维护、监控MySQL,MariaDB,Oracle,PostgreSQL, SQL Server, DB2 , MongoDB, Hive, SAP HANA, Caché ,达梦DM , Redis , Memcache据库.
1、配置数据库的连接参数,可以Hive,MySQL同时配置,方便查看原始数据,以及回写到MySQL的数据。
2、切库换数据库,查看及维护数据,同时可以在线执行SQL,查询数据。可以从Hive同步数据到MySQL等。
Hive的数据模型是怎样的
Hive并不存储数据,Hive只是一个Sql解析工具
Hive的架构
hive的数据存储依赖于hadoop中的hdfs作为数据的存储源。并且Hive本身也没有计算引擎,也是依赖其他的计算引擎,如:mapreduce,spark,tez
Hive有哪些特点
您好,我是数据僧(头条,公众号,简书),,一名数据相关从业者。下面讲讲我对您这个问题的理解。
Hive是为了解决什么问题,Hive产生的背景,我们以这个为引子,展开回答。
1,MapReduce编程的不变性,如果要处理一些数据处理的任务,会有一定的门槛,并且操作起来不方便。
2,Hdfs上的文件缺少Schema。例如:缺少 字段名,数据类型等,不方面数据进行有效管理。
3,用于解决海量结构化数据的统计问题
4,如果使用MapReduce等计算框架,学习成本比较高
5,在项目周期比较短的情况下,如果使用mapReduce或者其它的开发框架进行开发,无法满足项目对时间的要求。
我们从具体应用场景下看看Hive处于hadoop生态系统的什么位置:
如图:Hive以Hdfs为基本的文件存储,以MapReduce为执行引擎。所以Hive天然就具备了Hdfs,MapReduce的特性。
我们和传统数据库进行对比看看Hive有哪些优势和不足,当然这种不足是特定场景下的,也是Hive不擅长的领域。
hive的编写语法和传统的sql类似,核心的是hive有一套不同与sql的语法规则,最终被解释为mapReduce任务。hive只适合在海量数据下进行批量数据统计分析。
我们在来看看hive和mapReduce之间的关系,如图:
在来看看hive的内部结构示意图
Driver组件:
SQL Parser:编译器,将HQL转换成抽象语法树。
Query Optimizer:查询优化器
Physical Plan,SerDes,Udfs:执行器
解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS 中,并在随后有 MapReduce 调用执行。
Metastore组件:Hive将元数据存储在数据库中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等
Hive处理命令的流程示意图:
SQL Parser将SQL语句转换成抽象语法树---》生成逻辑执行计划----》查询优化----》 物理执行计划(SerDes序列化与反序列化,UDFs,执行引擎)
上面主要是从整体上介绍hive,已经hive相关的组件,最后总结下hive有哪些特点:
1,hive延迟高,适合高吞吐量,批量,海量数据处理。
2,语法和SQL相似,学习成本低,避免去写复杂的MapReduce,缩短开发周期。
3,Hive支持自由的扩展集群的规模,一般不需要重启服务。
4,Hive支持自定义函数,用户可以根据自己的需求去定义函数。
5,良好的容错性,节点出现问题,SQL仍然可以成功执行。
。。
整体上来说是继承了HDFS和MapReduce的特点。
数据僧,祝愿每个在数据道路上的人越走越好。你们的关注 是我巨大的动力。欢迎大家在评论区留言,大家一起讨论。
更多文章:
win7系统主题下载(怎么给win7系统换主题一套的那种 有没有软件可以下载)
2024年6月20日 15:05
cpu频率越高越好吗(cpu频率越高越好吗,高低频有什么区别)
2024年2月15日 20:40
office2007产品密钥永久激活(求Microsoft Office 2007 可用密钥(激活码))
2024年6月25日 22:48
鬼吹灯单机版(求有适合安卓手机的《正版鬼吹灯(网络*火热)》手机单机游戏)
2024年7月24日 11:38
cf单机版最新版本下载(穿越火线单机版内置修改器菜单下载方法)
2024年5月8日 03:04
可以赚钱的游戏手游(有什么单号搬砖的游戏呢,手游端游都可,多开伤不起)
2024年6月11日 02:58