博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive之 hive与hadoop的联系
阅读量:7012 次
发布时间:2019-06-28

本文共 574 字,大约阅读时间需要 1 分钟。

 

                                                                        Hive与Hadoop调用图

解析:

1、提交sql 交给驱动

2、驱动编译:解析相关的字段表信息
3、去metastore查询相关的信息 返回字段表信息
4、编译返回信息 发给驱动
5、驱动发送一个执行计划 交给执行引擎
6、执行计划 (三种形式: metastore、namenode、metastore+namenode+mapreduce)

形式一 > DDL 对数据库表的操作的 直接和metastore交互 。 比如:create table t1(name string);

形式二 > dfs ops 直接和namenode取数据 。 比如: select * from t1;
形式三 > 把job交给job tracker,让task tracker执行 返回执行信息 + 完成job返回数据信息、找namenode查数据 。
比如:select * from t1 where col=X ;

7、返回结果信息集

总结: hive 运行在 hadoop 之上, 某些操作需要调用 hdfs 中的 mapreduce 。 hive 元数据存储在 matestore 中, 而非元数据(如 table 里的数据)存储在hdfs之上。

转载于:https://www.cnblogs.com/andy6/p/7543753.html

你可能感兴趣的文章
《Kali Linux渗透测试的艺术》—第2章2.3节安全测试方法论
查看>>
《版式设计——日本平面设计师参考手册》—第1章段落样式和字符样式的应用...
查看>>
《软件工艺师:专业、务实、自豪》一3.7.1 软件工艺峰会
查看>>
《善用佳软:高效能人士的软件应用之道》一2.4 项目管理:免费Project查看软件汇总...
查看>>
Galera 将死 — MySQL Group Replication 发布
查看>>
Mozilla 发现用于中间人攻击的证书
查看>>
Docker 中管理数据 【已翻译100%】
查看>>
《Unity 5.x游戏开发实战》一2.2 Unity中的C#脚本
查看>>
《OOD启思录》—第2章2.3节 类耦合与内聚
查看>>
【好书推荐】适合开发者学习DevOps的5本好书
查看>>
11个Linux基础面试问题
查看>>
《嵌入式 Linux C 语言应用程序设计(修订版)》一导读
查看>>
《Python金融大数据分析》一2.3 延伸阅读
查看>>
Android View事件传递详解
查看>>
Elasticsearch-SQL
查看>>
我的失败与伟大 —— 上市之后的规划
查看>>
【Spark Summit East 2017】不必犹豫,使用Spark 2.0结构化流
查看>>
HTTPFS: 基于HTTP操作hadoop hdfs文件系统
查看>>
使用jquery获取父元素或父节点的方法
查看>>
如何让双十一数据大屏讲出故事?设计有口诀
查看>>