温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hive组件构架是什么

发布时间:2021-10-13 13:36:58 来源:亿速云 阅读:119 作者:iii 栏目:编程语言

本篇内容介绍了“hive组件构架是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

Hive执行流程图:
hive组件构架是什么
【Pratical Hive.pdf】学习笔记,各章节做主线辅以官网资料整理完成。

组件架构

  • 客户端组件
    Hive-cli,
    JDBC/ODBC
    Toad or SQuirreL

  • HCatalog
    元数据管理组件,主要作用如下
    官方介绍
    • Provides a common schema environment for multiple tools
    • Allows for connectors to tools to read data from and write data to Hive’s warehouse
    • Lets users share data across tools
    • Creates a relational structure to Hadoop data
    • Abstracts away the how and where of data storage
    • Hides schema and storage changes from users

  • hiveServer2
    接口服务组件

  • Execution-Engine

  • MR
    执行引擎组件

  • Tez
    执行引擎组件,省略shuffle过程
    Tez avoids disk IO by avoiding expensive shuffle and shorts while leveraging more efficient map side joins. Tez also utilizes a costbased optimizer, which helps produce faster execution plans. Combine this with the ORC file format geared
    toward SQL performance and you have a query engine performing up to 100x faster than native MapReduce–

  • Hive-on-Spark

  • Storage: Hadoop
    基于hdfs文件存储http://www.0398hfyy.com

“hive组件构架是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI