视频教程

Hbase视频

主讲:君临天下
类型:Hbase
适合对象:有java基础

360云盘提取码:579e
 Hbase之phonenix篇

• Hbase的数据模型
• 安装hbase
• 安装phonenix
• Phonenix使用
• Phonenix客户端使用
• Hadoop生态系统

• HBase简介
– HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库

– 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务

– 主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库)

• HBase数据模型
 
– Column Family列族 & qualifier列

– HBase表中的每个列都归属于某个列族,列族必须作为表模式(schema)定义的一部分预先给出。如 create ‘test’, ‘course’;

– 列名以列族作为前缀,每个“列族”都可以有多个列成员(column);如course:math,course:english, 新的列族成员(列)可以随后按需、动态加入;

– 权限控制、存储以及调优都是在列族层面进行的;

– HBase把同一列族里面的数据存储在同一目录下,由几个文件保存。

– Timestamp时间戳

– 在HBase每个cell存储单元对同一份数据有多个版本,根据唯一的时间戳来区分每个版本之间的差异,不同版本的数据按照时间倒序排序,最新的数据版本排在最前面。

– 时间戳的类型是 64位整型。

– 时间戳可以由HBase(在数据写入时自动)赋值,此时时间戳是精确到毫秒的当前系统时间。

– 时间戳也可以由客户显式赋值,如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。
 
• HBase数据模型

– Cell单元格
– 由行和列的坐标交叉决定;
– 单元格是有版本的;
– 单元格的内容是未解析的字节数组;

• 由{row key, column( = +), version} 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。

• HBase数据模型
– ROW KEY
– 决定一行数据
– 按照字典顺序排序的。
– Row key只能存储64k的字节数据

• Hbase安装
– 本地模式安装(略)
– 完全分布式安装:

• 可用的zookeeper集群

• 可用的hdfs集群

• 配置regionservers ,主机名

• 配置backup-masters

• 配置hbase-env.sh
– 配置JAVA_HOME
– 配置HBASE_MANAGERS_ZK=false

• 配置hbase-site.xml
– Hbase.rootdir
– Zookeeper集群主机
– 启用hbase集群:true

• 启动hbase

• 配置环境变量
– export HBASE_HOME=/opt/sxt/soft/hbase-1.1.2
– export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
– export PATH=$PATH:$HBASE_HOME/bin

• 配置hbase-site.xml
 
• Hbase的sql查询引擎

• Hive,Tez,Impala,Shark/Spark,Phoenix

• Phonenix
– Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒
 



分享:0
上一篇:scala视频教程
下一篇:hive视频

微信服务号

微信服务号

400-009-1906

客服热线(服务时间:9:00-22:00)

Copyright 2007-2016 云数学院(北京)科技有限公司 京ICP备13018289号-1 京公网安备11010802015183
学校地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂
在线
客服

400-009-1906

客服热线服务时间

周一至周五 9:00-21:00

周六至周日 9:00-18:00

QQ
咨询
关注
微信

微信扫一扫

有位老师想和您聊一聊