阶段三：项目开发---大数据开发运行环境搭建:任务6：安装配置HBase

任务描述

知识点：安装配置HBase

重  点： 安装配置HBase

难  点：无

内  容：   

本阶段任务是安装配置HBase，实时飞行数据是保存在HBase中的，因为HBase具有高效的读写能力，在当前项目中我们是将准备好的实时飞行数据导入到HBase中的，在实际项目中飞行数据则是实时写入HBase的。

任务指导

HBase集群需要整个集群所有节点安装的HBase版本保持一致，并且拥有相同的配置，具体配置步骤如下：

1. 解压缩HBase的压缩包

2. 配置HBase的环境变量

3. 修改HBase的配置文件，HBase的配置文件存放在HBase安装目录下的conf中

4. 首先在一台节点对整个HBase集群进行配置，再将此节点的配置发送到集群的其它节点上。

5. 具体需要修改的HBase的配置文件包括 hbase-site.xml、hbase-env.sh、regionservers、backup-masters

任务实现

1、HBase版本选择

  • 从官方网站 https://archive.apache.org/dist/hbase/  （注意，官方网站在国内可能无法访问），下载一个HBase的稳定发布版本

2、安装HBase（在node1上安装配置HBase，然后再使用【scp】命令分发到其他节点）

  • 项目中使用的HBase安装包，已经存放在/opt/software目录下，直接解压使用即可：
[root@node1 ~]# tar -xzf /opt/software/hbase.tar.gz -C /opt/module/
  • 通过【vi】命令编辑/etc/profile文件
[root@node1 ~]# vi /etc/profile
  • 设置HBase环境变量，在/etc/profile 文件的末尾添加如下内容：
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

  • 使用【scp】将环境变量分发至其它节点
[root@node1 ~]# scp -rq /etc/profile node2:/etc/
[root@node1 ~]# scp -rq /etc/profile node3:/etc/
部分参数说明：
-p：保留原文件的修改时间，访问时间和访问权限。
-q： 不显示传输进度条。
-r： 递归复制整个目录。
所以，如果使用scp命令只复制单个文件，可以不添加-rq参数。
  • 使用【source】命令，使配置文件生效
[root@node1 ~]# source  /etc/profile

3、配置HBase

  • 配置hbase-env.sh文件
[root@node1 ~]# cd $HBASE_HOME/conf
[root@node1 ~]# vi hbase-env.sh

在文件末尾添加如下配置：

export JAVA_HOME=/opt/module/jdk1.8.0_301/
export HBASE_MANAGES_ZK=false

  • 配置 hbase-site.xml文件，该文件存放在$HBASE_HOME/conf目录下
[root@node1 conf]# vi hbase-site.xml

在<configuration>和</configuration>之间配置内容如下：

<property>
	<name>hbase.rootdir</name>
	<value>hdfs://node1:9000/hbase</value>
</property>
<property>
	<name>hbase.unsafe.stream.capability.enforce</name>
	<value>false</value>
</property>
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>
<property>
	<name>hbase.zookeeper.quorum</name>
	<value>node1:2181,node2:2181,node3:2181</value>
</property>

配置完成后完整内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
 *
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
-->
<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://node1:9000/hbase</value>
	</property>
	<property>
		<name>hbase.unsafe.stream.capability.enforce</name>
		<value>false</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>node1:2181,node2:2181,node3:2181</value>
	</property>
</configuration>
  • 配置regionservers文件
[root@node1 conf]# vi regionservers

配置内容如下：

node1
node2
node3
  • 将Hadoop的配置文件拷贝到HBase的conf目录
[root@node1 conf]# cp $HADOOP_HOME/etc/hadoop/core-site.xml $HBASE_HOME/conf/
[root@node1 conf]# cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf/
  • 将node1的HBase分发至整个集群的其他节点：
[root@node1 ~]# cd /opt/module/
[root@node1 module]# scp -rq hbase node2:/opt/module/
[root@node1 module]# scp -rq hbase node3:/opt/module/

4、启动集群并测试

  • 在node1上启动HBase集群并，并在client节点上通过浏览器访问 http://node1:16010 查看HBase的Web监控页面
[root@node1 ~]# start-hbase.sh

  • 新建一个名为test的表，使其只包含一个名为data的列，表和列族属性都为默认值
[root@node1 ~]# hbase shell
hbase(main):001:0> create 'test','data'
0 row(s) in 0.4150 seconds

  • 通过键入help查看帮助命令，运行list查看新建的表是否存在
hbase(main):003:0> list
TABLE
test
1 row(s) in 0.0230 seconds

  • 在列族data中二个不同的行和列上插入数据，然后列出表内容
hbase(main):004:0> put 'test','row1','data:1','values1'
0 row(s) in 0.1280 seconds
hbase(main):005:0> put 'test','row2','data:2','values2'
0 row(s) in 0.0090 seconds
hbase(main):006:0> scan 'test'
ROW COLUMN+CELL
row1 column=data:1, timestamp=1473585137461, value=values1
row2 column=data:2, timestamp=1473585158072, value=values2
2 row(s) in 0.0200 seconds
  • 删除刚创建的表test，需要先设为禁用，然后删除，不设置会报错：
hbase(main):008:0> drop 'test'
ERROR: Table test is enabled. Disable it first.
hbase(main):009:0> disable 'test'
0 row(s) in 1.1800 seconds
hbase(main):010:0> drop 'test'
0 row(s) in 0.1570 seconds

  • 查看一下，是否删除成功

  • 输入【quit】命令，即可退出Base Shell命令行模式
hbase(main):007:0> quit()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/780157.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

hive表小练习

hive表小练习

-- 将对应的命令写在每个步骤中 -- 1.在hive中创建数据库school create database if not exists school; -- 2.在数据库school中创建如下的表 每张表的列分隔符都是, 存储格式是textfile 创建表名为student_info, 字段为stu_id 类型为string,注释为学生id 字段为stu_name 类…
阅读更多...
Python酷库之旅-第三方库Pandas(008)

Python酷库之旅-第三方库Pandas(008)

目录 一、用法精讲 16、pandas.DataFrame.to_json函数 16-1、语法 16-2、参数 16-3、功能 16-4、返回值 16-5、说明 16-6、用法 16-6-1、数据准备 16-6-2、代码示例 16-6-3、结果输出 17、pandas.read_html函数 17-1、语法 17-2、参数 17-3、功能 17-4、返回值…
阅读更多...
element-ui输入框如何实现回显的多选样式？

element-ui输入框如何实现回显的多选样式？

废话不多说直接上效果&#x1f9d0; 效果图 <template><div><el-form:model"params"ref"queryForm"size"small":inline"true"label-width"68px"><el-form-item label"标签" prop"tag&q…
阅读更多...
SSM高校教师教学质量评估系统-计算机毕业设计源码03344

SSM高校教师教学质量评估系统-计算机毕业设计源码03344

摘要 在高等教育中&#xff0c;教学质量是培养优秀人才的关键。为了提高教学质量&#xff0c;高校需要建立一套科学、有效的教师教学质量评估系统。本研究采用 SSM技术框架&#xff0c;旨在开发一款高校教师教学质量评估系统。 SSM框架作为一种成熟的Java开发框架&#xff0c;具…
阅读更多...
软件测试《用例篇》

软件测试《用例篇》

测试用例 测试用例的概念 测试用例是被测试人员向被测试系统发起的一组集合&#xff0c;包括测试环境&#xff0c;操作步骤&#xff0c;预期结果&#xff0c;测试数据等 使用测试用例的好处 使用测试用例进行测试的好处主要有&#xff1a;提高测试效率&#xff0c;降低测试的重…
阅读更多...
NextJs - SSR渲染解决antd首屏加载CSS样式的闪烁问题

NextJs - SSR渲染解决antd首屏加载CSS样式的闪烁问题

NextJs - SSR渲染解决antd首屏加载CSS样式的闪烁问题 闪烁现状解决方案 闪烁现状 我们写一个非常简单的页面&#xff1a; import { Button } from antdexport default async function Page() {return <><Button typeprimary>AAA</Button></> }NextJs…
阅读更多...
[答疑]EA中SysML块定义图的引用关联怎样在references分栏中出现

[答疑]EA中SysML块定义图的引用关联怎样在references分栏中出现

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 例如&#xff0c;用EA在BDD&#xff08;块定义图&#xff09;上画了一个关联&#xff1a; 此时&#xff0c;“手机”和“SIM卡”中都没有出现references栏。 右击“手机”&#xff0c…
阅读更多...
Pytorch 实践手写数字识别深度学习网络 LeNet-5

Pytorch 实践手写数字识别深度学习网络 LeNet-5

Pytorch 实践手写数字识别深度学习网络 LeNet-5 文章目录 Pytorch 实践手写数字识别深度学习网络 LeNet-5认识 LeNet-5认识数据集处理数据集下载数据集读取数据定义Dataset的继承类把数据进行载入载入dataloader 编写网络编写训练与测试代码实践结果展示完整代码 训练手写体识别…
阅读更多...
#数据结构 笔记一

#数据结构 笔记一

数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。数据结构是带有结构特性的数据元素的集合&#xff0c;它研究的是数据的逻辑结构和物理结构以及它们之间的相互关系&#xff0c;并对这种结构定义相适应的运算&#xff0…
阅读更多...
微软正在放弃React

微软正在放弃React

最近&#xff0c;微软Edge团队撰写了一篇文章&#xff0c;介绍了微软团队如何努力提升Edge浏览器的性能。但在文中&#xff0c;微软对React提出了批评&#xff0c;并宣布他们将不再在Edge浏览器的开发中使用React。 我将详细解析他们的整篇文章内容&#xff0c;探讨这一决定对…
阅读更多...
Java对象通用比对工具

Java对象通用比对工具

目录 背景 思路 实现 背景 前段时间的任务中&#xff0c;遇到了需要识别两个对象不同属性的场景&#xff0c;如果使用传统的一个个属性比对equals方法&#xff0c;会存在大量的重复工作&#xff0c;而且为对象新增了属性后&#xff0c;比对方法也需要同步修改&#xff0c;不方…
阅读更多...
微软拼音输入法不显示选字框问题

微软拼音输入法不显示选字框问题

问题展示&#xff1a;不显示选字框 解决方式 打开兼容性即可&#xff08;估计是升级带来的bug&#xff09;
阅读更多...
STM32 - 内存分区与OTA

STM32 - 内存分区与OTA

最近搞MCU&#xff0c;发现它与SOC之间存在诸多差异&#xff0c;不能沿用SOC上一些技术理论。本文以STM L4为例&#xff0c;总结了一些STM32 小白入门指南。 标题MCU没有DDR&#xff1f; 是的。MCU并没有DDR&#xff0c;而是让代码存储在nor flash上&#xff0c;临时变量和栈…
阅读更多...
LeetCode题练习与总结：直线上最多的点数--149

LeetCode题练习与总结：直线上最多的点数--149

一、题目描述 给你一个数组 points &#xff0c;其中 points[i] [xi, yi] 表示 X-Y 平面上的一个点。求最多有多少个点在同一条直线上。 示例 1&#xff1a; 输入&#xff1a;points [[1,1],[2,2],[3,3]] 输出&#xff1a;3示例 2&#xff1a; 输入&#xff1a;points [[1,…
阅读更多...
水箱高低水位浮球液位开关

水箱高低水位浮球液位开关

水箱高低水位浮球液位开关概述 水箱高低水位浮球液位开关是一种用于监测和控制水箱中液位的自动化设备&#xff0c;它能够在水箱液位达到预设的高低限制时&#xff0c;输出开关信号&#xff0c;以控制水泵或电磁阀的开闭&#xff0c;从而维持水箱液位在一个安全的范围内。这类设…
阅读更多...
STM32快速复习(八)SPI通信

STM32快速复习(八)SPI通信

文章目录 前言一、SPI是什么&#xff1f;SPI的硬件电路&#xff1f;SPI发送的时序&#xff1f;二、库函数二、库函数示例代码总结 前言 SPI和IIC通信算是我在大学和面试中用的最多&#xff0c;问的最多的通信协议 IIC问到了&#xff0c;一般SPI也一定会问到。 SPI相对于IIC多了…
阅读更多...
3.js - 模板渲染 - 简单

3.js - 模板渲染 - 简单

3.js 真tm枯燥啊&#xff0c;狗都不学 效果图 源码 // ts-nocheck// 引入three.js import * as THREE from three// 导入轨道控制器 import { OrbitControls } from three/examples/jsm/controls/OrbitControls// 导入lil.gui import { GUI } from three/examples/jsm/libs/li…
阅读更多...
【数据结构】09.树与二叉树

【数据结构】09.树与二叉树

一、树的概念与结构 1.1 树的概念 树是一种非线性的数据结构&#xff0c;它是由n&#xff08;n>0&#xff09;个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树&#xff0c;也就是说它是根朝上&#xff0c;而叶朝下的。 根结点&#xff1a;根…
阅读更多...
webGL可用的14种3D文件格式，但要具体问题具体分析。

webGL可用的14种3D文件格式，但要具体问题具体分析。

hello&#xff0c;我威斯数据&#xff0c;你在网上看到的各种炫酷的3d交互效果&#xff0c;背后都必须有三维文件支撑&#xff0c;就好比你网页的时候&#xff0c;得有设计稿源文件一样。WebGL是一种基于OpenGL ES 2.0标准的3D图形库&#xff0c;可以在网页上实现硬件加速的3D图…
阅读更多...
阶段三：项目开发---大数据开发运行环境搭建:任务2：安装配置ZooKeeper

阶段三：项目开发---大数据开发运行环境搭建:任务2：安装配置ZooKeeper

任务描述 知识点&#xff1a;安装配置ZooKeeper 重 点&#xff1a; 安装配置ZooKeeper 难 点&#xff1a;无 内 容&#xff1a; ZooKeeper是一个开源分布式协调服务&#xff0c;其独特的Leader-Follower集群结构&#xff0c;很好的解决了分布式单点问题。目前主要用于诸…
阅读更多...
最新文章

Copyright @ 2022~2023