Xpanel 的集群创建-回档-扩展的示例

一、测试需要

• 创建好 cluster_mgr 和 node_mgr,包括准备好了的 hdfs。

过程：

1. 创建好 cluster_mgr 和 node_mgr 后使用元数据集群进行登录,首次登录强制修改密码。
2. 准备机器将创建集群的计算节点和储存节点指定清楚。
3. 根据实际业务情况创建集群。
4. 进行集群的全局备份。
5. 创建新的集群作为容器,恢复备份数据。
6. 集群的扩容

二、登录账号

1、第一次登录时,账号密码都为: super_dba ,输入 cluster_mgr 的 ip 和端口就可以进行登录了。

2、点击登录之后,跳转页面进行账号密码的修改,只有创建 cluster_mgr 后第一次登录需要修改密码**(密码必须由大小写字母,数字,特殊字符(不含空格)组成,且长度为8到12位)**。

三、新增计算机的计算和储存的类型

将需要部署的计算机资料填入,”机器类型”需要有”存储”,”计算”两种；之后创建集群需要进行选择。

点击旁边的”批量导入”可以上传一个 xls/xlsx 文件，且不超过5M。

下面是文件模板,可以在”批量导入”直接下载。

四、创建集群

进入”集群管理”-”集群列表”-”集群列表信息”-”新增”。

根据业务需求创建集群的大小。

最后成功提示创建成功。

在“集群展示”中可以清楚的查看到我们的一个计算节点和 shard 中包含的三个存储节点,之后增加的计算节点或者shard都会在此处显示。

在 47001 的计算节点中进行验证,创建一个表。

五、全局备份

对创建好的集群进行全局备份。

在”集群备份列表”中可以查看到集群备份的状态:done,结果信息:success,表示已经成功了。

六、集群的回档

创建一个新的集群 vito3 作为恢复备份的集群。(回档的集群中的 shard 需要对等,里面的存储节点可以不相等)

Vito3 的集群计算节点是 47003。

登录节点查看里面也是空的,没有任何的表。

将 vito 集群之前的备份在 vito3 集群中进行恢复。

点击回档进行恢复。

成功后,会出现”集群回档成功”的提示。

进入 vito3 集群在计算节点 47003 中查看,在集群 vito 中的表成功进行了回档。

七、扩容

7.1 目前创建了集群 test3,存在两个计算节点 47001 和 47004 和两个 shard 分别包含 3 个存储节点(副本数).

7.2 进入元数据上 kunlun_metadata_db 查看我们的 shard,

Select id,name from shards;

确定我们了 shard_1 的 id 是 5，shard_2 的 id 是7，方便我们存入表时更好存放到指定的 shard 上.

7.3 进入计算节点我们向 shard1，2中分别存放 t1,t2 表

drop table if exists t1,t2; 

create table t1(a int, b int) with(shard=5);

create table t2(a int, b int) with(shard=7);

create index on t1(a);

create index on t2(a);

-- 准备数据

insert into t1 select random()*100, generate_series(1,100) % 10;

insert into t2 select generate_series(1,100), random()*100;

 

explain select * from t1;

explain select * from t2;

7.4 XPanel 进入集群列表,集群列表信息中点击 ’’扩容’’ 查看 shard 中的情况,根据需要可进行扩容.刚才我们在 shard_1 中存在 t1 表(id=5),

7.4.1 勾选 t1 表,转至 shard_2 中.

点击提交之后,会再次提示选中的内容时候进行提交

确认之后,提示集群扩容成功

在计算节点中验证一下

都已经在 shard_2 中(id=7)，再次进入 xpanel 中扩容查看 shard_1 中已经没有数据,成功扩容到 shard2 上了

7.4.2 进行自动扩容操作

现在我们安装自动扩容的方式将 shard_2 中的表转移至 shard_1 中.

排列方式:可以进行选择’按热点排序’和按’数据量排序’

点击 ’自动扩容’,

将 shard_2 中的表按照热点排序扩容至 shard_1 中

点击 ’确认‘

集群扩容成功

进入计算节点验证

explain select * from t1;

explain select * from t2;

在 xpanel 扩容中查看 shard_1 中存在t1,t2表

END