文章

Cdh5.14.3安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
系统版本:centos 6.9

主机名要求:a-z,A-Z,0-9 和 - ,-不是下划线,如果主机名中含有 _ 会导致cloudera-scm-agent启动失败

主机名和ip在/etc/hosts 里正确配置。

所有机器禁用selinux、ipv6、关闭防火墙、时间同步一致、ssh互信、安装好jdk

sms-namenode1:10.99.8.237

sms-datanode1:10.99.8.122

sms-datanode2:10.99.8.137

先安装cm

在sms-namenode1上执行

mkdir /opt/cloudera-manager

mkdir -p /opt/cloudera/parcel-repo

下载 tar包,地址:http://archive.cloudera.com/cm5/cm/5/

下载parcels包,地址 https://archive.cloudera.com/cdh5/parcels/

parcels需要下载三个文件

https://archive.cloudera.com/cdh5/parcels/5.14.2.3/CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel --组件包

https://archive.cloudera.com/cdh5/parcels/5.14.2.3/CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1 --对应的sha值

https://archive.cloudera.com/cdh5/parcels/5.14.2.3/manifest.json --组件包对应关系

上述三个文件放至/opt/cloudera/parcel-repo,后面要用到

找到要下的版本,我们这里装5.14.3.选择 http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.3_x86_64.tar.gz

完成后解压至 /opt/cloudera-manager

tar xzf cloudera-manager-el6-cm5.14.3_x86_64.tar.gz -C /opt/cloudera-manager

创建用户,每个节点都需要

useradd --system --home=/opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

配置 cloudera-scm-agent 的config.ini

修改

/opt/cloudera-manager/cm-5.14.3/etc/cloudera-scm-agent/config.ini

主要修改 server_host=sms-namenode1

这里元数据库选择mysql,需要上传mysql jdbc驱动至/opt/cloudera-manager/cm-5.14.3/share/cmf/lib/ 下

我这里mysql是5.1的版本,选择jdbc驱动

mysql-connector-java-5.1.40-bin.jar

把相关目录权限给cloudera-scm

chown cloudera-scm.cloudera-scm -R /opt/cloudera-manager

chown cloudera-scm.cloudera-scm -R /opt/cloudera/parcel-repo

然后复制文件到其他节点

cd /opt

rsync -azq cloudera* datanode1:/opt/

rsync -azq cloudera* datanode2:/opt/

在sms-namenode1上装好mysql root 密码123456

执行

/opt/cloudera-manager/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p123456 scm scm scm

完成后启动server

/opt/cloudera-manager/cm-5.14.3/etc/init.d/cloudera-scm-server start

第一次启动比较慢,需要创建表,初始化一些数据

看下监听端口 7180 和 7182 如果有,继续下一步

/opt/cloudera-manager/cm-5.14.3/etc/init.d/cloudera-scm-agent start

成功后打开浏览器

http://10.99.1.3:7180,会出现登陆页面

默认用户名 admin 密码 admin

然后按照向导执行安装 xx 必须同意,否则没得玩,点继续 免费版本即可 下一步继续,有兴趣的可以看看,都是一些提示 为 CDH 群集安装指定主机,输入三个机器的hostname,我们这里已经在各个节点上打通并启动了agent,所以直接点后面的当前管理的主机 然后就是分配包,进行安装,下面就是一路按照要求来操作即可,选择角色启动的时候有时候会报错,根据报错日志进行解决即可。

本文由作者按照 CC BY 4.0 进行授权