CDH安装部署指南
一、初始化环境
在开始CDH(Cloudera Distribution of Hadoop)的安装之前,需要对所有节点进行一系列的初始化操作,以确保系统环境满足CDH的运行要求。
首先,需要关闭防火墙以避免可能的安全限制影响CDH组件之间的通信。可以通过以下命令来停止并禁用防火墙服务:
bash复制1systemctl stop firewalld.service
2systemctl disable firewalld.service
为了方便集群内部的节点互相识别和通信,需要在
/etc/hosts
文件中添加各个节点的IP地址和主机名映射。例如:bash复制1vi /etc/hosts
然后添加如下内容:
复制1234192.168.10.14 cdh1 192.168.10.15 cdh2 192.168.10.16 cdh3 192.168.10.17 cdh4
SELinux(Security-Enhanced Linux)是一种安全子系统,用于强制访问控制策略。在某些情况下,它可能会干扰CDH组件的正常工作,因此建议将其关闭。编辑
/etc/selinux/config
文件,将SELINUX
设置为disabled
:bash复制1vi /etc/selinux/config
修改后的内容如下:
复制12SELINUX=disabled setenforce 0
透明大页面(Transparent HugePages)可以提高内存的使用效率,但在某些情况下可能会导致性能问题。可以在
/etc/rc.local
文件中添加脚本来禁用它:bash复制1vim /etc/rc.local
添加以下内容:
bash复制123456if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi
Swappiness是Linux内核的一个参数,用于控制系统倾向于使用物理内存还是交换空间。将
/etc/sysctl.conf
文件中的vm.swappiness
设置为0,可以减少系统的交换行为:bash复制1vi /etc/sysctl.conf
添加或修改以下行:
复制1vm.swappiness = 0
然后应用更改:
bash复制1sysctl -p
二、配置节点之间免密登录
在主节点(CDH1)上生成SSH密钥,并将公钥复制到其他节点,以便实现节点间的免密登录。
CDH安装部署指南
在主节点上生成SSH密钥对:
bash复制1ssh-keygen -t rsa
将生成的公钥复制到其他节点:
bash复制1234ssh-copy-id cdh1 ssh-copy-id cdh2 ssh-copy-id cdh3 ssh-copy-id cdh4
三、文件准备部署
在所有节点上创建必要的目录,并上传所需的软件包,包括MySQL、JDK、CDH和CM。
在
/data/tools
目录下创建所需软件包的存放位置:bash复制1mkdir -p /data/tools
将软件包上传到
/data/tools
目录,并将它们复制到其他节点:bash复制12cd /data/tools scp -r tools cdh2:/data
安装Oracle JDK,并配置环境变量:
bash复制1rpm -ivh oracle-j2sdk1.8-1.8.0 update181-1.x86_64.rpm
在/etc/profile
文件中添加以下内容:
bash复制1vi /etc/profile
添加内容:
复制1234export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
应用更改:
bash复制1source /etc/profile
将MySQL JDBC驱动包拷贝到服务器上的指定位置:
bash复制12mkdir -p /usr/share/java cp mysql-connector-java-5.1.48.jar /usr/share/java/mysql-connector-java.jar
四、安装cloudera-manager-daemons
在所有节点上安装cloudera-manager-daemons,这是CDH集群管理器的核心组件。
查看并删除不必要的虚拟路由
如果存在如Docker或KVM等虚拟路由,可能需要删除它们。
使用阿里云源安装cloudera-manager-daemons
通过阿里云源安装cloudera-manager-daemons:
bash复制<365>然后,安装cloudera-manager-daemons:1wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
bash复制1yum install cloudera-manager-daemons
以上步骤为CDH安装部署的基础准备工作,完成后即可进行CDH集群的搭建和管理。
本文主题词:cdh安装配置,cdh安装包,cdh5.16.2安装,cdh安装kudu,cdh6.2安装,cdh安装hadoop教程,cdh安装教程,cdh客户端安装,cdh安装es,cdh安装spark教程