CDH安装部署指南

一、初始化环境
在开始CDH(Cloudera Distribution of Hadoop)的安装之前,需要对所有节点进行一系列的初始化操作,以确保系统环境满足CDH的运行要求

  • 关闭防火墙
    首先,需要关闭防火墙以避免可能的安全限制影响CDH组件之间的通信可以通过以下命令来停止并禁用防火墙服务:
  • bash复制
    1systemctl stop firewalld.service
    2systemctl disable firewalld.service
  • 配置主机名称映射
    为了方便集群内部的节点互相识别和通信,需要在/etc/hosts文件中添加各个节点的IP地址和主机名映射例如:
  • bash复制
    1vi /etc/hosts

    然后添加如下内容:

    复制
    1234192.168.10.14 cdh1
    192.168.10.15 cdh2
    192.168.10.16 cdh3
    192.168.10.17 cdh4
  • 关闭SELinux
    SELinux(Security-Enhanced Linux)是一种安全子系统,用于强制访问控制策略在某些情况下,它可能会干扰CDH组件的正常工作,因此建议将其关闭编辑/etc/selinux/config文件,将SELINUX设置为disabled
  • bash复制
    1vi /etc/selinux/config

    修改后的内容如下:

    复制
    12SELINUX=disabled
    setenforce 0
  • 禁用透明大页面
    透明大页面(Transparent HugePages)可以提高内存的使用效率,但在某些情况下可能会导致性能问题可以在/etc/rc.local文件中添加脚本来禁用它:
  • bash复制
    1vim /etc/rc.local

    添加以下内容:

    bash复制
    123456if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
        echo never > /sys/kernel/mm/transparent_hugepage/enabled
    fi
    if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
        echo never > /sys/kernel/mm/transparent_hugepage/defrag
    fi
  • 修改Linux swappiness
    Swappiness是Linux内核的一个参数,用于控制系统倾向于使用物理内存还是交换空间/etc/sysctl.conf文件中的vm.swappiness设置为0,可以减少系统的交换行为:
  • bash复制
    1vi /etc/sysctl.conf

    添加或修改以下行:

    复制
    1vm.swappiness = 0

    然后应用更改:

    bash复制
    1sysctl -p

    二、配置节点之间免密登录
    在主节点(CDH1)上生成SSH密钥,并将公钥复制到其他节点,以便实现节点间的免密登录

    CDH安装部署指南

    CDH安装部署指南

  • 生成SSH密钥
    在主节点上生成SSH密钥对:
  • bash复制
    1ssh-keygen -t rsa
  • 复制公钥到其他节点
    将生成的公钥复制到其他节点:
  • bash复制
    1234ssh-copy-id cdh1
    ssh-copy-id cdh2
    ssh-copy-id cdh3
    ssh-copy-id cdh4

    三、文件准备部署
    在所有节点上创建必要的目录,并上传所需的软件包,包括MySQL、JDK、CDH和CM

  • 创建目录
    /data/tools目录下创建所需软件包的存放位置:
  • bash复制
    1mkdir -p /data/tools
  • 上传和拷贝文件
    将软件包上传到/data/tools目录,并将它们复制到其他节点:
  • bash复制
    12cd /data/tools
    scp -r tools cdh2:/data
  • 安装JDK
    安装Oracle JDK,并配置环境变量:
  • bash复制
    1rpm -ivh oracle-j2sdk1.8-1.8.0 update181-1.x86_64.rpm

    /etc/profile文件中添加以下内容:

    bash复制
    1vi /etc/profile

    添加内容:

    复制
    1234export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    应用更改:

    bash复制
    1source /etc/profile
  • 拷贝JDBC驱动包
    将MySQL JDBC驱动包拷贝到服务器上的指定位置:
  • bash复制
    12mkdir -p /usr/share/java
    cp mysql-connector-java-5.1.48.jar /usr/share/java/mysql-connector-java.jar

    四、安装cloudera-manager-daemons
    在所有节点上安装cloudera-manager-daemons,这是CDH集群管理器的核心组件

  • 查看并删除不必要的虚拟路由
    如果存在如Docker或KVM等虚拟路由,可能需要删除它们

  • 使用阿里云源安装cloudera-manager-daemons
    通过阿里云源安装cloudera-manager-daemons:

    bash复制
    1wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    <365>然后,安装cloudera-manager-daemons:

    bash复制
    1yum install cloudera-manager-daemons

    以上步骤为CDH安装部署的基础准备工作,完成后即可进行CDH集群的搭建和管理

    本文主题词:

    cdh安装配置,cdh安装包,cdh5.16.2安装,cdh安装kudu,cdh6.2安装,cdh安装hadoop教程,cdh安装教程,cdh客户端安装,cdh安装es,cdh安装spark教程

    点赞(53) 打赏

    微信小程序

    微信扫一扫体验

    立即
    投稿

    微信公众账号

    微信扫一扫加关注

    发表
    评论
    返回
    顶部