现在的位置: 首页 > 大数据 > hadoop > 正文
Hadoop部署用到的几个简单脚本
2014年06月10日 hadoop, 大数据 ⁄ 共 1622字 Hadoop部署用到的几个简单脚本已关闭评论 ⁄ 被围观 9,241 views+

在部署hadoop中,不管是用传统模式手工部署还是采用ambari自动部署,都需要用到ssh-key方式实现免密码的登录,下面这几个脚本可以实现生成、拷贝key、拷贝hosts文件等功能。具体如下:

1、生成ssh-key脚本

#!/bin/sh

## create ssh-key

## by Barlow

## 2014-06-06

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

ssh-keygen一般来说需要输入passphrase,但是一般都是三个回车过去了,为避免输入者三个回车键,加上-P ''选项即可。

2、添加公钥到从节点的脚本

#!/bin/bash
## copy ssh-key to slave host
## by Barlow
## 2014-06-06
while :;do 
        read -p "输入远端服务器IP,如果输入\033[32;49;1m qiut \033[39;49;0m脚本将退出: " IP
        if [ $IP = quit ];then
              echo "脚本退出..." 
              exit
        else
              ssh-copy-id -o StrictHostKeyChecking=no -i ~/.ssh/id_rsa.pub root@$IP
              #注意,这里是copy key到root用户下,如果是其他用户,建议将用户定义为变量引用 
              ssh root@$IP 'sed -i "s/^#RSAAuthentication\ yes/RSAAuthentication\ yes/g" /etc/ssh/sshd_config'
              ssh root@$IP 'sed -i "s/^#PubkeyAuthentication\ yes/PubkeyAuthentication yes/g" /etc/ssh/sshd_config'
              ssh root@$IP 'sed -i "s/^#PermitRootLogin\ yes/PermitRootLogin\ yes/g" /etc/ssh/sshd_config'
              ssh root@$IP 'service sshd restart'
              hostname=`ssh root@${ip} 'hostname'`
              echo "添加主机名和IP到本地/etc/hosts文件中"
              echo "$IP    $hostname" >> /etc/hosts
              echo "远端主机主机名称为$hostname, 请查看 /etc/hosts 确保该主机名和IP添加到主机列表文件中"
              echo "主机公钥复制完成"
        fi
done

PS:这个脚本我没有做输入错误的判断,因为脚本仅限于自己使用且知道不会输入错误,如果是要通用,还需做更明显的提示和错误判断。我就不折腾了!

3、脚本读取主机列表然后把/etc/hosts复制到所有主机

#!/bin/sh

## copy /etc/hosts to slave host

## by Barlow

## 2014-06-06

cat /etc/hosts | while read LINE

do

ip=`echo $LINE | awk '{print $1}' | grep -v "::" | grep -v "127.0.0.1"`

#这种方式必须要先完成脚本2,否则不能从hosts中读取IP

echo "Copying /etc/hosts to ${ip}..."

scp -o StrictHostKeyChecking=no /etc/hosts root@${ip}:/etc/

done

抱歉!评论已关闭.

×