ceph安装
来源：原创
时间：2019-04-05
作者：脚本小站
分类：云原生
环境准备
准备三个节点，每个节点两个磁盘，DNS，免密登陆，ntp。
如果安装失败可使用如下的命令将已有的配置擦除然后从头安装：
ceph-deploy purge ceph0{1,2,3}
ceph-deploy purgedata ceph0{1,2,3}
ceph-deploy forgetkeys配置DNS：
cat >> /etc/hosts <<EOF 192.168.1.159 ceph01 192.168.1.160 ceph02 192.168.1.161 ceph03 EOF
配置免秘钥：
ssh-keygen ssh-copy-id root@ceph01 ssh-copy-id root@ceph02 ssh-copy-id root@ceph03
开始安装
配置ceph yum源：
cat > /etc/yum.repos.d/ceph.repo <<EOF [ceph] name=Ceph packages baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/ enabled=1 gpgcheck=1 priority=1 type=rpm-md gpgkey=http://mirrors.163.com/ceph/keys/release.asc [ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/ enabled=1 gpgcheck=1 priority=1 type=rpm-md gpgkey=http://mirrors.163.com/ceph/keys/release.asc [ceph-source] name=Ceph source packages baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS/ enabled=0 gpgcheck=1 priority=1 type=rpm-md gpgkey=http://mirrors.163.com/ceph/keys/release.asc EOF
设置当前yum源 priority 选项所需的依赖包：使当前的 ceph yum 源的优先级高于其它的
yum -y install yum-plugin-priorities
安装ceph-deploy工具：在ceph01上执行
yum install ceph-deploy -y
安装yum源：
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
创建工作目录：后面的操作都要在这个目录进行
mkdir -p /data/ceph/deploy cd /data/ceph/deploy
安装ceph集群：
ceph-deploy install --no-adjust-repos ceph01 ceph02 ceph03
查看版本：
ceph -v
在 ceph01 上执行以下命令创建 MON 集群：
ceph-deploy new ceph01 ceph02 ceph03 ceph-deploy mon create ceph01 ceph02 ceph03 ceph-deploy mon create-initial
查看 MON 状态：
ceph mon_status
对磁盘进行 prepare 和 activate：
格式： ceph-deploy osd prepare {node-name}:{data-disk}[:{journal-disk}]
node-name：表示待创建 OSD 的目标 Ceph 节点
data-disk：表示 OSD 的数据盘
journal-disk：表示日志盘，它可以是一个单独的磁盘，后者 OSD 数据盘上的一个分区，或者一个 SSD 磁盘上的分区。
比如：ceph-deploy osd prepare osdserver1:sdb:/dev/ssd 表示在 osdserver1 上使用 sdb 磁盘做数据盘和 /dev/ssd 分区做日志分区来创建一个 OSD 守护进程。
在每个节点上创建目录和设置属主：
mkdir -pv /data/osd mkdir -pv /data/osd2 chown -R ceph:ceph /var/lib/ceph/osd chown -R ceph:ceph /data/osd chown -R ceph:ceph /data/osd2
执行 prepare 和 activate：
ceph-deploy --overwrite-conf osd prepare ceph01:/data/osd:/dev/sdb ceph02:/data/osd:/dev/sdb ceph03:/data/osd:/dev/sdb ceph-deploy --overwrite-conf osd activate ceph01:/data/osd:/dev/sdb ceph02:/data/osd:/dev/sdb ceph03:/data/osd:/dev/sdb ceph-deploy --overwrite-conf osd prepare ceph01:/data/osd2:/dev/sdc ceph02:/data/osd2:/dev/sdc ceph03:/data/osd2:/dev/sdc ceph-deploy --overwrite-conf osd activate ceph01:/data/osd2:/dev/sdc ceph02:/data/osd2:/dev/sdc ceph03:/data/osd2:/dev/sdc
将 Admin key 复制到其余各个节点，然后安装 MDS 集群
ceph-deploy admin ceph01 ceph02 ceph03 ceph-deploy mds create ceph01 ceph02
查看 MDS 集群，比如查看状态：
ceph mds stat
查看 OSD 状态：
ceph osd tree
查看集群状态：
ceph -s
挂载使用
创建存储：
ceph osd pool create cephfs_data 128
创建阿云数据存储：
ceph osd pool create cephfs_metadata 64
创建CephFS：
ceph fs new cephfs cephfs_metadata cephfs_data
查看CephFS：
ceph fs ls
查看key：
cat ceph.client.admin.keyring
创建挂载目录：
mkdir /mnt/mycephfs
挂载：
mount -t ceph 192.168.1.159:6789,192.168.1.160:6789,192.168.1.161:6789:/ /mnt/mycephfs/ -o name=admin,secret=AQCkEqdcDDmGFhAApsOL1tz/Iue8hjbAAbQ79g==
查看：
df -h
卸载：
umount /mnt/mycephfs/