CephOSD磁盘更换的三种方法（数据发生迁移的时间不同）

更换方式1：

    1到指定节点上，停止指定的osd进程 systemctl stop ceph-osd@id

    2 将移除OSD节点状态标记为  ceph osd out ceph-osd@id

    3从crush中移除OsD节点，该节点不作为数据的载体 ceph osd crush remove id

    4 删除OSD节点和对应的认证信息 ceph osd rm id /ceph auth del id

    5 增加一个新的 OSD(zap擦除磁盘数据，create 创建磁盘)

    注意：1、2、3、4、5 这几步都会发生数据迁移的动作
    
如果是原始磁盘占用，无法格式化删除，使用下面的命令
查看磁盘的当前状态：dmsetup status
查看磁盘的唯一标识：cat /var/lib/ceph/osd/ceph-1/fsid  
清理磁盘的占用：dmsetup remove ceph-1的id 
格式化磁盘（新的磁盘不用）：mkfs.ext4 /dev/sdc

更换方式2:
1 修改osd的数据操作权重值，让数据不分布在这个节点上
2 到指定节点上，停止指定的osd进程
3 将移除OSD节点状态标记为out
4 从crush中移除OSD节点，该节点不作为数据的载体  # 可以通过两次 ceph pg dump pgs > file.txt 查看两次pg的变化，然后通过 diff命令比对
5 删除OSD节点和对应的认证信息
6 增加一个新的 OSD

注意：1、5、6这几步会发生数据迁移动作

更换方式3:
# 最主要的就是设置标记和清除标记中间这段操作当中，只是看到一个数据迁移的现象，但是并未发生真正的数据迁移
1 对ceph集群的osd设置禁止数据迁移的标记
2 修改osd的数据操作权重值，让数据不分布在这个节点上
3 到指定节点上，停止指定的osd进程
4 从crush中移除osD节点，该节点不作为数据的载体
5 删除OSD节点和对应的认证信息
6 增加一个新的OSD与样式2一致
7 移除ceph集群的osd禁止数据迁移标记集

注意：因为添加了标记，所以1-6这几步的数据迁移都不会执行，只有7这一步会发生数据迁移动作。