Ceph. Установка на одной ноде без репликации
Содержание
Подготовка системы
Обновление пакетов:
yum -y update
Синхронизация времени
Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего.
yum -y install ntp python2-pip.noarch systemctl enable ntpd systemctl start ntpd
Задаем временную зону:
cp /usr/share/zoneinfo/Asia/Novosibirsk /etc/localtime
Настройки файрвола
Отключаем firewalld и SELinux
systemctl stop firewalld systemctl disable firewalld mcedit /etc/selinux/config SELINUX=disabled
Имя хоста должно совпадать с доменным именем
hostnamectl set-hostname ceph-kube/ceph-deployer
Устанавливаем необходимые пакеты
yum -y install epel-release yum -y install mc net-tools htop
Создание пользователя и доступа по ключу
Создаем пользователя ceph на всех нодах кластера
useradd ceph -m passwd ceph
У созданной учетной записи должны быть привилегии суперпользователя. Для этого добавляем в файл /etc/sudoers.d/ceph:
ceph ALL = (root) NOPASSWD:ALL Defaults:ceph !requiretty
Задаем следующие права:
chmod 0440 /etc/sudoers.d/ceph
Заходим в систему под учетной записью ceph:
su - ceph
Генерируем ключ следующей командой и копируем на ноды будущего кластера:
ssh-keygen ssh-copy-id ceph@ceph-kube
Подготовка ceph-deploy
Настраиваем репозиторий
sudo rpm --import 'https://download.ceph.com/keys/release.asc'
Файл /etc/yum.repos.d/ceph.repo приводим к виду:
[ceph] name=Ceph packages for $basearch baseurl=https://download.ceph.com/rpm-nautilus/el7/$basearch enabled=1 priority=2 gpgcheck=1 gpgkey=https://download.ceph.com/keys/release.asc [ceph-noarch] name=Ceph noarch packages baseurl=https://download.ceph.com/rpm-nautilus/el7//noarch enabled=1 priority=2 gpgcheck=1 gpgkey=https://download.ceph.com/keys/release.asc [ceph-source] name=Ceph source packages baseurl=https://download.ceph.com/rpm-nautilus/el7/SRPMS enabled=0 priority=2 gpgcheck=1 gpgkey=https://download.ceph.com/keys/release.asc
Устанавливаем ceph-deploy
yum -y install ceph-deploy
Создаем папку, в которой будут храниться логи, конфиги деплоя и прочее
mkdir ceph-cluster cd ceph-cluster
Создаем файлы конфигурации командой
ceph-deploy new ceph-kube
В результате в директории ceph-cluster появится файл ceph.conf, в который необходимо добавить параметры кластера, отличающиеся от дефолтных. В частности ниже пример ceph.conf для одной ноды без репликации
[global] fsid = 9564dca4-b183-43bb-8469-f74e33537580 mon_initial_members = ceph-kube mon_host = 192.168.10.171 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx osd_pool_default_size = 1 osd_pool_default_min_size = 1 osd_pool_default_pgp_num = 128 osd_pool_default_pg_num = 128
Деплой кластера
Устанавливаем необходимые пакеты на ноды
ceph-deploy install --release nautilus ceph-kube
Деплой мониторов (указанных в ceph.conf)и сбор ключей кластера
ceph-deploy mon create-initial
Копирование конфигурационных файлов и ключа администратора ceph на ноды:
ceph-deploy admin ceph-kube
Деплой демона MGR (обязателен для версий luminous и выше)
ceph-deploy mgr create ceph-kube
Деплой демонов метаданных
ceph-deploy mds create ceph-kube
На этом этапе уже можно проверить статус кластера:
ceph status
Создание OSD
Следующей командой можно получить список дисков на ноде
ceph-deploy disk list ceph-kube
Деплой OSD на ноду:
ceph-deploy osd create --data /dev/sdb ceph-kube
Установка дашборда
yum -y install ceph-mgr-dashboard ceph mgr module enable dashboard ceph dashboard create-self-signed-cert ceph dashboard ac-user-create <username> <password> administrator
Дашборд будет доступен по адресу https://ceph-kube:8443
Создание RBD
Команды выполняем на любой ноде кластера. Создаем пул:
ceph osd pool create kube 32 erasure
Теперь создадим пользователя, дадим ему права на доступ к пулу и сохраним ключ доступа в файл
ceph auth get-or-create client.user mon 'allow r, allow command "osd blacklist"' osd 'allow rwx pool=kube' | tee /etc/ceph/ceph.client.user.keyring
Создадим диск в пуле:
rbd create disk1 --size 2G --pool kube
Подключение RBD
На клиенте устанавливаем необходимые пакеты
yum -y install centos-release-ceph-nautilus yum -y install ceph-common
Создадим файл конфигурации. В котором укажем IP адреса серверов. На которых запущен демон MON
cat << EOF >/etc/ceph/ceph.conf mon host = 192.168.100.233 EOF
Убедитесь, что на сервере master-1.s000002 есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод
cat /etc/ceph/ceph.client.user.keyring
Теперь попробуем map'ить диск на сервере (подключить как блочное устройство)
rbd map disk1 --pool kube --id user
Вы должны получить сообщение о том, что набор возможностей образа RBD не поддерживается ядром и надо отключить часть feature.
rbd: sysfs write failed RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable kube/disk1 object-map fast-diff deep-flatten".
Вводим команду из сообщения, чтобы отключить не поддерживаемые feature.
rbd feature disable kube/disk1 object-map fast-diff deep-flatten --id user
И map'им диск снова, создаем файловую систему и монтируем
rbd map disk1 --pool kube --id user mkfs.xfs /dev/rbd0 mkdir -p /mnt/disk1 mount /dev/rbd/kube/disk1 /mnt/disk1
Автомонтирование RBD
Внесите в файл /etc/ceph/rbdmap информацию о блочных устройствах, которые надо подключать при загрузке.
echo "kube/disk1 id=user,keyring=/etc/ceph/ceph.client.user.keyring" >> /etc/ceph/rbdmap
Включаем автозапуск скрипта rbdmap.
systemctl enable rbdmap systemctl start rbdmap
Добавляем монтирование файловой системы блочного устройства в /etc/fstab.
echo "/dev/rbd/kube/disk1 /mnt/disk1 ext4 noauto,noatime 0 0" >>/etc/fstab
Перезагрузите сервер, введите команду mount или df и убедитесь, что смонтирован только disk1 из пула kube.
Изменение размера RBD диска
Изменяем размер RBD выполнив команду на любой из нод кластера
bd resize disk1 --size 6G --pool kube
С ноды, куда примонтирован диск производим расширение файловой системы:
dmesg | grep -i capacity xfs_growfs -d /mnt/disk1/
Создание CephFS
ceph osd pool create cephfs_data 32 ceph osd pool create cephfs_metadata 32 ceph fs new cephfs cephfs_metadata cephfs_data ceph fs ls ceph auth get-or-create client.fsuser mon 'allow r' mds 'allow r, allow rw path=/data_path' osd 'allow rw pool=cephfs_data' mkdir -p /mnt/cephfs mount.ceph 192.168.100.233:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin` mkdir -p /mnt/cephfs/data_path
Монтирование CephFS mkdir -p /mnt/cephfs mount.ceph 192.168.100.233:/data_path /mnt/cephfs -o name=fsuser,secret=AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==
Автомонтирование CephFS mcedit /etc/ceph/fsuser.secret
AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==
mcedit /etc/fstab
192.168.100.233:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0
Полезные команды
ceph status ceph -s ceph -w ceph osd pool ls ceph auth get-key client.user ceph auth get-key client.fsuser
удаление пула
ceph tell mon.\* injectargs '--mon-allow-pool-delete=true'
ceph osd pool delete kube kube --yes-i-really-really-mean-it
Установка ceph-common на ubuntu wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list sudo apt update sudo apt install ceph-common
ceph-deploy purge {ceph-node} [{ceph-node}] ceph-deploy purgedata {ceph-node} [{ceph-node}] ceph-deploy forgetkeys rm ceph.*
