Ceph. Установка на одной ноде без репликации — различия между версиями

Материал из База знаний
Перейти к: навигация, поиск
(→‎Материалы)
Строка 257: Строка 257:
 
== Материалы ==
 
== Материалы ==
  
−
<pre>https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/
+
https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/
−
https://www.dmosk.ru/instruktions.php?object=ceph-centos7</pre>
+
 
 +
https://www.dmosk.ru/instruktions.php?object=ceph-centos7

Версия 15:01, 19 января 2021

Подготовка системы

Обновление пакетов: 

yum -y update

Имя хоста должно совпадать с доменным именем 

hostnamectl set-hostname ceph-node

Устанавливаем необходимые пакеты 

yum -y install epel-release
yum -y install mc python2-pip.noarch

Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего. 

yum -y install ntp 
systemctl enable ntpd
systemctl start ntpd

Задаем временную зону: 

cp /usr/share/zoneinfo/Asia/Novosibirsk /etc/localtime

Настройки файрвола

Отключаем firewalld и SELinux 

systemctl stop firewalld
systemctl disable firewalld

mcedit /etc/selinux/config
SELINUX=disabled

Создание пользователя и доступа по ключу

Создаем пользователя ceph на всех нодах кластера 

useradd ceph -m
passwd ceph

У созданной учетной записи должны быть привилегии суперпользователя. Для этого добавляем в файл /etc/sudoers.d/ceph: 

ceph ALL = (root) NOPASSWD:ALL
Defaults:ceph !requiretty

Задаем следующие права: 

chmod 0440 /etc/sudoers.d/ceph

Заходим в систему под учетной записью ceph: 

su - ceph

Генерируем ключ следующей командой и копируем на ноды будущего кластера: 

ssh-keygen
ssh-copy-id ceph@ceph-node

Подготовка ceph-deploy

Настраиваем репозиторий 

sudo rpm --import 'https://download.ceph.com/keys/release.asc'

Файл /etc/yum.repos.d/ceph.repo приводим к виду: 

[ceph]
name=Ceph packages for $basearch
baseurl=https://download.ceph.com/rpm-nautilus/el7/$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-nautilus/el7//noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://download.ceph.com/rpm-nautilus/el7/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

Устанавливаем ceph-deploy 

yum -y install ceph-deploy

Создаем папку, в которой будут храниться логи, конфиги деплоя и прочее 

mkdir ceph-cluster
cd ceph-cluster

Создаем файлы конфигурации командой 

ceph-deploy new ceph-node

В результате в директории ceph-cluster появится файл ceph.conf, в который необходимо добавить параметры кластера, отличающиеся от дефолтных. В частности ниже пример ceph.conf для одной ноды без репликации 

[global]
fsid = 9564dca4-b183-43bb-8469-f74e33537580
mon_initial_members = ceph-node
mon_host = 192.168.10.171
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 1
osd_pool_default_min_size = 1
osd_pool_default_pgp_num = 128
osd_pool_default_pg_num = 128

Деплой кластера

Устанавливаем необходимые пакеты на ноды 

ceph-deploy install --release nautilus ceph-node

Деплой мониторов (указанных в ceph.conf)и сбор ключей кластера 

ceph-deploy mon create-initial

Копирование конфигурационных файлов и ключа администратора ceph на ноды: 

ceph-deploy admin ceph-node

Деплой демона MGR (обязателен для версий luminous и выше) 

ceph-deploy mgr create ceph-node

Деплой демонов метаданных 

ceph-deploy mds create ceph-node

На этом этапе уже можно проверить статус кластера: 

ceph status

Удаление кластера

В случае, если что-то пошло не так при деплое - можно удалить ceph c нод при помощи ceph-deploy: 

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

Создание OSD

Следующей командой можно получить список дисков на ноде 

ceph-deploy disk list ceph-node

Деплой OSD на ноду: 

ceph-deploy osd create --data /dev/sdb ceph-node


Ceph кластер из одной ноды

В случае деплоя кластера на одну ноду без репликации (osd_pool_default_size = 1, osd_pool_default_min_size = 1) команда сeph status будет возвращать HEALTH: WARN и предупреждение, что в пулах хранится только одна реплика данных. Для отключения данного триггера необходимо прописать команду 

ceph config set global mon_warn_on_pool_no_redundancy false

После перезагрузки кластера станет HEALTH: OK

Установка дашборда

yum -y install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create <username> <password> administrator

Дашборд будет доступен по адресу https://ceph-node:8443

Создание RBD

Команды выполняем на любой ноде кластера. Создаем пул: 

ceph osd pool create kube 32

Теперь создадим пользователя, дадим ему права на доступ к пулу и сохраним ключ доступа в файл 

ceph auth get-or-create client.user mon 'allow r, allow command "osd blacklist"' osd 'allow rwx pool=kube' | tee /etc/ceph/ceph.client.user.keyring

Создадим диск в пуле: 

rbd create disk1 --size 2G --pool kube

Подключение RBD

На клиенте устанавливаем необходимые пакеты

Для CentOS: 

yum -y install centos-release-ceph-nautilus
yum -y install ceph-common

Для Ubuntu: 

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
sudo apt update
sudo apt install ceph-common

Создадим файл конфигурации. В котором укажем IP адреса серверов. На которых запущен демон MON 

cat << EOF >/etc/ceph/ceph.conf
mon host = <node-ipaddress>
EOF

Убедитесь, что на сервере master-1.s000002 есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод 

cat /etc/ceph/ceph.client.user.keyring

Теперь попробуем map'ить диск на сервере (подключить как блочное устройство) 

rbd map disk1 --pool kube --id user

Вы должны получить сообщение о том, что набор возможностей образа RBD не поддерживается ядром и надо отключить часть feature. 

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable kube/disk1 object-map fast-diff deep-flatten".

Вводим команду из сообщения, чтобы отключить не поддерживаемые feature. 

rbd feature disable kube/disk1 object-map fast-diff deep-flatten --id user

И map'им диск снова, создаем файловую систему и монтируем 

rbd map disk1 --pool kube --id user
mkfs.xfs /dev/rbd0
mkdir -p /mnt/disk1 
mount /dev/rbd/kube/disk1 /mnt/disk1

Автомонтирование RBD

Внесите в файл /etc/ceph/rbdmap информацию о блочных устройствах, которые надо подключать при загрузке. 

echo "kube/disk1 id=user,keyring=/etc/ceph/ceph.client.user.keyring" >> /etc/ceph/rbdmap

Включаем автозапуск скрипта rbdmap. 

systemctl enable rbdmap
systemctl start rbdmap

Добавляем монтирование файловой системы блочного устройства в /etc/fstab. 

echo "/dev/rbd/kube/disk1 /mnt/disk1 ext4 noauto,noatime 0 0" >>/etc/fstab

Перезагрузите сервер, введите команду mount или df и убедитесь, что смонтирован только disk1 из пула kube.


Изменение размера RBD диска

Изменяем размер RBD выполнив команду на любой из нод кластера 

bd resize disk1 --size 6G --pool kube

С ноды, куда примонтирован диск производим расширение файловой системы: 

dmesg | grep -i capacity
xfs_growfs -d /mnt/disk1/

Создание CephFS

Создаем пулы для данных и метаданных 

ceph osd pool create cephfs_data 32
ceph osd pool create cephfs_metadata 32

Создаем файловую систему 

ceph fs new cephfs cephfs_metadata cephfs_data

Убедимся, что cephfs создана. Команда 

ceph fs ls

Создаем пользователя для доступа к cephfs. 

ceph auth get-or-create client.fsuser mon 'allow r' mds 'allow r, allow rw path=/data_path' osd 'allow rw pool=cephfs_data'

Пользователь создан, ему выданы права чтение-запись на каталог /data_path, но сам каталог не создается автоматически. Надо смонтировать корень cephfs с правами администратора и создать там каталог /data_path. 

mkdir -p /mnt/cephfs
mount.ceph <node-ipaddress>:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin`
mkdir -p /mnt/cephfs/data_path

Получим и запомним ключ доступа клиента fsuser. 

ceph auth get-key client.fsuser

Монтирование CephFS

Теперь переходим на сервер к которому хотим подключить сephfs. Сначала положим ключ доступа клиента fsuser в файл /etc/ceph/fsuser.secret. 

echo "<ключ доступа клиента fsuser>" >/etc/ceph/fsuser.secret

Монтируем каталог /data_path из cephfs с правами клиента fsuser. 

mkdir -p /mnt/cephfs
mount.ceph <node-ipaddress>:/data_path /mnt/cephfs -o name=fsuser,secretfile=/etc/ceph/fsuser.secret


Автомонтирование CephFS

Сначала убедимся, что у нас есть файл в котором лежит ключ доступа от пользователя fsuser 

cat /etc/ceph/fsuser.secret

Далее добавим запись в /etc/fstab (не забываем исправлять ip адреса серверов). 

echo "<node-ipaddress>:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0">>/etc/fstab

Полезные команды

Состояние кластера 

ceph -s

Просмотр состояния кластер с выводом сообщений лога на экран (полезно например, чтобы увидеть статус перебалансировки данных при изменении количества OSD) 

ceph -w

Получение списка пулов 

ceph osd pool ls

Получение ключей пользователей ceph 

ceph auth get-key client.user
ceph auth get-key client.fsuser

Детализованный вывод по пулам 

ceph osd dump | more

Удаление пула (сперва разрешаем удаление, затем удаляем) 

ceph tell mon.\* injectargs '--mon-allow-pool-delete=true'
ceph osd pool delete kube kube --yes-i-really-really-mean-it

Материалы

https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/

https://www.dmosk.ru/instruktions.php?object=ceph-centos7

Источник — «https://wiki.mna.tom.ru/index.php?title=Ceph._Установка_на_одной_ноде_без_репликации&oldid=295»