Просмотр исходного текста страницы Ceph. Установка на одной ноде без репликации


== Подготовка системы ==

'''Обновление пакетов:''' 
<pre>yum -y update</pre>

'''Синхронизация времени'''

Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего.
<pre>yum -y install ntp python2-pip.noarch
systemctl enable ntpd
systemctl start ntpd</pre>

Задаем временную зону:
<pre>cp /usr/share/zoneinfo/Asia/Novosibirsk /etc/localtime</pre>

== Настройки файрвола ==
Отключаем firewalld и SELinux
<pre>systemctl stop firewalld
systemctl disable firewalld

mcedit /etc/selinux/config
SELINUX=disabled</pre>

Имя хоста должно совпадать с доменным именем
<pre>hostnamectl set-hostname ceph-kube/ceph-deployer</pre>

Устанавливаем необходимые пакеты
<pre>yum -y install epel-release
yum -y install mc net-tools htop</pre>

== Создание пользователя и доступа по ключу ==
Создаем пользователя ceph на всех нодах кластера
<pre>useradd ceph -m
passwd ceph</pre>

У созданной учетной записи должны быть привилегии суперпользователя. Для этого добавляем в файл /etc/sudoers.d/ceph:
<pre>ceph ALL = (root) NOPASSWD:ALL
Defaults:ceph !requiretty</pre>

Задаем следующие права:
<pre>chmod 0440 /etc/sudoers.d/ceph</pre>

Заходим в систему под учетной записью ceph:
<pre>su - ceph</pre>

Генерируем ключ следующей командой и копируем на ноды будущего кластера:
<pre>ssh-keygen
ssh-copy-id ceph@ceph-kube</pre>


== Подготовка ceph-deploy ==
Настраиваем репозиторий
<pre>sudo rpm --import 'https://download.ceph.com/keys/release.asc'</pre>
Файл /etc/yum.repos.d/ceph.repo приводим к виду:
<pre>[ceph]
name=Ceph packages for $basearch
baseurl=https://download.ceph.com/rpm-nautilus/el7/$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-nautilus/el7//noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://download.ceph.com/rpm-nautilus/el7/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc</pre>

Устанавливаем ceph-deploy
<pre>yum -y install ceph-deploy</pre>
Создаем папку, в которой будут храниться логи, конфиги деплоя и прочее
<pre>mkdir ceph-cluster
cd ceph-cluster</pre>

Создаем файлы конфигурации командой
<pre>ceph-deploy new ceph-kube</pre>
В результате в директории ceph-cluster появится файл ceph.conf, в который необходимо добавить параметры кластера, отличающиеся от дефолтных.
В частности ниже пример ceph.conf для одной ноды без репликации

<pre>[global]
fsid = 9564dca4-b183-43bb-8469-f74e33537580
mon_initial_members = ceph-kube
mon_host = 192.168.10.171
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 1
osd_pool_default_min_size = 1
osd_pool_default_pgp_num = 128
osd_pool_default_pg_num = 128</pre>

== Деплой кластера ==
Устанавливаем необходимые пакеты на ноды
<pre>ceph-deploy install --release nautilus ceph-kube</pre>
Деплой мониторов (указанных в ceph.conf)и сбор ключей кластера
<pre>ceph-deploy mon create-initial</pre>
Копирование конфигурационных файлов и ключа администратора ceph на ноды:
<pre>ceph-deploy admin ceph-kube</pre>
Деплой демона MGR (обязателен для версий luminous и выше)
<pre>ceph-deploy mgr create ceph-kube</pre>
Деплой демонов метаданных
<pre>ceph-deploy mds create ceph-kube</pre>
На этом этапе уже можно проверить статус кластера:
<pre>ceph status</pre>

== Создание OSD ==

Следующей командой можно получить список дисков на ноде
<pre>ceph-deploy disk list ceph-kube</pre>
Деплой OSD на ноду:
<pre>ceph-deploy osd create --data /dev/sdb ceph-kube </pre>

== Установка дашборда ==

<pre>yum -y install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create <username> <password> administrator</pre>
Дашборд будет доступен по адресу https://ceph-kube:8443

== Создание RBD ==
Команды выполняем на любой ноде кластера.
Создаем пул:
<pre>ceph osd pool create kube 32 erasure</pre>
Теперь создадим пользователя, дадим ему права на доступ к пулу и сохраним ключ доступа в файл
<pre>ceph auth get-or-create client.user mon 'allow r, allow command "osd blacklist"' osd 'allow rwx pool=kube' | tee /etc/ceph/ceph.client.user.keyring</pre>
Создадим диск в пуле:
<pre>rbd create disk1 --size 2G --pool kube</pre>

== Подключение RBD ==

На клиенте устанавливаем необходимые пакеты
<pre>yum -y install centos-release-ceph-nautilus
yum -y install ceph-common</pre>
Создадим файл конфигурации. В котором укажем IP адреса серверов. На которых запущен демон MON
<pre>cat << EOF >/etc/ceph/ceph.conf
mon host = 192.168.100.233
EOF</pre>
Убедитесь, что на сервере master-1.s000002 есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод 
<pre>cat /etc/ceph/ceph.client.user.keyring</pre>
Теперь попробуем map'ить диск на сервере (подключить как блочное устройство)
<pre>rbd map disk1 --pool kube --id user</pre>
Вы должны получить сообщение о том, что набор возможностей образа RBD не поддерживается ядром и надо отключить часть feature.
<pre>rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable kube/disk1 object-map fast-diff deep-flatten".</pre>
Вводим команду из сообщения, чтобы отключить не поддерживаемые feature.
<pre>rbd feature disable kube/disk1 object-map fast-diff deep-flatten --id user</pre>
И map'им диск снова, создаем файловую систему и монтируем
<pre>rbd map disk1 --pool kube --id user
mkfs.xfs /dev/rbd0
mkdir -p /mnt/disk1 
mount /dev/rbd/kube/disk1 /mnt/disk1</pre>

== Автомонтирование RBD ==

Внесите в файл /etc/ceph/rbdmap информацию о блочных устройствах, которые надо подключать при загрузке.

<pre>echo "kube/disk1 id=user,keyring=/etc/ceph/ceph.client.user.keyring" >> /etc/ceph/rbdmap</pre>
Включаем автозапуск скрипта rbdmap.
<pre>systemctl enable rbdmap
systemctl start rbdmap</pre>
Добавляем монтирование файловой системы блочного устройства в /etc/fstab.
<pre>echo "/dev/rbd/kube/disk1 /mnt/disk1 ext4 noauto,noatime 0 0" >>/etc/fstab</pre>
Перезагрузите сервер, введите команду mount или df и убедитесь, что смонтирован только disk1 из пула kube.


== Изменение размера RBD диска==
Изменяем размер RBD выполнив команду на любой из нод кластера
<pre>bd resize disk1 --size 6G --pool kube</pre>
С ноды, куда примонтирован диск производим расширение файловой системы:
<pre>dmesg | grep -i capacity
xfs_growfs -d /mnt/disk1/</pre>

== Создание CephFS ==

ceph osd pool create cephfs_data 32
ceph osd pool create cephfs_metadata 32
ceph fs new cephfs cephfs_metadata cephfs_data
ceph fs ls
ceph auth get-or-create client.fsuser mon 'allow r' mds 'allow r, allow rw path=/data_path' osd 'allow rw pool=cephfs_data'
mkdir -p /mnt/cephfs
mount.ceph 192.168.100.233:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin`
mkdir -p /mnt/cephfs/data_path

Монтирование CephFS
mkdir -p /mnt/cephfs
mount.ceph 192.168.100.233:/data_path /mnt/cephfs -o name=fsuser,secret=AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==

Автомонтирование CephFS
mcedit /etc/ceph/fsuser.secret
#####
AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==
#####
mcedit /etc/fstab
#####
192.168.100.233:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0
#####


== Полезные команды ==
ceph status
ceph -s
ceph -w
ceph osd pool ls
ceph auth get-key client.user
ceph auth get-key client.fsuser


удаление пула
ceph tell mon.\* injectargs '--mon-allow-pool-delete=true'
ceph osd pool delete kube kube --yes-i-really-really-mean-it

Установка ceph-common на ubuntu
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
sudo apt update
sudo apt install ceph-common

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*