Ceph. Установка на одной ноде без репликации - История изменений

Yuri.ganzha: /* Подключение RBD */

2021-01-19T15:07:29Z

‎Подключение RBD

Yuri.ganzha: /* Материалы */

2021-01-19T15:01:54Z

‎Материалы

Yuri.ganzha: Yuri.ganzha переименовал страницу Кластер Ceph из одной ноды в Ceph. Установка на одной ноде без репликации

2021-01-19T15:00:54Z

Yuri.ganzha переименовал страницу Кластер Ceph из одной ноды в Ceph. Установка на одной ноде без репликации

Yuri.ganzha в 10:56, 19 января 2021

2021-01-19T10:56:02Z

Yuri.ganzha: /* Создание RBD */

2021-01-19T10:53:30Z

‎Создание RBD

Yuri.ganzha в 10:51, 19 января 2021

2021-01-19T10:51:22Z

Yuri.ganzha в 10:11, 19 января 2021

2021-01-19T10:11:48Z

Yuri.ganzha в 10:07, 19 января 2021

2021-01-19T10:07:37Z

Yuri.ganzha: Новая страница: « == Подготовка системы == '''Обновление пакетов:'''

yum -y update

'''Синхронизация времени'''…»

2021-01-19T09:41:50Z

Новая страница: « == Подготовка системы == '''Обновление пакетов:''' <pre>yum -y update</pre> '''Синхронизация времени'''…»

Новая страница

== Подготовка системы ==

'''Обновление пакетов:'''
<pre>yum -y update</pre>

'''Синхронизация времени'''

Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего.
<pre>yum -y install ntp python2-pip.noarch
systemctl enable ntpd
systemctl start ntpd</pre>

Задаем временную зону:
<pre>cp /usr/share/zoneinfo/Asia/Novosibirsk /etc/localtime</pre>

== Настройки файрвола ==
Отключаем firewalld и SELinux
<pre>systemctl stop firewalld
systemctl disable firewalld

mcedit /etc/selinux/config
SELINUX=disabled</pre>

Имя хоста должно совпадать с доменным именем
<pre>hostnamectl set-hostname ceph-kube/ceph-deployer</pre>

Устанавливаем необходимые пакеты
<pre>yum -y install epel-release
yum -y install mc net-tools htop</pre>

== Создание пользователя и доступа по ключу ==
Создаем пользователя ceph на всех нодах кластера
<pre>useradd ceph -m
passwd ceph</pre>

У созданной учетной записи должны быть привилегии суперпользователя. Для этого добавляем в файл /etc/sudoers.d/ceph:
<pre>ceph ALL = (root) NOPASSWD:ALL
Defaults:ceph !requiretty</pre>

Задаем следующие права:
<pre>chmod 0440 /etc/sudoers.d/ceph</pre>

Заходим в систему под учетной записью ceph:
<pre>su - ceph</pre>

Генерируем ключ следующей командой и копируем на ноды будущего кластера:
<pre>ssh-keygen
ssh-copy-id ceph@ceph-kube</pre>

== Подготовка ceph-deploy ==
Настраиваем репозиторий
<pre>sudo rpm --import 'https://download.ceph.com/keys/release.asc'</pre>
Файл /etc/yum.repos.d/ceph.repo приводим к виду:
<pre>[ceph]
name=Ceph packages for $basearch
baseurl=https://download.ceph.com/rpm-nautilus/el7/$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-nautilus/el7//noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://download.ceph.com/rpm-nautilus/el7/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc</pre>

Устанавливаем ceph-deploy
<pre>yum -y install ceph-deploy</pre>
Создаем папку, в которой будут храниться логи, конфиги деплоя и прочее
<pre>mkdir ceph-cluster
cd ceph-cluster</pre>

Создаем файлы конфигурации командой
<pre>ceph-deploy new ceph-kube</pre>
В результате в директории ceph-cluster появится файл ceph.conf, в который необходимо добавить параметры кластера, отличающиеся от дефолтных.
В частности ниже пример ceph.conf для одной ноды без репликации

<pre>[global]
fsid = 9564dca4-b183-43bb-8469-f74e33537580
mon_initial_members = ceph-kube
mon_host = 192.168.10.171
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size = 1
osd_pool_default_min_size = 1
osd_pool_default_pgp_num = 128
osd_pool_default_pg_num = 128</pre>

== Деплой кластера ==
Устанавливаем необходимые пакеты на ноды
<pre>ceph-deploy install --release nautilus ceph-kube</pre>
Деплой мониторов (указанных в ceph.conf)и сбор ключей кластера
<pre>ceph-deploy mon create-initial</pre>
Копирование конфигурационных файлов и ключа администратора ceph на ноды:
<pre>ceph-deploy admin ceph-kube</pre>
Деплой демона MGR (обязателен для версий luminous и выше)
<pre>ceph-deploy mgr create ceph-kube</pre>
Деплой демонов метаданных
<pre>ceph-deploy mds create ceph-kube</pre>
На этом этапе уже можно проверить статус кластера:
<pre>ceph status</pre>

== Создание OSD ==

Следующей командой можно получить список дисков на ноде
<pre>ceph-deploy disk list ceph-kube</pre>
Деплой OSD на ноду:
<pre>ceph-deploy osd create --data /dev/sdb ceph-kube </pre>

== Установка дашборда ==

<pre>yum -y install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create <username> <password> administrator</pre>
Дашборд будет доступен по адресу https://ceph-kube:8443

== Создание RBD ==
Команды выполняем на любой ноде кластера.
Создаем пул:
<pre>ceph osd pool create kube 32 erasure</pre>
Теперь создадим пользователя, дадим ему права на доступ к пулу и сохраним ключ доступа в файл
<pre>ceph auth get-or-create client.user mon 'allow r, allow command "osd blacklist"' osd 'allow rwx pool=kube' | tee /etc/ceph/ceph.client.user.keyring</pre>
Создадим диск в пуле:
<pre>rbd create disk1 --size 2G --pool kube</pre>

== Подключение RBD ==

На клиенте устанавливаем необходимые пакеты
<pre>yum -y install centos-release-ceph-nautilus
yum -y install ceph-common</pre>
Создадим файл конфигурации. В котором укажем IP адреса серверов. На которых запущен демон MON
<pre>cat << EOF >/etc/ceph/ceph.conf
mon host = 192.168.100.233
EOF</pre>
Убедитесь, что на сервере master-1.s000002 есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод
<pre>cat /etc/ceph/ceph.client.user.keyring</pre>
Теперь попробуем map'ить диск на сервере (подключить как блочное устройство)
<pre>rbd map disk1 --pool kube --id user</pre>
Вы должны получить сообщение о том, что набор возможностей образа RBD не поддерживается ядром и надо отключить часть feature.
<pre>rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable kube/disk1 object-map fast-diff deep-flatten".</pre>
Вводим команду из сообщения, чтобы отключить не поддерживаемые feature.
<pre>rbd feature disable kube/disk1 object-map fast-diff deep-flatten --id user</pre>
И map'им диск снова, создаем файловую систему и монтируем
<pre>rbd map disk1 --pool kube --id user
mkfs.xfs /dev/rbd0
mkdir -p /mnt/disk1
mount /dev/rbd/kube/disk1 /mnt/disk1</pre>

== Автомонтирование RBD ==

Внесите в файл /etc/ceph/rbdmap информацию о блочных устройствах, которые надо подключать при загрузке.

<pre>echo "kube/disk1 id=user,keyring=/etc/ceph/ceph.client.user.keyring" >> /etc/ceph/rbdmap</pre>
Включаем автозапуск скрипта rbdmap.
<pre>systemctl enable rbdmap
systemctl start rbdmap</pre>
Добавляем монтирование файловой системы блочного устройства в /etc/fstab.
<pre>echo "/dev/rbd/kube/disk1 /mnt/disk1 ext4 noauto,noatime 0 0" >>/etc/fstab</pre>
Перезагрузите сервер, введите команду mount или df и убедитесь, что смонтирован только disk1 из пула kube.

== Изменение размера RBD диска==
Изменяем размер RBD выполнив команду на любой из нод кластера
<pre>bd resize disk1 --size 6G --pool kube</pre>
С ноды, куда примонтирован диск производим расширение файловой системы:
<pre>dmesg | grep -i capacity
xfs_growfs -d /mnt/disk1/</pre>

== Создание CephFS ==

ceph osd pool create cephfs_data 32
ceph osd pool create cephfs_metadata 32
ceph fs new cephfs cephfs_metadata cephfs_data
ceph fs ls
ceph auth get-or-create client.fsuser mon 'allow r' mds 'allow r, allow rw path=/data_path' osd 'allow rw pool=cephfs_data'
mkdir -p /mnt/cephfs
mount.ceph 192.168.100.233:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin`
mkdir -p /mnt/cephfs/data_path

Монтирование CephFS
mkdir -p /mnt/cephfs
mount.ceph 192.168.100.233:/data_path /mnt/cephfs -o name=fsuser,secret=AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==

Автомонтирование CephFS
mcedit /etc/ceph/fsuser.secret
#####
AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==
#####
mcedit /etc/fstab
#####
192.168.100.233:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0
#####

== Полезные команды ==
ceph status
ceph -s
ceph -w
ceph osd pool ls
ceph auth get-key client.user
ceph auth get-key client.fsuser

удаление пула
ceph tell mon.\* injectargs '--mon-allow-pool-delete=true'
ceph osd pool delete kube kube --yes-i-really-really-mean-it

Установка ceph-common на ubuntu
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
sudo apt update
sudo apt install ceph-common

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

@@ Строка 257: / Строка 257: @@
 == Материалы ==
-<pre>https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/
+https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/
-https://www.dmosk.ru/instruktions.php?object=ceph-centos7</pre>

@@ Строка 168: / Строка 168: @@
 mon host = <node-ipaddress>
 EOF</pre>
-Убедитесь, что на сервере master-1.s000002 есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод
+Убедитесь, что на сервере есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод
 <pre>cat /etc/ceph/ceph.client.user.keyring</pre>
 Теперь попробуем map'ить диск на сервере (подключить как блочное устройство)

← Предыдущая	Версия 15:00, 19 января 2021
(нет различий)

@@ Строка 155: / Строка 155: @@
 На клиенте устанавливаем необходимые пакеты
 <pre>yum -y install centos-release-ceph-nautilus
 yum -y install ceph-common</pre>
 Создадим файл конфигурации. В котором укажем IP адреса серверов. На которых запущен демон MON
 <pre>cat << EOF >/etc/ceph/ceph.conf
@@ Строка 247: / Строка 254: @@
 <pre>ceph tell mon.\* injectargs '--mon-allow-pool-delete=true'
 ceph osd pool delete kube kube --yes-i-really-really-mean-it</pre>
 == Материалы ==

@@ Строка 146: / Строка 146: @@
 Команды выполняем на любой ноде кластера.
 Создаем пул:
-<pre>ceph osd pool create kube 32 erasure</pre>
+<pre>ceph osd pool create kube 32</pre>
 Теперь создадим пользователя, дадим ему права на доступ к пулу и сохраним ключ доступа в файл
 <pre>ceph auth get-or-create client.user mon 'allow r, allow command "osd blacklist"' osd 'allow rwx pool=kube' | tee /etc/ceph/ceph.client.user.keyring</pre>

@@ Строка 4: / Строка 4: @@
 Обновление пакетов:
 <pre>yum -y update</pre>
 Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего.
-<pre>yum -y install ntp python2-pip.noarch
+<pre>yum -y install ntp
 systemctl enable ntpd
 systemctl start ntpd</pre>
@@ Строка 21: / Строка 28: @@
 mcedit /etc/selinux/config
 SELINUX=disabled</pre>
 == Создание пользователя и доступа по ключу ==

@@ Строка 2: / Строка 2: @@
 == Подготовка системы ==
-'''Обновление пакетов:'''
+Обновление пакетов:
 <pre>yum -y update</pre>
 Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего.
@@ Строка 16: / Строка 14: @@
 == Настройки файрвола ==
 Отключаем firewalld и SELinux
 <pre>systemctl stop firewalld
@@ Строка 24: / Строка 23: @@
 Имя хоста должно совпадать с доменным именем
-<pre>hostnamectl set-hostname ceph-kube/ceph-deployer</pre>
+<pre>hostnamectl set-hostname ceph-node</pre>
 Устанавливаем необходимые пакеты
@@ Строка 47: / Строка 46: @@
 Генерируем ключ следующей командой и копируем на ноды будущего кластера:
 <pre>ssh-keygen
-ssh-copy-id ceph@ceph-kube</pre>
+ssh-copy-id ceph@ceph-node</pre>
 Настраиваем репозиторий
 <pre>sudo rpm --import 'https://download.ceph.com/keys/release.asc'</pre>
@@ Строка 85: / Строка 84: @@
 Создаем файлы конфигурации командой
-<pre>ceph-deploy new ceph-kube</pre>
+<pre>ceph-deploy new ceph-node</pre>
 В результате в директории ceph-cluster появится файл ceph.conf, в который необходимо добавить параметры кластера, отличающиеся от дефолтных.
 В частности ниже пример ceph.conf для одной ноды без репликации
@@ Строка 91: / Строка 90: @@
 <pre>[global]
 fsid = 9564dca4-b183-43bb-8469-f74e33537580
-mon_initial_members = ceph-kube
+mon_initial_members = ceph-node
 mon_host = 192.168.10.171
 auth_cluster_required = cephx
@@ Строка 103: / Строка 102: @@
 == Деплой кластера ==
 Устанавливаем необходимые пакеты на ноды
-<pre>ceph-deploy install --release nautilus ceph-kube</pre>
+<pre>ceph-deploy install --release nautilus ceph-node</pre>
 Деплой мониторов (указанных в ceph.conf)и сбор ключей кластера
 <pre>ceph-deploy mon create-initial</pre>
 Копирование конфигурационных файлов и ключа администратора ceph на ноды:
-<pre>ceph-deploy admin ceph-kube</pre>
+<pre>ceph-deploy admin ceph-node</pre>
 Деплой демона MGR (обязателен для версий luminous и выше)
-<pre>ceph-deploy mgr create ceph-kube</pre>
+<pre>ceph-deploy mgr create ceph-node</pre>
 Деплой демонов метаданных
-<pre>ceph-deploy mds create ceph-kube</pre>
+<pre>ceph-deploy mds create ceph-node</pre>
 На этом этапе уже можно проверить статус кластера:
 <pre>ceph status</pre>
@@ Строка 126: / Строка 125: @@
 Следующей командой можно получить список дисков на ноде
-<pre>ceph-deploy disk list ceph-kube</pre>
+<pre>ceph-deploy disk list ceph-node</pre>
 Деплой OSD на ноду:
-<pre>ceph-deploy osd create --data /dev/sdb ceph-kube </pre>
+<pre>ceph-deploy osd create --data /dev/sdb ceph-node </pre>
@@ Строка 142: / Строка 141: @@
 ceph dashboard create-self-signed-cert
 ceph dashboard ac-user-create <username> <password> administrator</pre>
-Дашборд будет доступен по адресу https://ceph-kube:8443
+Дашборд будет доступен по адресу https://ceph-node:8443
 == Создание RBD ==
@@ Строка 160: / Строка 159: @@
 Создадим файл конфигурации. В котором укажем IP адреса серверов. На которых запущен демон MON
 <pre>cat << EOF >/etc/ceph/ceph.conf
-mon host = 192.168.100.233
+mon host = <node-ipaddress>
 EOF</pre>
 Убедитесь, что на сервере master-1.s000002 есть файл /etc/ceph/ceph.client.user.keyring c ключом клиента user. В случае отсутствия его необходимо скопировать с любой из нод
@@ Строка 210: / Строка 209: @@
 Надо смонтировать корень cephfs с правами администратора и создать там каталог /data_path.
 <pre>mkdir -p /mnt/cephfs
-mount.ceph 192.168.100.233:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin`
+mount.ceph <node-ipaddress>:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin`
 mkdir -p /mnt/cephfs/data_path</pre>
 Получим и запомним ключ доступа клиента fsuser.
@@ Строка 222: / Строка 221: @@
 Монтируем каталог /data_path из cephfs с правами клиента fsuser.
 <pre>mkdir -p /mnt/cephfs
-mount.ceph 192.168.100.233:/data_path /mnt/cephfs -o name=fsuser,secretfile=/etc/ceph/fsuser.secret</pre>
+mount.ceph <node-ipaddress>:/data_path /mnt/cephfs -o name=fsuser,secretfile=/etc/ceph/fsuser.secret</pre>
@@ Строка 231: / Строка 230: @@
 Далее добавим запись в /etc/fstab (не забываем исправлять ip адреса серверов).
-<pre>echo "192.168.100.233:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0">>/etc/fstab</pre>
+<pre>echo "<node-ipaddress>:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0">>/etc/fstab</pre>
 == Полезные команды ==

@@ Строка 1: / Строка 1: @@
+[[category:Linux]]
 == Подготовка системы ==
@@ Строка 114: / Строка 114: @@
 На этом этапе уже можно проверить статус кластера:
 <pre>ceph status</pre>
 == Создание OSD ==
@@ Строка 121: / Строка 129: @@
 Деплой OSD на ноду:
 <pre>ceph-deploy osd create --data /dev/sdb ceph-kube </pre>
 == Установка дашборда ==
@@ Строка 184: / Строка 198: @@
 == Создание CephFS ==
+Создаем пулы для данных и метаданных
-ceph osd pool create cephfs_data 32
+<pre>ceph osd pool create cephfs_data 32
-ceph osd pool create cephfs_metadata 32
+ceph osd pool create cephfs_metadata 32</pre>
-ceph fs new cephfs cephfs_metadata cephfs_data
+Создаем файловую систему
-ceph fs ls
+<pre>ceph fs new cephfs cephfs_metadata cephfs_data</pre>
-ceph auth get-or-create client.fsuser mon 'allow r' mds 'allow r, allow rw path=/data_path' osd 'allow rw pool=cephfs_data'
+Убедимся, что cephfs создана. Команда
-mkdir -p /mnt/cephfs
+<pre>ceph fs ls</pre>
 mount.ceph 192.168.100.233:/ /mnt/cephfs -o name=admin,secret=`ceph auth get-key client.admin`
-mkdir -p /mnt/cephfs/data_path
+mkdir -p /mnt/cephfs/data_path</pre>
-Монтирование CephFS
+== Монтирование CephFS ==
-mkdir -p /mnt/cephfs
+Теперь переходим на сервер к которому хотим подключить сephfs.
-mount.ceph 192.168.100.233:/data_path /mnt/cephfs -o name=fsuser,secret=AQCzdAZg9WfmLhAA1e3AcjfKYHUDfQ5uDKVaCA==
+Сначала положим ключ доступа клиента fsuser в файл /etc/ceph/fsuser.secret.
-Автомонтирование CephFS
+Монтируем каталог /data_path из cephfs с правами клиента fsuser.
-mcedit /etc/ceph/fsuser.secret
+<pre>mkdir -p /mnt/cephfs
-#####
+mount.ceph 192.168.100.233:/data_path /mnt/cephfs -o name=fsuser,secretfile=/etc/ceph/fsuser.secret</pre>
-== Полезные команды ==
+== Автомонтирование CephFS ==
-удаление пула
+Далее добавим запись в /etc/fstab (не забываем исправлять ip адреса серверов).
-ceph tell mon.\* injectargs '--mon-allow-pool-delete=true'
+<pre>echo "192.168.100.233:/ /mnt/cephfs ceph name=fsuser,secretfile=/etc/ceph/fsuser.secret,_netdev,noatime 0 0">>/etc/fstab</pre>
 Установка ceph-common на ubuntu
-wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
+<pre>wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
 echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
 sudo apt update
-sudo apt install ceph-common
+sudo apt install ceph-common</pre>
-ceph-deploy purge {ceph-node} [{ceph-node}]
+<pre>https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/
-ceph-deploy purgedata {ceph-node} [{ceph-node}]
+https://www.dmosk.ru/instruktions.php?object=ceph-centos7</pre>