Умеет ли LVM hot spare у raid1 как mdraid, или нужно сносить к чертям его raid1 и делать mdraid on lvm для такого? Или может есть какой-то демон который сопли lvm подотрёт когда один из pv отвалится?
У меня есть LVM RAID1 на трёх хардах. Один хард умирает: сначала некоторое время срёт говном вместо данных, а затем совсем отваливается. Как предотвратить пропагацию всратых данных через слой фс с последующим возможным повреждением информации на остальных участниках зеркала?
Думал о том чтобы перенести систему на другой хард и вспомнил, что кто-то тут рассказывал, что использует lvm только для того, чтобы делать снепшоты у себя на лаптопе. Стало интересно, зачем могут быть полезны подобные снепшоты, когда у тебя уже есть система автоматического инкрементального бекапа в удалённое хранилище?
l29ah-home ~ ∞ lvextend -L+4.94g vg0/lvol0 -r
Rounding size to boundary between physical extents: 4.94 GiB
Extending 3 mirror images.
Insufficient suitable allocatable extents for logical volume lvol0: 3 more required
l29ah-home ~ ∞ pvs
PV VG Fmt Attr PSize PFree
/dev/sdb2 vg0 lvm2 a-- 297.99g 13.98g
/dev/sdc2 vg0 lvm2 a-- 148.95g 4.94g
/dev/sdd2 vg0 lvm2 a-- 372.51g 228.50g
l29ah-home ~ ∞ lvextend vg0/lvol0 /dev/sdc2 -r
Extending 3 mirror images.
Insufficient suitable allocatable extents for logical volume lvol0: 1263 more required
l29ah-home ~ ∞ lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
lvol0 vg0 rwi-aor--- 140.00g 100.00
swap0 vg0 rwc-aor--- 4.00g 100.00
unraid vg0 -wi-ao---- 140.00g
l29ah-home ~ ∞ pvs
PV VG Fmt Attr PSize PFree
/dev/sdb2 vg0 lvm2 a-- 297.99g 13.98g
/dev/sdc2 vg0 lvm2 a-- 148.95g 4.94g
/dev/sdd2 vg0 lvm2 a-- 372.51g 228.50g
l29ah-home ~ ∞ lvextend -l '+100%PVS' vg0/lvol0 -r
Extending 3 mirror images.
Insufficient free space: 209775 extents needed, but only 63339 available
l29ah-home ~ ∞ lvextend -l 63339 vg0/lvol0 -r
Extending 3 mirror images.
Insufficient free space: 82497 extents needed, but only 63339 available
l29ah-home ~ ∞ lvextend -l +63339 vg0/lvol0 -r
Extending 3 mirror images.
Insufficient free space: 190017 extents needed, but only 63339 available
l29ah-home ~ ∞ lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
lvol0 vg0 rwi-aor--- 140.00g 100.00
swap0 vg0 rwc-aor--- 4.00g 100.00
unraid vg0 -wi-ao---- 140.00g
l29ah-home ~ ∞ pvs
PV VG Fmt Attr PSize PFree
/dev/sdb2 vg0 lvm2 a-- 297.99g 13.98g
/dev/sdc2 vg0 lvm2 a-- 148.95g 4.94g
/dev/sdd2 vg0 lvm2 a-- 372.51g 228.50g
У меня RAID1 на все три PV, да. Че блять?
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=804629#25
Actually, after some research and having run dozens of old kernel versions I
came to the conclusion that this LVM/RAID1 shit NEVER WORKED PROPERLY.
It's just unbelievable. This RAID1 feature was added to LVM2 in 2011. dm-raid1
support was added to the kernel in v3.1, around 2011 or 2012 too. I tried
almost all the kernel versions since 3.1 and in most of them all I get at boot
is some shit about "wrong ioctl" and "bad magic" instead of activated volume.
Which volume, mind you, was created just fine in the same kernel version, and
it even works -- until reboot!
SO IN FIVE FUCKING YEARS THIS SHIT NEVER WORKED AND NOBODY GIVE A FUCK ABOUT
IT! So much for all that fucking "bazaar" and shit!
It happened to work only due to the bug introduced somewhere in 4.0, which, by
unfortunate coincidence, was exactly when some poor fuckers like me choose to
convert some of their LVM volumes to RAID1. And it worked somehow, but then -
oops! - the bug was fixed!
Sorry, I just frustrated as fuck. I can't believe it. "Linux is reliable",
they said. "All bugs are shallow", they said...
Five years to test. FIVE FUCKING YEARS!
У меня случайно есть хосты без lvm. И как раз на них может понадобиться добавить места на мускул.
Сейчас отдельным разделом зачем-то только /var. Видимо, с systemd удалённо /var всё равно не изменишь без lvm, потому что он постоянно юзает /var/run, и мувнуть в другое место нельзя.
Увеличить /var, сидя через ssh, не получится.
Можно добавить /var/lib/mysql как новую точку монтирования, можно переделать всё и сделать на lvm, чтобы потом можно было ресайзить что угодно.
Как получше?
Святый боженька, дай здоровья прыщепидорам изобретшим LVM, btrfs и ext[234]
У меня в домашнем сервере был 1 Тб диск и 500 Гб диск, на которых была LVM VG. Захотелось сделать НАДЁЖНО и добавить второй 1 Тб диск, сделав из этих дисков зеркало, чтобы LVM-PV был на зеркале, а на 500 Гб винте оставить неважные разделы.
Я воткнул в систему винт, создал на нем RAID1 без одной половинки, на нем создал PV, добавил в VG.
Сделал pvmove разделов старого терабайтника на этот RAID. vgreduce-нул группу со старого винта, pvremove-нул старый винт.
Создал вторую половину RAID1 на старом винте, успешно, RAID начал синхронизироваться.
И тут у меня пошел по пизде контроллер (внешний) или SATA-кабель, не важно.
Ребут, передергивание контроллера и кабелей.
И вот я сижу с двумя винтами, на разделы которых file -s говорит "data".
Счастье моё заключалось в том, что корень был двухтомным btrfs с raid1 на оба старых винта.
Подключаю VG в degraded, монтирую btrfs с третьего винта в degraded, достаю оттуда /etc/lvm/archive, делаю pvcreate с --uuid и конфигом "до pvmove", восстанавливаю конфиг VG, подключаю её.
Делаю e2fsck на разделы. Один слегка поврежден синхронизацией RAID1.
Проебаны ПАРА ДЕСЯТКОВ ФАЙЛОВ.
ЕБАНАЯ ПАРА ДЕСЯТКОВ ФАЙЛОВ ПОСЛЕ КОРРАПТА PV и RAID1 ВО ВЕСЬ ДИСК
Боженька, если ты есть, пошли к лвмоблядкам лучших шлюх и обеспечь им космический минет с божественным причмком, аминь.
∞ diff -u /usr/sbin/lvm2create_initrd /usr/local/sbin/lvm2create_initrd
--- /usr/sbin/lvm2create_initrd 2014-08-26 23:57:01.279720506 +0400
+++ /usr/local/sbin/lvm2create_initrd 2014-08-27 00:21:46.270953995 +0400
@@ -59,7 +59,7 @@
BINFILES=${BINFILES:-"${LVM} `which bash` `which busybox` `which pivot_root`"}
BASICDEVICES=${BASICDEVICES:-"std consoleonly fd"}
BLOCKDEVICES=${BLOCKDEVICES:-"md hda hdb hdc hdd sda sdb sdc sdd"}
-MAKEDEV=${MAKEDEV:-"debian"}
+MAKEDEV=${MAKEDEV:-"gentoo"}
# Uncomment this if you want to disable automatic size detection
#INITRDSIZE=4096
@@ -185,12 +185,14 @@
# run a shell if we're passed lvm2rescue on commandline
grep lvm2rescue /proc/cmdline 1>/dev/null 2>&1
if [ $? -eq 0 ]; then
- $LVM vgchange --ignorelockingfailure -P -a y
+ lvm vgchange --ignorelockingfailure -P -a y
do_shell
else
- $LVM vgchange --ignorelockingfailure -a y
+ lvm vgchange --ignorelockingfailure -a y
fi
+lvm vgmknodes
+
echo "$PRE Mounting root filesystem $rootvol ro"
mkdir /rootvol
if ! mount -t auto -o ro $rootvol /rootvol; then
@@ -206,6 +208,7 @@
echo "$PRE Changing roots"
cd /rootvol
+mount -t devtmpfs none dev
if ! pivot_root . initrd ; then
echo "\t*FAILED PIVOT TO NEW ROOT*"
do_shell
@@ -250,6 +253,7 @@
shift
done
+INITRD=/boot/initrd-lvm2.gz
INITRD=${INITRD:-"/boot/initrd-lvm2-$VERSION.gz"}
echo "$cmd -- make LVM initial ram disk $INITRD"
Как идеологически правильно выдернуть винт из raid1?
lvm> vgreduce vg0 /dev/sdb1
Physical volume "/dev/sdb1" still in use
lvm> lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
lvol0 vg0 rwi-aor--- 140.00g 100.00
swap0 vg0 rwc-aor--- 4.00g 100.00
lvm> lvconvert --replace /dev/sdb1 vg0/swap0
Insufficient suitable contiguous allocatable extents for logical volume : 1025 more required
Failed to allocate replacement images for vg0/swap0
[16:18:20]<L29Ah> lvm> vgreduce vg0 --removemissing
Couldn't find device with uuid W5HARI-RG73-bwH9-0se3-OuzW-I7AM-3jiH2e.
WARNING: Partial LV lvol0 needs to be repaired or removed.
WARNING: Partial LV swap0 needs to be repaired or removed.
WARNING: Partial LV lvol0_rmeta_1 needs to be repaired or removed.
WARNING: Partial LV lvol0_rimage_1 needs to be repaired or removed.
WARNING: Partial LV swap0_rmeta_1 needs to be repaired or removed.
WARNING: Partial LV swap0_rimage_1 needs to be repaired or removed.
There are still partial LVs in VG vg0.
To remove them unconditionally use: vgreduce --removemissing --force.
Proceeding to remove empty missing PVs.
[16:18:23]<L29Ah> чяднт?
[16:18:34]<L29Ah> у меня всё умрёт если я --force нажму? что я забыл нажать?
У меня там какой-то raid1, хочу выдернуть дохловинт и поставить вместо него другой.
Продолжая эпопею с boot и lvm. Если в краце, то линукс действительно может загрузиться с lvm раздела, но для этого нужен grub2. grub-legacy не может такого. На просторах инета ходят слухи, что lilo тоже может загрузку с lvm, не знаю, не проверял. В общем, учитывая что в ынтерпрайзном RHEL и ламповом Debian используются grub-legacy.
Легкая наркомания: захотел сделать копию корня перед перепрошивкой ссдшки.
ДОБАВЛЯЕМ LV КОРНЯ МИРРОР НА PV НА НЖМД
ЖДЕМ ЗАВЕРШЕНИЯ СИНХРОНИЗАЦИИ
ДЕЛАЕМ СПЛИТМИРРОР
ПОЛУЧАЕМ КОПИЮ РАЗДЕЛА С ССД НА ВИНТЕ
Попутно обнаружил, что fstrim скастованный на дм-миррор вызывает NMI.
Псны, у меня какая-то прыщемагия происходит.
При чтении с LVM и mdraid устройств не работает дисковый буфер. Вообще. Достаточно актуальный рачлинуск, 3.4.7-1 ведро
dd if=/dev/vg0/oldsec of=/dev/null bs=64M count=2 всегда выдает скорость чтения диска
dd if=/dev/sdc of=/dev/null bs=64M count=2 в то же время успешно достает данные из буфера начиная со второго чтения.
Пиная прыщеядро при помощи blktrace заметил, что ПРИ РАБОТАЮЩЕМ ТРЕЙСЕ БУФЕР БЛЯТЬ РАБОТАЕТ.
Потрейсил blktrace при помощи strace чтобы узнать что же оно такое делает.
В общем минимальный набор внешнего воздействия, который заставляет этот Гейзенбаг спрятаться, я вычленил в этот исходник: https://gist.github.com/3335416
т.е. мы просто открываем устройство логического тома lvm с этими опциями и держим открытым.
DAFUQ?!
Цоперайт © 2010-2016 @stiletto.