я бы dm-cache взял.

@lexszero Потом попробую.

XFS/EXT4, noatime, nodiratime, тыкать barriers (если уверен, что можешь, то ставь 0), в EXT4 тыкать data

@ckorzhik че за дата

@ckorzhik >2017 >noatime (не lazytime)

@komar http://unix.stackexchange.com/questions/127235/is-data-journal-safer-for-ext4-as-opposed-to-data-ordered

@anonymous сорян

@anonymous на самом деле я не настоящий сварщик

> 2019 > блины

чоза прирост производительности остальные вопросы хорошо раскрыты в мане постгреса, очевидно

@anonymous ебать ты полезный

@komar вопрос содержит половину ответа ибо

> Как тогда юзать блины для баз данных? Обычно ставять несколько шпенделей в RAID10 на контроллер с кешем.

@ckorzhik Без упса - самоубийство. Впрочем, даже с упсом тоже.

@etw Кеш любой дурак может заюзать. Как и отключить чтение к хуям. Ты мне расскажи, как дрочево головок обходить.

@etw уау прямо как в редисе

@komar Блядь, это блины, а в субд типичный паттерн - random access, соответственно, много seek-ов и много IOP-ов. Есть 2 пути: повышать IOPS хранилища (оборотистые блинницы/SSD, увеличение количества шпенделей+рейды без четности) и уменьшать количество IOPS-ов от базы (кеши, которые позволяют мержить запросы и писать на блинницы более крупными блоками). Раньше обычно приходилось использовать и то, и другое, а теперь народ тупо ставит SSD-хи, благо, они дешевеют, а даже замая завалящая говноTLC выдаст тебе больше IOPS-ов, чем самая навороченная блинница (при этом еще и объем будет сопоставимый).

@etw да ты ж блядь мой капитан очевидность

@komar Нормальные люди не хранят в редисе то, что больно потерять.

@etw Мне на прошлой неделе пришлось объяснять это пятерым. Не уговорил. Ну и хуй с ними.

@komar А ты хотел магических откровений с секретных техноголиях, позволяющих выжать из блинов больше 300 IOPS (15k rpm SAS) на шпендель?

@etw Я хочу меньше дрочева головок, очевидно же.

@komar Если без dm-cache и тырпрайзных контроллеров с BBU, то оперативки побольше воткни, надейся на merge запросов к диску прыщеядром и молись, чтобы не пропало питание/паникнуло ведро.

@etw Чем тебе сраный мой CLUSTER не нравится?

@komar Будем надеяться, что они дураки и научатся хотя бы на своих ошибках. Впрочем, если у них один сервак, мало записи в базу и допустима потеря write-ов за последнюю секунду, то пусть используют, если им так проще.

@etw Они биллинг пишут. Господряд. God helps them all.

@komar Тем, что последовательное расположение записей в файле != последовательное расположение на диске (хотя прыщефс и весьма усточивы к фрагментации, пока свободного места больше 10-20%). Плюс, от характера запросов сильно зависит и при частой записи придется регулярно повторно вызывать. Впрочем, если твоим условиям он удовлетворяет, то почему нет?

@etw Вот, уже лучше. Расскажи, куда мне нажать прыщи, чтобы не фрагментировалось.

@komar Прост следи, чтобы свободного места на ФС было не меньше 20%. Полностью от фрагментации не избавит, канеш, но сильно ее замедлит.

@etw хуита, нужен рейзер4

@etw Заебись. Полезно. Давай дальше: че в postgresql.conf нажимать?

@komar reiser4

@n > reiser4 > продакшен И сразу нахуй. Еще бы btrfs предложил.

@etw Не, не трогай, он предпоследний фанат четвертого рейзера.

@komar Нажми в nagios (или че у вас там для мониторинга), чтобы предупреждал, когда занятость ФС подходит к порогу.

@etw 8 лет на продакшнах гонял (HLFS), пока на ссд не перешли

@etw Хуита.

@komar Да сдох четвертый райзер, шишкин даже на выпуск патчей к новым ядрам подзабивать стал.

@etw (кроме того, мониторингом у нас занимается нихто)

@etw лох пидр

@n > HLFS > продакшнах локалхост продакшенс с двумя виртуалками?

@etw сервера контор быстрых кредитов, лизингов, медицинских учреждений

@komar Ну плохо вам, че. Напиши скрепт, который по крону дергаться будет и в случае большого % занятого места письмо будет отсылать.

@n > полтора сервера без нагрузки Я и говорю, локалхост продакшенс.

@etw анус твой сдох, пёс

@etw хватало нагрузки, ёпт. полстраны обслуживали

@n Я за релизами слежу, если че. Последний - для ведра 3.19.5, предпоследний - для 3.18.6. Раньше шишкин к 1-2 патч-версии успевал сделать.

@etw ман руки

@etw пруф или покупают ынтырпрайз NAS/SAN

@n "Полстраны" - это сколько в rps-ах? Или сколько на диски в виде IOPS-ов падало?

https://www.facebook.com/hydrobiont/posts/10203160981784058?pnref=story //уже иду

@n Ах да, кстати, именно, что man руки, потому что новых фич никаких нет, баги не чинятся, тупо портируется то, что есть. Если даже на такую хуйню уже времени не хватает, значит проект сдох. Просто смирить.

@etw штук 100 было, кажется

@ckorzhik лойс // ступай

@komar Палю: некоторые NoSQL-хранилища (cassandra/hdfs/etc) специально сделаны для решения проблемы с дрочевом головок через append only. >в субд типичный паттерн - random access дрочую этого трапа

@n штук 100 rps-ов или iops-ов? Если первое, то, мягко говоря, негусто, если второе, то это, блядь, нагрузка для домашнего одного САТА-говнеца на 7,2к.

@etw у тебя просто руки из жопы, вот и видишь проблему там, где её нет. чинись

@etw Пол-Латвии, гы.

@anonymous Палю: поцтгрес append-only.

@anonymous (ну и да, если в постгрес писать только append-only + индексы впердолить в ram/ssd - будет ок)

@n При чем тут мои руки, если у майнтенера даже на тупое портирование, выполняемое любым заинтересованным юзером, времени не хватает?

@n А чо дальше зассал?

@komar разве не только write-log, но и основной datastore?

@etw Когда-нибудь VACUUM/VACUUM FULL нажимала?

@etw сорь, 1000 IOPS

@komar нет :( у меня поверхностные знания постгреса: модель обслуживания соединений и как приблизительно репликация работает - минимум, чтобы не обосраться при администрировании простенького сетапа.

@etw просто майнтайнер не унижает фс разжёвыванием для инвалидов

@l29ah на ссд преимущества теряются

@n Tail packing никуда не теряется.

@etw Поцтгрес любой UPDATE дописывает снизу. DELETE нихуя не высвобождает, пока не наберешь VACUUM, тот не пробежиться и не составит список дырок, в которые можно писать. Еще есть VACUUM FULL, который тупо блокирует таблицу и рядом строит ее с начала без дырок.

@komar Хотя насчет «любой» я разбежался, конечно. Надо поглядеть, как он поведет себя на полях с фиксированным размером.

@komar Впрочем, хули я распизделся. Любой, конечно. Иначе MVCC сломается.

@n Правильно делает, глумление над умершими во многих странах незаконно.

@komar Ясн

@l29ah преимущества в скорости неподготовленному человеку не очевидны

@anonymous Как будто внутри SAN (NAS для субд нормальные люди не юзают) не обычные диски с обычными контроллерами, а волшебные гномики.

@etw живее всех живых же

@komar ок, insert-only (хотя append only является устоявшимся термином, который означает совсем не постресовскую append-only'вость)

@n 100 rps и 1000 IOPS? Все равно негусто, пара серваков, да десяток дисков, типикал non-IT тырпрайз.

@etw > 100 rps ну еб твою мать прекращай там разговаривать с наркоманом

@n Повторяй почаще, чтобы не разувериться.

@komar Сорь

@etw про rps не в курсе. да хуй на густость, под категорию продакшн попадает

@komar > жрёт доб > ходит в горы > я наркоман

@n Таким макаром и мамка твоя в борделе - тоже продакшен. нагрузка мизер, железа мало, вероятность наступить на грабли - минимальна, можно хоть на fat32 крутить.

@etw там специально отобранные контроллеры и волшебная операционная система

@n Ты комара, случайно, с ляхом не перепутал?

@anonymous Контроллеры там обычные, на чипах тех же вендоров, что и остальные. А операционка тебе IOPS-ов из ниоткуда взять не может.

@etw съеби

@anonymous Сорь // Иди нахуй

@etw Я хожу в горы и жрал доб один раз.

@etw не вижу связи. грамотно настроенная система имеет одинаковое количество граблей и при низкой и при высокой нагрузке, и на железо срать

@komar С сочетанием доба и гор больше лях ассоциируется. // Сорь, ты менее популярен, чем лях.

@etw бля пиздос(((((

@komar пойду разъебусь с ледника с горю

@etw я нет, а они?

@n Ясно, еще и логику не умеешь. Объясняю для тупых: чем больше систем, тем вероятнее найти баг хотя бы на одной. Ты же, например, не станешь утверждать, что в хранилище с 1000 дисками в год выходит из строя столько же, сколько с хранилище с 10? Так и здесь такая же ситуация. Если у тебя 1000 серверов, то вероятность словить более-менее редкую проблему выше, чем если их 2. То же самое с нагрузкой: в высоконагруженной системе за единицу времени происходит больше событий, чем в малонагруженной, соответственно, напороться на проблему вероятность тоже выше.

@etw сначала покажи мне обычные диски с обычными контроллерами в spc-1, а потом кукарекай // сорь

@anonymous Эээ... примерно все (если хотя бы один пример, то вот http://www.storageperformance.org/benchmark_results_files/SPC-1/IBM/A00097_IBM_Storwize-V7000/a00097_IBM_Storwize-V7000_2-node_SPC1_executive-summary.pdf)? Если дано, что технологии производства жетких дисков есть только 2х компаний (а все тырпрайзные диски - это ребренженая продукция этих компаний), а чипы для контроллеров делает, кажется 3 фирмы, то глупо ожидать, что в этих бенчмарках будут какие-то марсианские технологии. Суть SAN не в том, что там какое-то уникальное железо, а в том, что это решение "под ключ", с документацией, кейсами, best practice и техсаппортом от вендора.

@anonymous ты совсем тупой

@etw >56k iops >$7.24/iops ты издеваешься шоле? кому это говно по таким ценам нужно?

@anonymous // upd. сначала покажи мне обычные диски с обычными контроллерами по конкурентоспособным ценам в spc-1, а потом кукарекай

@anonymous В условиях этого не было, впрочем, вот тебе еще пример http://www.storageperformance.org/benchmark_results_files/SPC-1/Huawei/A00119_Huawei_Dorado5100/a00119_Huawei_Dorado5100_SPC-1_executive-summary.pdf Если и это не нравится, то ищи сам, где там блинницы будут не от хитачи/сигейта и контроллеры не от LSI или его конкурентов, это несложно.

@etw ето нравится, но чото я никак не пойму, какая там ОС

@anonymous У IBM'a, кстати, тоже хз какая ОС (но я двже не стал смотреть после таких спеков)

@anonymous Наркоман ебаный, тред перечитай, при чем тут ОС? Речь шла про то, что в SAN-ах (даже самых навороченых) стоят обычные диски хитачи/сигейта с вендорскими наклейками (и, изредка, кастомной прошивкой) и HBA/RAID-контроллеры на обычных чипах от LSI/Qlogic.

@komar пиздец

@etw >и волшебная операционная система >5IL3S9/BT8 тупой шоле

@anonymous > А операционка тебе IOPS-ов из ниоткуда взять не может. > сначала покажи мне обычные диски с обычными контроллерами в spc-1, а потом кукарекай // сорь Нет, ты.

@etw бля сорь // ступай