Два года в /fg/. Войти !bnw Сегодня Клубы
osm
Импорт полного дампа планеты в slim mode на хуевом железе — это пиздец, все упирается в IO постгреса на чтение и скорость добавление way’ев падает до 100 в секунду (при десятках миллионов). osmosis же импортирует все за ночь, но какое-то говно из голых нод. Обнаружил, что в git-версии osm2pgsql появились какие-то интересные опции, буду пробовать.
#KXCPPI / @komar / 3256 дней назад

> IO постгреса чо
#KXCPPI/J75 / @anonymous / 3256 дней назад
@anonymous База ебется селектами, селекты тормозят.
#KXCPPI/87U / @komar --> #KXCPPI/J75 / 3256 дней назад
@komar так это экспорт. из постгреса в куда?
#KXCPPI/CIL / @anonymous --> #KXCPPI/87U / 3256 дней назад
@anonymous Из постгреса в osm2pgsql, а затем обратно.
#KXCPPI/YIX / @komar --> #KXCPPI/CIL / 3256 дней назад
пендосские диверсанты пробираются на постгрес и отключают систему индексов
#KXCPPI/SCU / @anonymous / 3256 дней назад
@anonymous Индекс по таблице в 180 гигабайт. В память не помещается нихуя. А у меня ее всего 2 гигабайта.
#KXCPPI/70U / @komar --> #KXCPPI/SCU / 3256 дней назад
@anonymous Кстати, я рассматриваю вариант, что из-за того, что это поделие все делает в транзакции, индекс тупо не используется.
#KXCPPI/9F9 / @komar --> #KXCPPI/SCU / 3256 дней назад
@komar бля, это как вообще? как использование индекса может зависеть от транзакции? ну и индексы на самом деле должны быть не при чём. по-хорошему должна линейно читаться таблица, но я хз что там у вас вообще происходит.
#KXCPPI/7NM / @anonymous --> #KXCPPI/9F9 / 3256 дней назад
@anonymous Блядь, тебе правда интересно, или ты выебываться пришел и тебя проще на хуй послать?
#KXCPPI/VGR / @komar --> #KXCPPI/7NM / 3256 дней назад
@komar сначала второе потом первое
#KXCPPI/26Q / @anonymous --> #KXCPPI/VGR / 3256 дней назад
@anonymous 1) Постгрес имеет обыкновение не использовать индексы, покудова не нажмешь analyze. Если в транзакции создается индекс и в ней же идут инсерты, то вполне вероятно, что эта хуйня не сможет использовать их тоже. 2) Данные читаются не линейно. 3) Съеби.
#KXCPPI/YD4 / @komar --> #KXCPPI/26Q / 3256 дней назад
@komar >покудова не нажмешь analyze. хуйню написал >то вполне вероятно, что эта хуйня не сможет использовать их тоже. если читается в той же транзакции, то всё будет. если в другой - то смотря какие транзакции. короче всё как обычно же, без магии.
#KXCPPI/CD4 / @anonymous --> #KXCPPI/YD4 / 3256 дней назад
@komar SSD?
#KXCPPI/64K / @anonymous --> #KXCPPI/9F9 / 3256 дней назад
@anonymous SSD надо гигабайт на 600. Хотя я могу ошибаться.
#KXCPPI/BJ9 / @komar --> #KXCPPI/64K / 3256 дней назад
@komar Нахуй так много, если база 180?
#KXCPPI/Q3U / @anonymous --> #KXCPPI/BJ9 / 3256 дней назад
@anonymous Да уебывай уже, клоун.
#KXCPPI/MUP / @komar --> #KXCPPI/Q3U / 3256 дней назад
@komar >не различать анонимусов
#KXCPPI/XHS / @anonymous --> #KXCPPI/MUP / 3256 дней назад
@anonymous Че-то вы одинаковые клоуны.
#KXCPPI/OEQ / @komar --> #KXCPPI/XHS / 3256 дней назад
@komar Можно bcache (или аналог) впердолить, для создания индексов должно сильно помочь.
#KXCPPI/KBL / @anonymous --> #KXCPPI/BJ9 / 3256 дней назад
@anonymous О, заебись. Я думал над этим, но почему-то решил, что реализаций нет.
#KXCPPI/0WD / @komar --> #KXCPPI/KBL / 3256 дней назад
@komar bcache/flashcache/lvm cache/dm-cache, хуй знает что из этого лучше подойдёт
#KXCPPI/7JW / @anonymous --> #KXCPPI/0WD / 3256 дней назад
@anonymous (flashcache facebook юзал (юзает?) для мускуля, так что в его сторону стоит глянуть
#KXCPPI/I2T / @anonymous --> #KXCPPI/7JW / 3256 дней назад
@anonymous Да я гляну в сторону того, что проще в доебан впердолить. Ленивый я.
#KXCPPI/XT4 / @komar --> #KXCPPI/I2T / 3256 дней назад
@komar вообще похер должно быть, они, вроде, в доебане все есть.
#KXCPPI/8R5 / @anonymous --> #KXCPPI/XT4 / 3256 дней назад
@anonymous Заебись.
#KXCPPI/JQS / @komar --> #KXCPPI/8R5 / 3256 дней назад
@anonymous А на хуй и в пизду, лениво. Попробую сначала --flat-nodes на SSD засунуть.
#KXCPPI/HIX / @komar --> #KXCPPI/8R5 / 3256 дней назад
ipv6 ready BnW для ведрофона BnW на Реформале Викивач Котятки

Цоперайт © 2010-2016 @stiletto.