Импорт полного дампа планеты в slim mode на хуевом железе — это пиздец, все упирается в IO постгреса на чтение и скорость добавление way’ев падает до 100 в секунду (при десятках миллионов). osmosis же импортирует все за ночь, но какое-то говно из голых нод. Обнаружил, что в git-версии osm2pgsql появились какие-то интересные опции, буду пробовать.
> IO постгреса
чо
#KXCPPI/J75
/ @anonymous
/ 3495 дней назад
@anonymous База ебется селектами, селекты тормозят.
#KXCPPI/87U
/ @komar
-->
#KXCPPI/J75
/ 3495 дней назад
@komar так это экспорт. из постгреса в куда?
#KXCPPI/CIL
/ @anonymous
-->
#KXCPPI/87U
/ 3495 дней назад
@anonymous Из постгреса в osm2pgsql, а затем обратно.
#KXCPPI/YIX
/ @komar
-->
#KXCPPI/CIL
/ 3495 дней назад
пендосские диверсанты пробираются на постгрес и отключают систему индексов
#KXCPPI/SCU
/ @anonymous
/ 3495 дней назад
@anonymous Индекс по таблице в 180 гигабайт. В память не помещается нихуя. А у меня ее всего 2 гигабайта.
#KXCPPI/70U
/ @komar
-->
#KXCPPI/SCU
/ 3495 дней назад
@anonymous Кстати, я рассматриваю вариант, что из-за того, что это поделие все делает в транзакции, индекс тупо не используется.
#KXCPPI/9F9
/ @komar
-->
#KXCPPI/SCU
/ 3495 дней назад
@komar бля, это как вообще? как использование индекса может зависеть от транзакции?
ну и индексы на самом деле должны быть не при чём. по-хорошему должна линейно читаться таблица, но я хз что там у вас вообще происходит.
#KXCPPI/7NM
/ @anonymous
-->
#KXCPPI/9F9
/ 3495 дней назад
@anonymous Блядь, тебе правда интересно, или ты выебываться пришел и тебя проще на хуй послать?
#KXCPPI/VGR
/ @komar
-->
#KXCPPI/7NM
/ 3495 дней назад
@komar сначала второе потом первое
#KXCPPI/26Q
/ @anonymous
-->
#KXCPPI/VGR
/ 3495 дней назад
@anonymous 1) Постгрес имеет обыкновение не использовать индексы, покудова не нажмешь analyze. Если в транзакции создается индекс и в ней же идут инсерты, то вполне вероятно, что эта хуйня не сможет использовать их тоже.
2) Данные читаются не линейно.
3) Съеби.
#KXCPPI/YD4
/ @komar
-->
#KXCPPI/26Q
/ 3495 дней назад
@komar >покудова не нажмешь analyze.
хуйню написал
>то вполне вероятно, что эта хуйня не сможет использовать их тоже.
если читается в той же транзакции, то всё будет. если в другой - то смотря какие транзакции. короче всё как обычно же, без магии.
#KXCPPI/CD4
/ @anonymous
-->
#KXCPPI/YD4
/ 3495 дней назад
@komar SSD?
#KXCPPI/64K
/ @anonymous
-->
#KXCPPI/9F9
/ 3495 дней назад
@anonymous SSD надо гигабайт на 600. Хотя я могу ошибаться.
#KXCPPI/BJ9
/ @komar
-->
#KXCPPI/64K
/ 3495 дней назад
@komar Нахуй так много, если база 180?
#KXCPPI/Q3U
/ @anonymous
-->
#KXCPPI/BJ9
/ 3495 дней назад
@anonymous Да уебывай уже, клоун.
#KXCPPI/MUP
/ @komar
-->
#KXCPPI/Q3U
/ 3495 дней назад
@komar >не различать анонимусов
#KXCPPI/XHS
/ @anonymous
-->
#KXCPPI/MUP
/ 3495 дней назад
@anonymous Че-то вы одинаковые клоуны.
#KXCPPI/OEQ
/ @komar
-->
#KXCPPI/XHS
/ 3495 дней назад
@komar Можно bcache (или аналог) впердолить, для создания индексов должно сильно помочь.
#KXCPPI/KBL
/ @anonymous
-->
#KXCPPI/BJ9
/ 3495 дней назад
@anonymous О, заебись. Я думал над этим, но почему-то решил, что реализаций нет.
#KXCPPI/0WD
/ @komar
-->
#KXCPPI/KBL
/ 3495 дней назад
@komar bcache/flashcache/lvm cache/dm-cache, хуй знает что из этого лучше подойдёт
#KXCPPI/7JW
/ @anonymous
-->
#KXCPPI/0WD
/ 3495 дней назад
@anonymous (flashcache facebook юзал (юзает?) для мускуля, так что в его сторону стоит глянуть
#KXCPPI/I2T
/ @anonymous
-->
#KXCPPI/7JW
/ 3495 дней назад
@anonymous Да я гляну в сторону того, что проще в доебан впердолить. Ленивый я.
#KXCPPI/XT4
/ @komar
-->
#KXCPPI/I2T
/ 3495 дней назад
@komar вообще похер должно быть, они, вроде, в доебане все есть.
#KXCPPI/8R5
/ @anonymous
-->
#KXCPPI/XT4
/ 3495 дней назад
@anonymous Заебись.
#KXCPPI/JQS
/ @komar
-->
#KXCPPI/8R5
/ 3495 дней назад
@anonymous А на хуй и в пизду, лениво. Попробую сначала --flat-nodes на SSD засунуть.
#KXCPPI/HIX
/ @komar
-->
#KXCPPI/8R5
/ 3494 дня назад
Цоперайт © 2010-2016 @stiletto.