https://hackernoon.com/has-the-python-gil-been-slain-9440d28fa93d
Охуительно блять. Еще изолятов в духе node/v8 нам тут не хватало для полного счастья.
УНЯНЯ. У нас есть немножечко инфы
об этом пользователе. Мы знаем, что он понаписал,
порекомендовал и даже и то и другое сразу.
А ещё у нас есть RSS.
Ахаха, торнада, что ты делаешь, прекрати
https://github.com/tornadoweb/tornado/issues/1771
Кстати, кто-то из вас мог заметить, большинство наверняка не заметило, но в гитхабе бнвача появилась новая ветка "green".
Дело в том, что у бнвача теперь есть https://github.com/stiletto/bnw/blob/green/bnw/tests/test_server/tests.py немного криволапых интеграционных тестов.
Пока они охватывают только работу жаббер-интерфейса и то не полностью (пулл-реквесты с расширением принимаются), однако от них уже есть польза.
Кривенький CI составленный из докера и пары скриптов на баше периодически проверяет наличие новых изменений в master, тащит их себе, собирает и прогоняет эти тесты.
Если тесты проходят успешно, коммит автоматически пушится в ветку "green".
thumbor:
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
* 6845 0.2 32.7 1904124 642364 pts/4 S+ Сен11 5:15 *
старая генерилка тумбочек бнвача:
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
thumb 3254 0.1 7.4 809300 38148 pts/2 Sl+ Jun19 200:52 ./bnw_thumb -errorpic=1434.png -maxwidth=256 -maxheight=256 -maxindim=5120 -standbypic=256px-
Помните недавнее нытье лексика о том, что рутноп съедает всю память и убивает железку? Так вот, я в это говно тоже сел.
Первой мыслью было, что бидон настолько замечательно аллоцирует объекты, что заставляет glibc'овский malloc фрагментировать память.
Я экспериментировал с openbsd'шным malloc, tcmalloc, но память не возвращалась.
Оказывается, в бидоне есть встроенный аллокатор, надстроенный над системным malloc, добавляющий еще один уровень умничанья и пулов "свободной" памяти.
Я собрал бидон --without-pymalloc и запустил с LD_PRELOAD=/usr/lib/libtcmalloc.so
Память не возвращалась.
Я сходил почитал комиксы в инторнете, потупил в чятики, глянул в процесслист и обнаружил, что RSS упало.
Предположение: Python таки освободил память, но tcmalloc решил, что память можно придержать на случай, если она еще понадобится.
Чтобы проверить это предположение, я написал биндинги к tcmalloc.
Создаем крупный объект из кучи мелких говен. generic.current_allocated_bytes растет
Удаляем его. generic.current_allocated_bytes падает, tcmalloc.pageheap_free_bytes растет
Делаем pytcm.release_free_memory(), tcmalloc.pageheap_free_bytes падает, tcmalloc.pageheap_unmapped_bytes растет, RSS падает, VSZ остается высоким.
Память действительно освободилась питоном, а tcmalloc сделал madvise(...,MADV_DONTNEED) на страницы из своего page heap.
Мораль: PYMALLOC говно. Если ты эмбеддор, это первое, что тебе нужно выдрать из питона.
http://www.pacm.princeton.edu/pdf_files/Kernighan.pdf
Керниган о скриптовых языках, кстати
Это просто охуенно: http://eaglenest.ru/article/%D0%AF%20%D0.....0%B8%D1%8F
class ShittyClass(Deferred):
def __init__(self,fuck):
Deferred.__init__(self)
def real_init(self,data):
self.val = data
return self
d = do_some_asynchronous_shit_with_fuck(fuck)
d.addCallback(real_init)
d.chainDeferred(self)
теперь в инлайнколбэкс коде можно создавать объекты с помощью
shitobj = yield ShittyClass('ololo')
я объебос, да
http://paste2.org/p/1801761 -- Рендеринг полигоно-говен (почти) на БЕДОНЕ
35 фпс и у меня еще есть потенциал куда ещё надрочить
!
Нашелся хоть один хуй, который прочитал сорцы бнвача и даже взялся их критиковать. И это охуенно. tnx то КОГАМЕ, код бнвача сегодня стал чуть менее похож на помойку. пруф:
http://git.blasux.ru/gw?p=bnwach.git;a=b.....5c0ae26991
http://git.blasux.ru/gw?p=bnwach.git;a=c.....iff;h=HEAD
так выглядит код этого куска сейчас: http://git.blasux.ru/gw?p=bnwach.git;a=b.....objects.py
так выглядел ранее: http://git.blasux.ru/gw?p=bnwach.git;a=b.....5c0ae26991
ИЗ АМЕРИКАШКИ СВЯЗЬ ДО ГЕРМАШКИ НАДЕЖНЕЕ ЧЕМ ИЗ РАШКИ. Стабильные 10% лоссей где-то между ростелекомом и хецнером. НЯШЫ БЛЕАДЬ.
Из-за этих няш я двое суток выяснял почему hgweb страницы отдает то с тормозами то без, то отдает до конца, то залипает на середине.
Перетряс меркуриал, перетряс варниш, поставил fapws, написал патч к fapws, добился того чтобы этот патч приняли в апстрим.
Сегодня обнаружил похожее поведение за moinmoin. Охуел. Пинал моин. Снова теребил варниш. Потом попробовал погонять запросы не из дома, а с впс у vdsplanet.ru.
Понял, что запросы оттуда проходят нормально. Решил попинговать из дома. Охуел. Блевал. ЖЕЛАЛ УБИВАТЬ.
#!/usr/bin/env python3
"""B ЛЮБOM ДOME 3MEЮ HANДN TPETЬЮ
CЛOBA EN HA3OBN MAГNЧECKNE"""
from \
sys \
import \
stdin, \
argv
БE3YMHЫE_OHA_ПOKAЖET_3HAKN = {
"А": "A",
"В":"B", "Е":"E",
"З":"3","И":"N",
"Й":"N", "К":"K",
"М":"M","Н":"H","О":"O",
"Р":"P","С":"C","Т":"T","У":"Y",
"Х":"X","Ш":
"W","Я":
"R"
} # CONДEWЬ C YMA ПPOЧTR
БE3HOГNM = lambda ATNC: БE3YMHЫE_OHA_ПOKAЖET_3HAKN.get(ATNC, ATNC)
YBNДNWЬ_YЖAC_N = open(argv[1]) if len(argv)-1 else stdin
# БEГN ПOKA БE3HOГNM
print(''.join(map(БE3HOГNM,
# HE CЛYWAN CЛOBA MAГNЧECKNE
YBNДNWЬ_YЖAC_N.read().upper())))
# БEГN OT TEKCTA CTPAWHOГO
Цоперайт © 2010-2016 @stiletto.