Как задедлочить петухон
#!/usr/bin/python
import threading
import time
import logging
from multiprocessing import Process
def process():
logging.info('I am process')
time.sleep(10)
def worker():
logging.info('Worker')
p = Process(target = process)
p.start()
p.join()
return
logging.basicConfig(level=logging.INFO)
logging.info("Starting")
threads = []
for i in range(5):
t = threading.Thread(target=worker)
threads.append(t)
logging.info("Starting thread...")
t.start()
https://gist.github.com/anonymous/a3e5befe71a708273988 чот высралось
помогите оптимизировать запрос. Есть огромное кол-во id (около 20 млн), нужно везде поменять зничение одного поля средствами python+sqlalchemy. Пробовал по разному - тормозит просто дико, выполняется несколько часов. Один из примеров:
query = db.session.query(Test)
query.filter(Test.id.in_(test_ids)).update({Test.huj: 0}, synchronize_session='fetch')
Python 3 - мёртворожденный проект? http://habrahabr.ru/post/261575/
"От переводчика: в двух словах, в декабре 2015 выйдет релиз Python 2.7.11, ускоряющий работу интерпретатора CPython до 20%. Ниже перевод статьи с LWN.net, рассказывающей о сути и процессе произошедших изменений в коде. Имена, в произношении которых я не уверен, даны в оригинальном написании. Об ошибках и неточностях перевода просьба, как обычно, сообщать в личные сообщения.
Несмотря на то, что разработка Python 2 (а конкретно ветки Python 2.7.x) находится сейчас в состоянии «никаких новых фич», которое в обычной ситуации заранее ставит крест на любых крупных изменениях, команда разработки приняла решение рассмотреть и принять backport-патч из Python 3, привносящий заметное улучшение производительности интерпретатора.
Vamsi Parasa из команды оптимизации серверных скриптовых языков Intel предложил патч (описание предложения с бенчмарками), переводящий блок switch, отвечающий за обработку Python-байткода, на использование computed goto, как это уже сделано в Python 3. Как объяснял Eli Bendersky, в таком огромном switch-блоке, как в блоке разбора байткода в CPython (состоящем из более чем 2000(!) строк), это даёт ускорение порядка 15-20%. Это происходит по двум причинам: computed goto, в отличие от switch-case, не производит граничных проверок, необходимых для оператора switch по стандарту C99, и, что, возможно, более важно, CPU может лучше прогнозировать ветвления в таких ситуациях, что приводит к уменьшению числа сбросов конвейера, являющихся по своей природе «дорогой» операцией.
Несмотря на то, что некоторые из разработчиков CPython были против внедрения этого патча, т.к. «улучшение производительности — это не багфикс», решение было принято в пользу Intel.
Одной из немаловажных причин стал тот факт, что Intel сообщили о своей готовности в дальнейшем помогать с поддержкой и улучшением CPython при условии открытости ветки 2.7 для изменений, связанных с производительностью. В частности, это значит, что в то время, как разработчики Intel занимаются «скучными» частями (в основном, исправлением ошибок и ускорением ветки 2.7), разработчики-добровольцы из opensource-сообщества смогут уделять больше времени более интересным задачам:"
Чому https://repl.it/pyI не считает строки юникодом?
Python 2.7.2 (default, Jul 20 2011, 02:32:18)
[GCC 4.2.1 (LLVM, Emscripten 1.5, Empythoned)] on linux2
> print [u'тсе'.find(letter) for letter in u'тест']
[0, 1, 4, 5, 0, 3, 0, 1]
Без веб-говна всё работает.
Python 2.7.6 (default, Mar 22 2014, 22:59:56)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> print [u'тсе'.find(letter) for letter in u'тест']
[0, 2, 1, 0]
Python 2.7.9 (default, Dec 10 2014, 12:24:55) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print [u'тсе'.find(letter) for letter in u'тест']
[0, 2, 1, 0]
очень интересный видос, советую. Рассказ об опасных конструкциях в Python, не зная об особенностях которых, можно потратить пару-тройку часов на отладку: https://youtu.be/VzENGChkKa4
народ, подскажите как в питоне вычисляются выражения следующего вида: 5 < 100 % 2, например. Либо конец рабочего дня, либо я идиот, но последовательность не нахожу. Для наглядности: http://pastebin.com/TnAWFT3B
Бнвач, объясни технологию лонг поллинга, то есть его отличие от обычных аякс-запросов? Для реализации его нужна поддержка со стороны сервера, а клиентский жс остается неизменным? В питоньих фреймворках это реализовано? Сколько усилий мне требуется приложить, чтобы приложение на flask с обычным аякс поллингом на клиенте перевести нп лонг поллинг?
Последний вопрос в приоритете.
С хуяли во второй раз блядопитон нихуя не пишет в файлик?
c, addr = s.accept()
logger.debug(addr)
logger.debug("CONNECT!")
if addr:
js = recv_msg(c)
name = '/tmp/' + gen_name()
f = open(name, 'wb')
f.write(js)
logger.debug(name)
f.close()
data = {}
with open(name) as data_file:
data = json.load(data_file)
logger.debug(data['content'])
try:
r = open('/tmp/yyyytttt.recv', 'w')
d = data['content']
logger.info(d)
r.write( d )
logger.info("Content recieved")
except:
logger.debug('except')
os.remove(name)
Вы полтора года назад забацали программу на Питоне. Все эти полтора года программа росла, и данные, которые она переваривает, тоже росли.
И вот сейчас вы задумались о том, что так дальше продолжаться не может, и надо её распараллелить, т.к. больше ничего уже не сделать.
Вы подключили multiprocessing, стали пытаться делать так, чтобы всё работало правильно (для начала чтобы хоть как-то работало), и... осознали, что как раз сейчас и есть очень хороший момент для того, чтобы своей любимой программе сказать «большое спасибо» и переписать её на чё-то другом, что, как минимум, распараллеливаться будет без адских мучений.
Причём вполне вероятно, что новая программа будет работать с такой скоростью, что распараллеливание не будет актуально ещё года полтора. Но лучше сразу не обманываться, чтобы не страдать потом.
Несколько дней ебался с дописыванием питонодерьма. Наверное, программисты на этом языке - сверхлюди с феноменальной памятью и никогда не делающие опечаток. Воркфлоу был такой: написал пять строчек @ прогнал через транслятор чтоб отловить элементарные синтаксические ошибки @ задеплоил на таргет (арможелезка) @ запустил @ ждешь 10 минут пока оно грузится и просирается @ global name 'huipida' not defined @ исправил один символ @ повторить @ обосралось в другом месте
jabber-otr process died! Reason: 'exited abnormally with code 1', output: 'Traceback (most recent call last):
File "/home/dc/.emacs.d/vendor/emacs-jabber-otr/emacs-otr.py", line 173, in <module>
decoded = json.loads(data)
File "/usr/lib/python2.7/json/__init__.py", line 338, in loads
return _default_decoder.decode(s)
File "/usr/lib/python2.7/json/decoder.py", line 366, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/usr/lib/python2.7/json/decoder.py", line 384, in raw_decode
raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded#K4C5VC
(1)
/ @ninesigns / 3344 дня назад
Цоперайт © 2010-2016 @stiletto.