robots.txt arxiv.org разрешают краулить сайт только гуглоботу, msn и
яху.
Вот подонки.
Напиши им хейтспич и расскажи про yacy, чего же ты.
#WXRNNK/ESZ
/ @l29ah
/ 3465 дней назад
>http://arxiv.org/help/robots
>If some specific application requires relaxation of the above guidelines, contact the arXiv administrators in advance of any attempted download.
#WXRNNK/Z31
/ @anonymous
/ 3465 дней назад
Цоперайт © 2010-2016 @stiletto.