YouTube это кусок пиздеца.
Не, начнем с того, что это единственная популярная социальная сеть, которая поддерживает RSS.
Дальше я расскажу, как она его поддерживает.
Оранжевой кнопки RSS в интерфейсе нет нигде. Но есть ссылка в тегах.
Начинаем с того, что <link rel="..."> живет, блять, не внутри <head>, а внутри <body>, из-за чего любое xpath-выражение, написанное человеком с головой на плечах, не работает.
Но это полбеды. По умолчанию даже этого нет. По умолчанию есть страница, где надо дать разрешение на ебаное все.
Я нашел 3 (три) способа запросить нужную страницу с нужными тегами без этого ебаного разрешения:
1. поставить в user-agent: curl — именно эти четыре буквы, а дальше них можно писать все что угодно, хоть NIGGERж
2. отключить куки, в результате чего тебя посредством HTTP 302 Found отправить на страницу с соглашением, а оттуда — сразу обратно через HTTP 303 See Other;
3. включить куки, но поставить в них CONSENT=PENDING+653.
Это пиздец. Я такой хуеверти ни разу в жизни еще не видел.
В бот насралось +1000 юзеров меньше чем за день. Никогда такого не было.
Все подписаны на https://actualidad.rt.com/feeds/all.rss
Опрос новоприбывшых показал, что со вчерашнего дня Пашечка закрыл доступ к каналам RT для евросоюза и Испании в частности.
Сегодняшние ебанаты: https://getsession.org/feed
Там 50 мегабайт иксемелей. И только 69 постов.
Просто они повторяются 857 раз.
Кто-то не умеет джоинить.
Кстати — бот всегда поддерживал json-фиды!
Это как RSS или Atom, только вместо злоебучего XML’я в нем приятный json!
Сегодня я решил посмотреть, подписан ли кто на такой. Обнаружил среди 35 000 активных фидов аж целых 2 (с одного и того же сайта).
Посмотрите, какая красота: https://www.v2ex.com/feed/create.json
Намного читаемее XML’я! Интересно, почему веб-мастера такие лопухи и до сих пор не перешли?
О, мой бот до сих пор активно используется в бразильской группе (открытой) по языку программирования rust.
Несмотря на наличие одноименного с ботом «ящика» в cargo, а также опенсорсного @el_monitorro_bot на расте же. Что льстит, конечно, но тут решила простая случайность поди.
Говорят, что бот иногда дубликаты сообщений шлет. Что, разумеется, является галимым пиздежом. Я жопу порвал, чтобы такой хуйни — даже при моем уровне конкурентности, а это сейча с 60 запросов в секунду — никогда не возникало. А причина в том, что они надобавляли в список своих сраных RSS-агрегаторов новостей из мира раста. А так как бот не указывает источник сообщения — для этого надо аж кнопку в настройках нажимать — то выглядит это как стопроцентный дубликат.
В следующие сутки мне напишет 20 ебаных анимефагов о том, что nyaa.si отвалился.
(любопытствующие могут открыть https://nyaa.si/?page=rss и нажать ctrl+f5 несколько раз в браузере)
Попытался сделать из бота импровизированную слушалку подкастов. Ни хуя не получилось. Из 7 популярных фидов, выбранных для теста, не сработал ни один. Telegram, в лучших традициях уебищных сервисов, просто выдает `{ ok: "false", error_code: "400", description: "Bad Request: failed to get HTTP URL content" }`. Скорее всего — файлы слишком большие для него. У него ограничение на 20 мегабайт, а средний подкаст — это 50.
https://t.me/s/andrej_illarionov
На этой неделе кто-то в честь инфоповода зарегистрировал канал, подключил всем известного бота — и вот, сотня подписчиков уже.
Пользуйтесь, мамкины СММщики, мне не жалко.
https://torrentgalaxy.to/rss?magnet&user=
Я не уверен, что не так с этим фидом. Но, кажется, здесь хуесос не умеет экранировать амперсанды.
`{ok: "false", error_code: "403", description: "Forbidden: bot was blocked by the user"}`
`{ok: "false", error_code: "403", description: "Forbidden: bot can't send messages to the user"}`
О'кей, сейчас я вам все объясню. Сейчас вам станет все понятно.
В телеге можно заблокировать бота, если он тебя заебал. Бот после этого будет получать ошибку каждый раз, когда отправляет что-то заблокировавшему его пользователю.
Так как мой бот совершает фоновую работу, а не только овечает на входящие сообщения, то я делаю логичную вещь: удаляю все его подписки, чтобы не заниматься работой вхолостую, и не пытаться отправлять ему сообщения вновь.
Извините за то, что говорю об очевидных вещах. Но именно с очевидными вещами проблема.
Сверху два сообщения об ошибке.
Первое сообщение приходит тогда, когда бот блокируется пользователем.
Второе сообщение приходит тогда, когда телеграм раз в год на пару минут случайным образом вступает в особое состояние и начинает отвечать им на половину сообщений.
Это все. Я не знаю, что добавить. Я просто в ебаном ахуе. Это уровень пиздорукости очень крутого энтерпайза.
Да, я должен знать, что иногда приходит JSON с error_code 403 и строкой в дескрипшоне «бот не может отправлять сообщения пользователю» и обрабатывать это отдельно.
Откуда я должен знать? Есть ли спецификация по таким сообщениям?
Нет.
И если вы думаете, что таких «особенных» сообщений в телеге всего лишь две штуки, то посмотрите на #NA9O21, например.
Продолжаем исследовать волшебный мир HTTP-серверов на просторах интернета.
Сегодняшний хуесос: Миша Вербицкий.
curl -v 'https://lj.rossia.org/users/tiphareth/data/atom' -H 'User-Agent: I am a _bot_' > /dev/null 2>&1 | grep Location
< Location: http://lj.rossia.org//users/tiphareth/data/atom
Ебанешься догадываться, на какие костыли я напоролся. Но если убрать слово «bot» из юзерагента — все нормально.
https://gog-games.com/rss
А эти пидоры переиспользуют guid’ы для одних и тех же игор, а потом юзеры мне жалуются, что уведомления не приходят, когда игра обновляется.
Полез в спецификацию RSS 2.0, а там ни хуя не написано, что я должен в таких ситуациях делать.
О, вот это реально редкая штука:
curl -v 'http://www.kursivom.ru/comments/feed/' > /dev/null 2>&1 | grep Last-Modified
< Last-Modified: GMT
О’кей, пропатчил свою поебень под предыдущие — #S8IMQY — фиды.
Встречайте хуесосов сегодняшнего дня: https://rozetked.me/rss
70 мегабайт несжатого говна. Какой блокчейон, о чем вы.
За калудфларой, но cache-control: no-cache, private
Килограмм куков, но ни Last-Modified, ни ETag.
Сегодня в номере:
— https://www.mifengtd.cn/feed.xml — срет пожатым в gzip контентом, но не говорит об этом. wget или curl вам скачают крякозябры, но в браузере работает!
— curl -v 'https://millattimes.com/feed' -H 'If-Modified-Since: Wed, 30 Dec 2020 18:35:32 GMT' — похоже, в дополнение к выключалке ебучего ipv6 мне надо искать выключалку сраного http2.
Не, ну серьезно? Че это за хуйня? Госзакупки корейские?
http://dart.fss.or.kr/api/companyRSS.xml?crpCd=00126380
62 человека подписаны на этот фид.
Я тут (#OSQM5A) жаловался на фид от bitcoin.org. Забудьте, я сосу хуи.
Вот мой новый герой: https://maldita.es/feed
50 мегабайт иксемелей, в котором 8500 постов.
Etag’а нет, Last-Modified нет.
Годится в качестве боевой ссылки, если вам надо разломать чью-то читалку.
В 2017 ко мне пришел чувак и попросил пидорнуть мусор в виде HTML-тегов в сообщениях бота. Оказалось, что Atom их позволяет, как и много еще чего.
Тогда я сделал очень уродский патч: https://github.com/apsheronets/feedjira/commit/da27ffde15e9c636b390b52f8a67c3d5a9c8db69
По-другому и нельзя было. Потому что модный гемчик, блядь, и с его помощью прочитать ебаный атрибут у тега — это непосильная задача. Только вот так, через жопу.
Мне, конечно, было стыдно. Но через два года вышел патч от разработчиков этой поебени. И он выглядит еще хуевее: https://github.com/feedjira/feedjira/commit/b58b3441eadcdade8cc8ed5a781ccad59717791f
Особенно мне нравится, как они делают самый обыкновенный String#strip из стандартной библиотеки при помощи Loofah.fragment(@raw_title).xpath("normalize-space(.)")
Xpath, на хуй. Я бы за всю жизнь не додумался.
Цоперайт © 2010-2016 @stiletto.