Ну вот хочется мне прочитать статью на The Washington Post про то, как негров угнетают.
Нажимаю ссылку — а мне предлагают подписаться за $2, а бесплатно только один абзац прочитать.
О’кей. Вбиваю заголовок в гугол, нажимаю «cached» — и читаю статью полностью.
И дело тут не в том, что у версии, которую отдает тебе гугол, повыключен весь жопоскрипт. На самом деле выключить жопоскрипт недостаточно — сам текст статьи тебе сервер washingtonpost.com в HTML не отдает, пока ты не зарегистрируешься. Просто этот же сервер отдает гуглу другой вариант страницы — с полным текстом, чтобы индексировалось лучше. Скорее всего, делает это сервер по IP — гугол всегда приходит из 66.249.0.0/16.
Вообще-то эта хуйня называется «клоакинг» и всю жизнь была караема поисковиками. Но когда это уважаемое издание, то, очевидно, что «это другое».
У них особые договорённости, поскольку Google News и новостная панель в Android существуют лишь в той степени, в какой существует баланс между тем, как крупные поставщики содержимого и его распространитель удовлетворяют или наёбывают друг друга.