BnW — captain-obvious: Народ, такая хуйня. Надо проверить огромный текст…

Народ, такая хуйня. Надо проверить огромный текст на наличие повторов. Не на какой-то условный плагиат, а на повторение фраз внутри текста. Скажем, на с. 42 написано "Lorem ipsum dolor sit amet", и это же есть на с. 1050. Надо отследить такие явления. Какие есть для этого приблуды? Или может костыли?

Рекомендовали: @goren

#WK96EZ / @captain-obvious / 2730 дней назад

grep

#WK96EZ/TNA / @telegram / 2730 дней назад

@telegram И как ты будешь это делать грепом интересно?

#WK96EZ/2M2 / @xl0 --> #WK96EZ/TNA / 2730 дней назад

sed

#WK96EZ/521 / @anonymous / 2730 дней назад

@telegram В греп надо готовое значение вставить. А я заранее не знаю, что там может повторяться.

#WK96EZ/MO8 / @captain-obvious --> #WK96EZ/TNA / 2730 дней назад

@xl0 прочитаю текст, записывая частые фразы ??? профит

#WK96EZ/9DI / @telegram --> #WK96EZ/2M2 / 2730 дней назад

emacs

#WK96EZ/E3K / @anonymous / 2730 дней назад

l29ah

#WK96EZ/9PL / @anonymous / 2730 дней назад

@anonymous а чо тама

#WK96EZ/BHP / @captain-obvious --> #WK96EZ/E3K / 2730 дней назад

@anonymous слишком дорого

#WK96EZ/XD5 / @captain-obvious --> #WK96EZ/9PL / 2730 дней назад

поебаться со мной хочешь? // stackoverflow find repeated phrases

#WK96EZ/558 / @komar / 2730 дней назад

палю: de bruijn graph

#WK96EZ/CSH / @anonymous / 2730 дней назад

@anonymous //на самом деле шинглы

#WK96EZ/XKV / @anonymous --> #WK96EZ/CSH / 2730 дней назад

@komar Специально поискала ещё раз. Там только микрософт шорд, а всё остальное на первых двух страницах не о том.

#WK96EZ/CQE / @captain-obvious --> #WK96EZ/558 / 2730 дней назад

@captain-obvious http://sporkforge.com/text/word_count.php первая ссылка в жужле

#WK96EZ/BWW / @anonymous --> #WK96EZ/CQE / 2730 дней назад

@anonymous какой запрос? у меня не было

#WK96EZ/PG7 / @captain-obvious --> #WK96EZ/BWW / 2730 дней назад

@captain-obvious find repeated phrases online bez sms

#WK96EZ/9DA / @anonymous --> #WK96EZ/PG7 / 2730 дней назад

@anonymous бля хуй знает, искала так

#WK96EZ/PYZ / @captain-obvious --> #WK96EZ/9DA / 2730 дней назад

@anonymous короч оно не умеет в рахинский язык

#WK96EZ/YE7 / @captain-obvious --> #WK96EZ/BWW / 2730 дней назад

@captain-obvious замени буквы на латинские, then pretend that it is not ruheensky

#WK96EZ/99I / @anonymous --> #WK96EZ/YE7 / 2730 дней назад

@anonymous kostyl'no, spasibo!

#WK96EZ/WD4 / @captain-obvious --> #WK96EZ/99I / 2730 дней назад

@anonymous Ииии конечно же оно не принимает овер 50к слов, а мне надо 400к, ну такое

#WK96EZ/LX9 / @captain-obvious --> #WK96EZ/99I / 2730 дней назад

Что-то мне подсказывает, что можно просто нормализовать текст (в простейшем случае — привести символы к одному регистру и убрать знаки препинания, но можно и корни выделить с отбрасыванием не значимого мусора), а потом сжать его LZMA и изучить полученное дерево.

#WK96EZ/JPU / @ceyt / 2730 дней назад

Напишу на петухоне за .03 бтц

#WK96EZ/H94 / @mugiseyebrows / 2730 дней назад

geany

#WK96EZ/BF1 / @sin-ok / 2730 дней назад

@mugiseyebrows это сколько в ымперских?

#WK96EZ/07Z / @goren --> #WK96EZ/H94 / 2730 дней назад

@goren около 1500 рубликов

#WK96EZ/M6Q / @xenomorph --> #WK96EZ/07Z / 2730 дней назад

@captain-obvious Уточка, миленькая, ты иногда бываешь такой тупой пиздой, что у меня на тебя, наверное, встанет только после минета. Еще раз она поискала, блядь.

#WK96EZ/ECO / @komar --> #WK96EZ/CQE / 2730 дней назад

@xenomorph Могу собрать на такое

#WK96EZ/HQO / @goren --> #WK96EZ/M6Q / 2730 дней назад