Есть https://docs.python.org/3/library/ast.html . тебе точно нужен именно ЛЕКСИЧЕСКИЙ анализатор?

@stiletto Угу. У меня студенты-физики (до этого физиков не учил) друг с друга передирают по-чёрному. Я хочу на следующий семестр автоматически это сечь. Написал уже тулзу. Но по деревьям в процентах оценивать наибольшую общую подпоследовательность токенов как-то оверкилл (ибо речь не о поиске программных клонов, а о сравнительно тупом копипасте). Pygments даёт неплохой и правдоподобный результат. По крайней мере моя тулза сказала, что мудаки те, про кого я и сам так решил, ну и ещё парока, которых я не сам зметил. Но Pygments — через жопу как-то, ибо не для того он.

@dluciv Ну и какбы да, некоторые особо козловые научились переименовывать идентификаторы и константы. Поэтому в зверском режиме тулза будет их заменять на пустые, чтобы и таких тоже ловить.

@dluciv https://docs.python.org/3/library/tokenize.html окау

@stiletto это правда закос, а не апи инторпритатыра

@stiletto Спасибо! Чукча не читатель, под носом у себя не видит...

@dluciv Правда он не отличает ключевые слова от идентификаторов. Но на то есть модуль `keyword` вроде как.

@dluciv Эх, зря я институты свои бросил. Сейчас бы преподавал, уважаемым человеком стал...

@komar Не стал бы

@dluciv Ладно. Клоуном бы стал с синдромом гардеробщика.

@komar с синдромом дисплазии и гиперплазии