А посоветуйте роботов, что ходят по ссылкам, типа краулеров и тому подобного. Желательно чтоб ещё и рекурсивно по всем ссылкам на странице