Наверняка у большинства из Вас стоит модуль контекстного поиска. О нЈм Вы знаете лишь одно (если знаете, конечно) - по кронтабу запускается задание, обрабатывается контент стартовой страницы, текст страницы сохраняется в табличку, дальше алгоритм по найденным ссылкам переходит на другие страницы и все повторяется...
из всего сказанного интересным пунктом является механизм поиска ссылок на другие страницы сайта, реализован он через регулярные выражения