паук

был бы благодарен за линку на место где можно получить исчерпывающую информацию о том как сделать паука(червь crawler и т.д.)
мне нужны конкретные советы
т.е. как вся эта хрень работает я знаю

хотелось бы в деталях почитать как сделать лучше быстрее эфективнее

конкретно меня интересует алгоритм хождения по ссылкам
как лучше парсить страницу
в каком порядке ходить по страницам

ну кто это делал тот знает и поймет чего мне надо