Как работают поисковики?
Всем привет!
Прошу заранее извинить мою тупость, но у меня вот какой вопрос:
Как поисковики достигают таких нереальных скоростей?
Ведь у поисковиков гигантские базы, несколько миллиардов страниц,
а каждая страница весит от 1 кб до нескольких сотен кб, а то и метр...
А поисковики умудряются проштудировать эту гигантскую базу за несколько сотен мс! Я конечно понимаю, что там всё нереально оптимизировано, что стоит по 32 проца, по 64 гига памяти, куча рэйд массивов, но всё равно таких скоростей по-моему нельзя достичь, чтобы сотни террабайт, а то и экзабайт обрабатывались за столь короткое время... Может кто-то знает принципы их работы?
Прошу заранее извинить мою тупость, но у меня вот какой вопрос:
Как поисковики достигают таких нереальных скоростей?
Ведь у поисковиков гигантские базы, несколько миллиардов страниц,
а каждая страница весит от 1 кб до нескольких сотен кб, а то и метр...
А поисковики умудряются проштудировать эту гигантскую базу за несколько сотен мс! Я конечно понимаю, что там всё нереально оптимизировано, что стоит по 32 проца, по 64 гига памяти, куча рэйд массивов, но всё равно таких скоростей по-моему нельзя достичь, чтобы сотни террабайт, а то и экзабайт обрабатывались за столь короткое время... Может кто-то знает принципы их работы?
Ключевое слово "индексация". То есть ищут они не перебирая подряд целые страницы, а используя удобную для этого структуру.
Какую структуру?
Позвоните тов.Брину и спросите.
номерок не подкинете?
Так что никто не знает как работают поисковики хотя б общие принципы? Разве никто с ними не работал тут? Или линку хотя б может кто знает? А то я инфы по ним не сильно много нарыл...
Так что никто не знает как работают поисковики хотя б общие принципы? Разве никто с ними не работал тут? Или линку хотя б может кто знает? А то я инфы по ним не сильно много нарыл...
Любимая фраза тех, кто не хочет читать ответы — "что, никто не знает?".
а какие я потвоему ответы не читал? ты гдето ответы видел?
В Гугле на эту тему инфы навалом.
де в гугле?
Цитата: Rexulnik
а какие я потвоему ответы не читал? ты гдето ответы видел?
Об индексации.
ИМХО для начала неплохо. Получил ключевое слово - пробуй гуглить ;)