Как долго жуют роботы
Google и Yandex тупят, каждый прожевал по 15(на которые есть ссылки с index), остальные не хочет(2,3 уровень). Rambler же нормальненько все кушает уже почти все проел... В чем может быть дело? И как с этим бороться...?
Если кто сталкивался с такой проблемой подскажите... Добавился новый раздел на сайте в котором около 5000 новых "страниц"(скрипт на PHP).
Google и Yandex тупят, каждый прожевал по 15(на которые есть ссылки с index), остальные не хочет(2,3 уровень). Rambler же нормальненько все кушает уже почти все проел... В чем может быть дело? И как с этим бороться...?
Ждать пока прожуют.
А еще лучше сделать типа карты со ссылками на каждую из страниц и подсовывать ее яндексу и гуглю. Т.е.: зашел человек - ему нормальную страницу. Зашел робот - ему карту. Правда, этим лучше не увлекаться. Оптимально - сделать просто файл со ссылками без ничего. И ждать.
Ждать пока прожуют.
А еще лучше сделать типа карты со ссылками на каждую из страниц и подсовывать ее яндексу и гуглю. Т.е.: зашел человек - ему нормальную страницу. Зашел робот - ему карту. Правда, этим лучше не увлекаться. Оптимально - сделать просто файл со ссылками без ничего. И ждать.
Карта не помогает а жду и так уже месяц... За это время Rambler уже почти все сьел, а гугл и яндекс (даж не хочу их писать правильно) аж 15 страниц каждый, аж страшно становиться... :o
Карта не помогает а жду и так уже месяц... За это время Rambler уже почти все сьел, а гугл и яндекс (даж не хочу их писать правильно) аж 15 страниц каждый, аж страшно становиться... :o
А как выглядит урла этих страниц?
Ссылку в студию!
А как выглядит урла этих страниц?
Ссылку в студию!
Что нашел Google
http://www.google.com.ua/search?hl=uk&ie=windows-1251&q=site%3Aproxima.com.ua%2Farticles%2F&meta=
Непосредственно сами статьи
http://proxima.com.ua/articles/
Владельцам больших сайтов следует иметь в виду, что любая поисковая
система
имеет отчасти архивный характер. Наш робот работает автоматически. При
этом
количество документов, которые могут быть просмотрены за один заход,
ограничено, в результате происходит постоянное накопление "балластного
слоя".
Могу посоветовать Вам сделать следующее:
а) закрыть от индексирования все неинформативные разделы (архивы,
форумы,
статистику...) с помощью файла robots.txt -
http://www.yandex.ru/info/webmaster2.html#robots .
б) правильно настроить сервер, с тем чтобы на удаленные страницы он
возвращал
404 ошибку, - тогда они будут автоматически и своевременно удаляться из
базы
Яндекса.
Для ручного удаления можно пользоваться также услугой на странице
http://webmaster.yandex.ru/delurl.xml .
--
С уважением,
Служба поддержки
Очень информативно... Но и на том спасибо
Получил ответ от Yandex
Владельцам больших сайтов следует иметь в виду, что любая поисковая
система
имеет отчасти архивный характер. Наш робот работает автоматически. При
этом
количество документов, которые могут быть просмотрены за один заход,
ограничено, в результате происходит постоянное накопление "балластного
слоя".
Могу посоветовать Вам сделать следующее:
а) закрыть от индексирования все неинформативные разделы (архивы,
форумы,
статистику...) с помощью файла robots.txt -
http://www.yandex.ru/info/webmaster2.html#robots .
б) правильно настроить сервер, с тем чтобы на удаленные страницы он
возвращал
404 ошибку, - тогда они будут автоматически и своевременно удаляться из
базы
Яндекса.
Для ручного удаления можно пользоваться также услугой на странице
http://webmaster.yandex.ru/delurl.xml .
--
С уважением,
Служба поддержки
Очень информативно... Но и на том спасибо
Очень полезная информация. Thanks. :!!!: Кое-что подчерпнул для себя. Особенно, учитывая перманентную неприязнь рамблера к моим сайтам (с него было больше всего заходов, т.к. ссылки были на первой странице Top100. И как только они там появляются, рамблер находит новое правило, которое я нарушаю :D, чтобы выкинуть эти ссылки из рейтинга), с яндексом следует дружить поподробнее.
Очень полезная информация. Thanks. :!!!: Кое-что подчерпнул для себя. Особенно, учитывая перманентную неприязнь рамблера к моим сайтам (с него было больше всего заходов, т.к. ссылки были на первой странице Top100. И как только они там появляются, рамблер находит новое правило, которое я нарушаю :D, чтобы выкинуть эти ссылки из рейтинга), с яндексом следует дружить поподробнее.
Про рамблер по подробней мне сейчас он дает 50% посетителей с поисковиков...
Про рамблер по подробней мне сейчас он дает 50% посетителей с поисковиков...
Это потому что он проиндексировал. :)
Я говорю про Top100 рамблера. Выкидывают. Без объяснений. Им это позволяет регламент. Причём, игнорируют все возгласы и объяснения. Можно даже в суд обратиться. А с них - как с гуся вода. Сервис-то бесплатный!
Утверждают, что мы накручивали счётчик. Сроду этим не занимался. А вот рядом - чуть повыше в рейтинге - сайты, которые реально пользуются всякими hithost'ами. А им можно? Опять без объяснений...
Назревает вопрос: так-ли уж бесплатен бесплатный сервис Top100?
или на
seochase.ru
Это потому что он проиндексировал. :)
Я говорю про Top100 рамблера. Выкидывают. Без объяснений. Им это позволяет регламент. Причём, игнорируют все возгласы и объяснения. Можно даже в суд обратиться. А с них - как с гуся вода. Сервис-то бесплатный!
Утверждают, что мы накручивали счётчик. Сроду этим не занимался. А вот рядом - чуть повыше в рейтинге - сайты, которые реально пользуются всякими hithost'ами. А им можно? Опять без объяснений...
Назревает вопрос: так-ли уж бесплатен бесплатный сервис Top100?
Что за накрутчики? Всегда интересно новому научиться :)
Что за накрутчики? Всегда интересно новому научиться :)
Да много раздных... Я их и не знаю. Рамблер предложил зайти (в виде образца, с которого мы, якобы и накручиваем) на hithost.ru.
PS. Меня осенило: может они и накруточный бизнес решили под себя подмять?