Вопросы по клоакингу
После изучения различных источников по клоакингу возникла небольшая каша в голове :) и пара вопросов.
1). Необходимо запретить поисковым ботам переходить по некоторым ссылкам на сайте.
Т.е. при клике по ссылке будет проверяться айпишник\юзерагент и в случае соответствия списку айпи ботов, ему будет отдаваться 404 ошибка.
Можно ли за такие вещи схлопотать бан от поисковиков за клоакинг или лучше отказаться от греха подальше?
2). Считается ли клоакингом локализованный по стране юзера контент сайта?
Т.е. опять же - смотрим по айпи страну\язык и отдаем в зависимости от этого разный контент.
Хотелось бы увидеть более-менее точное определение клоакинга, тк имхо формально под него можно подвести очень много чего :)
Т.е. при клике по ссылке будет проверяться айпишник\юзерагент и в случае соответствия списку айпи ботов, ему будет отдаваться 404 ошибка.
Можно ли за такие вещи схлопотать бан от поисковиков за клоакинг или лучше отказаться от греха подальше?
По стуку вполне могут забанить. Поэтому лучше делай так:
[HTML]
<noindex>
<a rel="nofollow" href="http://skagem_botam.net">Бот не пройдет</a>
</noindex>
[/HTML]
Т.е. опять же - смотрим по айпи страну\язык и отдаем в зависимости от этого разный контент.
За это тоже может влететь со стороны поисковиков хотя бы потому, что они проиндексируют одно, а пользователи которые будут приходить на твой сайт могут видеть совсем другое.
Хм, тогда получается всем владельцам сайтов с локализованным по странам контентом так или иначе влетает от поисковиков :)
Получается, перевод сайта на родной язык пользователя подпадает под клоакинг - может, тогда и не стоит его делать? ;)
Это можно как-нибудь легально обойти, без последствий со стороны поисковиков?
1). Необходимо запретить поисковым ботам переходить по некоторым ссылкам на сайте.
Т.е. при клике по ссылке будет проверяться айпишник\юзерагент и в случае соответствия списку айпи ботов, ему будет отдаваться 404 ошибка.
Можно ли за такие вещи схлопотать бан от поисковиков за клоакинг или лучше отказаться от греха подальше?
через скрипт ставь ссылки, например через JS, поисковики такие ссылки не индексируют.
нет
поисковик будет индексировать ту страницу которая ему выдалась.
посетителю и поисковику выдается разная информация.
при клике по ссылке будет проверяться айпишник\юзерагент и в случае соответствия списку айпи ботов, ему будет отдаваться 404 ошибка.
Можно ли за такие вещи схлопотать бан от поисковиков за клоакинг или лучше отказаться от греха подальше?
Однозначно - бана не последует, т.к. нет никакого клоакинга, поисковой системе не отдается вообще никакого контента. Страница просто не проиндексируется, а если была проиндексирована ранее, то в скором времени будет удалена из базы.
Но запретить индексацию определенных страниц и каталогов можно проще - в файле robots.txt, также можно запретить индексацию части документа Яндексом, заключив ее в <noindex>...</noindex>
2). Считается ли клоакингом локализованный по стране юзера контент сайта?
Т.е. опять же - смотрим по айпи страну\язык и отдаем в зависимости от этого разный контент.
Если контент предназначен для пользователей, а не для ПС, клоакингом это не считаться не будет, только вот... Определить страну по IP можно, а как определить язык? Например, далеко не все жители Израиля разговаривают только на иврите, в Германии также масса бывших наших соотечественников, я уж не говорю о странах "ближнего зарубежья". Да и мало ли народу на учебе/командировке/отдыхе и т.п.
С определенной долей вероятности определить язык можно по HTTP заголовку Accept-Language. Но, мне кажется, что лучше предоставить возможность пользователю самому выбрать язык.
Еще пара утверждений, которые требуют проверки :)
1. Тег <noindex a rel="nofollow"></noindex> работает только в Яндексе\Рамблере. Гугл\МСН и прочие его не учитывают?
2. Все ли поисковики игнорят JavaScript? Где-то читал, что гугл вроде собирается парсить его ботами (?).
Тогда достаточно ли будет замены
на
для выполнения поставленной задачи по всем поисковикам?
1.2 <a rel="nofollow"> - для Google http://www.google.com/support/webmasters/bin/answer.py?answer=33582&query=rel+nofollow&topic=&type=
2. Еще раз повторю,
, проще и надежнее запретить индексацию в robots.txt
Яндекс не индексирует все, что внутри noindex. Гугл индексирует но не учитывает при раздаче ссылочного веса все то, что внутри a.rel="nofollow".
Насчет остальных ПС - не знаю.
У него не хватит на это мощности. Он даже простой HTML не успевает регулярно парсить, а ты хочешь чтобы он еще и JavaScript тебе разбирал. :)
Вобщем, имхо это нереально. Особенно учитывая современную моду на "WEB2.0" который на этом JavaScript по большой части и основан.