Залетел Апорт и повесил всё к чертям!

Что за сайт? Дай линк. Вообще, отдача страницы не должна привышать 1 секнды, в идеале - 0,5. Если страница отдаётся 10 секунд, то нужно думать об оптимизации кода и всё такое или наращивание железа. Вообще, можно попытаться отрубать их по имени браузера, от тупого спасёт. + Хотелось бы услышать на чём это крутится (выделеный, VPS, shared...).

Сейчас посмотрел ещё внимательно логи.
Мои попытки открыть страницы, когда были тормоза, прерываются постоянными вклиниваниями Апорта, и Гугл там ещё фигурирует:D
Можно ли поставить низкий приоритет роботам?

Многое зависит от того, что ты можешь на своем хостинге вытворять. Если есть возможность то можно установить load balancer: http://httpd.apache.org/docs/1.3/misc/rewriteguide.html

Ну и кеширование + индексы в БД, хотя это ты и сам знаешь ;)

Это каталог, скрипт lma-final-1.21, ссылку пока не могу дать, во-первых за многие вещи стыдно, во-вторых, есть некоторая ноу-хауность контента.
На выделенку пока только зарабатываю... пока только шарим :) У меня нет больших претензий к времени выдачи страниц, когда нет ботов. Базы довольно большие, таблицы по 50000-70000 строк, индексы есть, а вот про кэширование не знаю... Я пхп не руллез:mad:
Раскручу буду переходить на выделенный сервер, пока рано, 99,9% посетителей - боты:)

Эта штука ставится, я так понимаю, на Апач, т.е., нужен абсолютный доступ к серверу? Я могу только .htaccess редактировать.....

Прошу прощения, со ссылкой не понял сразу, сейчас перевел текст, стало понятно....

Кэширования запросов к базе нет, придется делать, попытаюсь вот этот класс прикрутить. Надеюсь разобраться....:)

Обдумывал по-разному сложившуюся ситуацию. Не поможет ни какая настройка кэширования, контент тянет тысяч на сто страниц. Посетителей после рассылок ожидаю много, будет просто всё весеть, и хостер погонит...:mad: Физический сервер сейчас ни как не могу делать, во-первых денег свободных нет, во-вторых не так это просто с моими знаниями сервак свой ставить. Хотя, есть все условия для домашнего сервера - к дому подведена оптоволоконная линия.
Посему, придумал такой вариант, и хочу спросить, есть ли в нем разумность...:confused:
Хочу выкачать весь контент из базы Телепортом, без шаблонов разумеется, и потом, выложить в статике html, а шаблоны приинклудить.
На сервере два с половиной гига диска, контент займет не больше полутора гигов. Такие меры помогут снять нагрузку?
Это будет полностью статический сайт, вся динамика будет на другом домене. Что скажете?

Вообще, разделение контента на статику - динамику даёт ощутимый прирост. Только учти, на статику нельзя ставить апач, а то смысла не будет. Там должны (ИМХО) стоять никсы (Linux/***BSD) и nginx/lighthttpd. Просто так ты выгодаешь в памяти и получишь прирост в скорости. Что касается динамики. Я не зря спросил ссылку, твой контент меня вообще не интересовал, т.к.:
1. Я не вор
2. Я не менеджер, я программист и моё дело создавать сайты, а не заботится о их наполнении.
Меня интересовало что есть на сайте (в плане динамики) и как часто оно обновляется. Просто представь себя, хостер в среднем даёт тебе метров 10 - 15 памяти (если щёдрый) и немного проца. Т.е. в среднем динамику может забирать одновременно (для тебя одновременно это по плохому 10 секунд, т.е. время максимальной отработки интепретатора для выдачи). Фактчески мы получаем, что по хорошему (в лучшем для тебя случае) ты сможешь отдаваить и запрос в 3 - 5 секунд. 2 одновременных зароса скорее всего погонят сайт в даун (это всего лишь предположения в расчёте на то, что таблицы не маленькие). Вот отсюда и пляши, на сколько тебе хватит шаред хостинга. Вооще по хорошему тебе нужно 3 машины поставить (с запасом):
1. прокси
2. за ней сервер
3. БД

Ghirik, давай определимся с числами. Какое кол-во посетителей и хитов за день ты ожидаешь увидеть на своем сайте? Хотя бы примерно.

Я бы сказал хитов, а не посетителей.

В общем, дело было так.
У меня есть несколько доменов, преимущественно, тогрующие по заказу китайской продукцией, дилерство. Дело довольно пагубное, собираюсь всё закрыть. Ради интереса, решил попробовать каталоги, сдул dmoz, выложил только часть, получил представление по кликовому выхлопу, подсчитал прирост с увеличением количества индексированных страниц, получилось не плохо. Сейчас имею несколько хороших тематических баз, котрые начинаю потихоньку выкладывать. Базы сделал сам, выдрав контент из нескольких виндовских программ.
Ну, это я так, чтобы было понятно чего я пытаюсь сделать.
Все эти каталоги будут, как придатки к работающим порталам, чисто для индекса. Вот... Пока немогу вложить в это дело ни копейки, большие долги по поставкам товара, пропало несколько дорогостоящих посылок из Китая, короче в полной заднице...

При проиндексированных 10 000 страниц я сейчас имею около 200-300 открываемых страниц в сутки. Это чисый индекс, ни одной ссылки на этот домен с других сайтов. Сейчас начал раскручивать домены с помощью IBP и addsite. Уже сделал около 500 ссылок на этот домен(буквально вчера). Плюс к этому добавил страниц, сейчас примерно 100 000. Роботы шуршат вовсю... Через пару месяцев, должны прошарить всё, и ссылок я надеюсь пару тысяч навтыкать... Плюс, буду генерить новые статические страницы по результатам популярных поисковых запросов...

Надеюсь получить 5000-10000 отрываний страниц в сутки.

Вот, думаю теперь всё ясно.
После Нового года буду ставить сервак. А пока хочу обойтись дешевым хостингом. Средний вес страниц с шаблоном около 13-17кБ Шаблоны отдельно - 8-10кб. Динамика на страницах минимальная, и только у клиента (JavaScript).

Исходя из этого, что думаете, хотя бы со скрипом будет работать статика? php на этом домене будет только отдавать готовый html и всё. Даже поиск будет делать CGI/перл, довольно шустрый - "ksearch".
Да, CGI/перл будет какие ресурсы жрать?

10000 открываний / (24 часа * 60 минут) = 7 хитов в минуту
Учитывая твои замеры о 3-10 секундах на открытие рядом с Апортом - все нормально. Я бы вообще ничего не менял.

Для 10к хитов это не нужно совсем. Тем более, что у тебя в основном статика. Вообще, такая схема делается примерно следующим образом. Ставится перед сервером (который динамику отдаёт) кэширующий сервер, который и кэширует контент (заголовками разруливаешь). Ещё туда можно вынести всю статику, чтоб он её отдавал (наверное частенько видел, что на крупных сайтах картинки грузятся не с "родного" доменна, а с img.******.ru :)). Вообще, поищи на эту тему в гугле лучше, просто тут в 2ух строчках не расказать.
2shine В "сутках" примерно 16 часов)) Но и это не показатель.