Скрипт который мог бы выполняться долго
Всем привет!
Вообще то я пишу на C++, но сейчас пришлось столкнуться с PHP.
Суть проблемы следующая: есть программа, которая обрабатывает очень большой объем данных. После обработки она должна результаты занести в БД MySQL. Для чего формирует текстовый файл с SQL запросами и по FTP выкладывает на сервер. Дальше программа запускает скрипт, который считывает и выполняет эти запросы по одному.
Проблемма в том, что результат обработки это десятки тысяч запросов типа INSERT и UPDATE. Скрипт успевает выполнить только часть из них, и затем "умрает".
Вообщем вопрос: что сделать что бы скрипт мог выполнятся как угодно долго? Или как еще можно вставить в базу большой объем данных?
Может уже существуют готовые решения?
Заранее спасибо.
Вообще то я пишу на C++, но сейчас пришлось столкнуться с PHP.
Суть проблемы следующая: есть программа, которая обрабатывает очень большой объем данных. После обработки она должна результаты занести в БД MySQL. Для чего формирует текстовый файл с SQL запросами и по FTP выкладывает на сервер. Дальше программа запускает скрипт, который считывает и выполняет эти запросы по одному.
Проблемма в том, что результат обработки это десятки тысяч запросов типа INSERT и UPDATE. Скрипт успевает выполнить только часть из них, и затем "умрает".
Вообщем вопрос: что сделать что бы скрипт мог выполнятся как угодно долго? Или как еще можно вставить в базу большой объем данных?
Может уже существуют готовые решения?
Заранее спасибо.
Ну вообще set_time_limit() функция есть. Но не любой хостер разрешит такое + долгая нагрузка на БД - это тем более хостеру не понравиться. Так что я вижу только одно - разбивать это мно-во sql запросов на части и загонять их не разом, а частями.
ЗЫ: периодически - это значит использовать crontab (для *nix)
ЗЫ: периодически - это значит использовать crontab (для *nix)
а как насчет LOAD DATA INFILE ?
или запустить процесс в бэкгроунде
или запустить процесс в бэкгроунде
А как можно запустить такой процесс в бэкграунде (фоновом режиме)? У меня самого такая задача: есть список адресов (>5000 штук) и сканер, обходящий эти адреса ежедневно с целью проверки наличия кода. В процессе работы php-скрипта составляется sql запрос, который в конце работы скрипта импортируется в БД (запросы update).
Проблема в двух местах:
1. Много адресов для проверки
2. Каждая проверка адреса занимает ~3 сек.
Пришел к выводу, что без фонового режима не обойтись, но как его реализовать - не знаю, опыта не было. Может, кто подскажет?
Проблема в двух местах:
1. Много адресов для проверки
2. Каждая проверка адреса занимает ~3 сек.
Пришел к выводу, что без фонового режима не обойтись, но как его реализовать - не знаю, опыта не было. Может, кто подскажет?
функция set_time_limit()
для запуска можно вызвать через консоль или крону составить расписание
в чем проблема-то?
для запуска можно вызвать через консоль или крону составить расписание
в чем проблема-то?
Ясно, значит, скрипт будет работать как угодно долго, не зависимо от установленного лимита в конфигурации...
Осталось только в консоли запустить несколько копий скрипта в фоновом режиме и будет увеличение скорости обработки в разы.
Только над разраничением адресов из списка на каждый скрипт нужно подумать.
Осталось только в консоли запустить несколько копий скрипта в фоновом режиме и будет увеличение скорости обработки в разы.
Только над разраничением адресов из списка на каждый скрипт нужно подумать.
Помимо лимита на время выполнения не забудьте еще про лимит памяти