Справочник функций

Ваш аккаунт

Войти через: 
Забыли пароль?
Регистрация
Информацию о новых материалах можно получать и без регистрации:

Почтовая рассылка

Подписчиков: -1
Последний выпуск: 19.06.2015

Извлечение контента чужого сайта

514
05 сентября 2007 года
swordholder99
165 / / 11.12.2006
Уважаемые дамы и господа.
Как можно извлечь контент какого нибудь другого сайта.
Например если скажем я захочу чтобы на моем сайте показывалось курсы валют взятая из сайта центрального банка.
PHP скрипт который просто считывает инфо у чужого сайта и показывает его на моем сайте...

Спасибо!!!!
8
05 сентября 2007 года
mfender
3.5K / / 15.06.2005
Если конкретно нужны курсы валют ЦБР, то для этого не нужно парсить чужие сайты. Курсы валют распространяются в виде XML - http://www.cbr.ru/scripts/XML_daily.asp

А парсить чужие сайты без разрешения - воровство, т.е. преступление. Правила этого форума пресекают такие темы.
514
05 сентября 2007 года
swordholder99
165 / / 11.12.2006
Вы наверное меня неправильно поняли я не собираюсь воровством заниматься я просто хотел узнать методы парсинга чужих сайтов. Вообще то я хочу парсить прогноз погоды это разрешено...
251
05 сентября 2007 года
SkyMаn
1.7K / / 31.07.2007
Цитата: swordholder99
Вы наверное меня неправильно поняли я не собираюсь воровством заниматься я просто хотел узнать методы парсинга чужих сайтов. Вообще то я хочу парсить прогноз погоды это разрешено...


[HTML]
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>Untitled Document</title>
<style type='text/css'>
.gmtbl {background-color: #ffffff; border: 1px solid #241c11;}
td.gmtdttl, td.gmtdttl:hover {font-size: 14px; font-weight: bold; color: #000000; text-align:center; background-color: #f2e0c8;border-bottom: 1px solid #241c11;}
a.gmtdttl, a.gmtdttl:hover
{
color: #000000;
text-decoration: none;
}
.gmtdtext, .gmtdtext:hover {font-size: 12px; font-weight: normal; color: #000000;background-color: #fefefe; padding:1px;
}
table
{
padding:0; margin:0;
width:165px;
}
</style>
</head>
<body style="padding:0; margin:0; background:none;">
<script language='JavaScript' type='text/javascript' src='http://informer.gismeteo.ua/html/informer.php?index=33345%CA%E8%E5%E2&par=2&lang=&vieinf=sm&tblstl=gmtbl&tdttlstl=gmtdttl&tdtext=gmtdtext'></script>
</body>
</html>
[/HTML]
и парсить не надо))). Хотя, можешь данную страничку и запихнуть в обработку)

92
05 сентября 2007 года
Тень Пса
2.2K / / 19.10.2006
парсить? неееет... разрешено покупать прогноз погоды в виде XML.
8
05 сентября 2007 года
mfender
3.5K / / 15.06.2005
Цитата: swordholder99
Вообще то я хочу парсить прогноз погоды это разрешено...


Например, gismeteo продаёт прогноз погоды. И им очень не хочется, чтобы парсили их сайт. Во-первых, они быстро заблокируют доступ парсеру. Во-вторых, их юристы очень быстро найдут, кто крадёт у них информацию, и тогда в лучшем случае морду набьют... А могут и... Воровство - уголовно-наказуемое деяние.

251
05 сентября 2007 года
SkyMаn
1.7K / / 31.07.2007
Цитата: mfender
Например, gismeteo продаёт прогноз погоды. И им очень не хочется, чтобы парсили их сайт. Во-первых, они быстро заблокируют доступ парсеру. Во-вторых, их юристы очень быстро найдут, кто крадёт у них информацию, и тогда в лучшем случае морду набьют... А могут и... Воровство - уголовно-наказуемое деяние.


Хм, а я не знал)) :) А если пасить ихние фришные информеры?

10
05 сентября 2007 года
Freeman
3.2K / / 06.03.2004
Цитата: SkyM@n
А если пасить ихние фришные информеры?


А собственно, зачем их "пасить"? Не проще просто вставить в код страницы? По-моему, они для этого и предназначены.

8
05 сентября 2007 года
mfender
3.5K / / 15.06.2005
Цитата: SkyM@n
А если пасить ихние фришные информеры?

Информеры отражают текущее состояние погоды. На том же сайте есть и XML бесплатно для погоды на сегодня-завтра.Кстати, а как ты собирался "парсить" картинки?

563
05 сентября 2007 года
MrLinker
249 / / 17.09.2006
Забавно.
Никто так и не раскололся ;)
8
05 сентября 2007 года
mfender
3.5K / / 15.06.2005
Цитата: MrLinker
Забавно.
Никто так и не раскололся ;)


об чём? как парсить? как тырить информацию?
Очень хорошие результаты даёт анализ DOM-модели документа. )))) А то сейчас кто-нибудь предложит регулярные выражения. Хотя, и регулярные выражения - тоже имеющий место способ.

12
05 сентября 2007 года
alekciy
3.0K / / 13.12.2005
Цитата: mfender
об чём? как парсить? как тырить информацию?
Очень хорошие результаты даёт анализ DOM-модели документа. )))) А то сейчас кто-нибудь предложит регулярные выражения. Хотя, и регулярные выражения - тоже имеющий место способ.


К вопросу DOM vs RegExp :D
http://forum.codenet.ru/showpost.php?p=209273&postcount=10

8
05 сентября 2007 года
mfender
3.5K / / 15.06.2005
Цитата: alekciy


Ну, я примерно о том же. Я думаю, особенно в данном случае скорость совсем не играет ни какой рояли. Зато - какая гибкость!

Кстати, посмотрел кишки на gismeteo. Сама погода, которую предполагалось автором парсить - суть javascript. Так что...

333
07 сентября 2007 года
GHopper
200 / / 28.12.2004
а почему про замечательную библиотеку curl все молчат???
С помощью ее, как мне кажется, можно запарсить весь сайт гисметео и никто об этом не узнает...
92
07 сентября 2007 года
Тень Пса
2.2K / / 19.10.2006
запарсить - нельзя, качнуть - можно :) и всё об этом прекрасно узнают =) ибо было выше оговорено, что заблочат...
1.8K
08 сентября 2007 года
Ghirik
260 / / 15.03.2007
Уменя на трех сайтах работает скрипт, который спокойно, в режиме реального времени вытаскивает новости с другого сайта. И тот, другой сайт, просто в восторге, что я это делаю. Все вытащенные статьи имеют ссылки на источник. Вот если я уберу ссылки, тогда это воровство.

А с прогнозом погоды, вообще просто, по любому, у вас будет работать скрипт тягающий из XML формата. Какая разница, тягать из одного источника или двух-трех? Если будете брать данные из нескольких источников и выводить среднее значение, то это будет уже Ваш личный прогноз. Во первых очень мала вероятность совпадения значений с одним из доноров, во вторых это уже анализ прогнозов, собственное издание.

И ещё, если использовать ссылки на источник, то просто не делайте их активными, написали URL (png :)) и достаточно
8
11 сентября 2007 года
mfender
3.5K / / 15.06.2005
Цитата: Ghirik
Уменя на трех сайтах работает скрипт, который спокойно, в режиме реального времени вытаскивает новости с другого сайта. И тот, другой сайт, просто в восторге, что я это делаю. Все вытащенные статьи имеют ссылки на источник. Вот если я уберу ссылки, тогда это воровство.


А вот торговцы погодой не в восторге, ибо это - их бизнес.

Цитата: Ghirik
А с прогнозом погоды, вообще просто, по любому, у вас будет работать скрипт тягающий из XML формата. Какая разница, тягать из одного источника или двух-трех? Если будете брать данные из нескольких источников и выводить среднее значение, то это будет уже Ваш личный прогноз. Во первых очень мала вероятность совпадения значений с одним из доноров, во вторых это уже анализ прогнозов, собственное издание.


Всё очень просто, если купить этот XML...

1.8K
11 сентября 2007 года
Ghirik
260 / / 15.03.2007
Цитата:
Всё очень просто, если купить этот XML...


Да, конечно. Если не хочешь, чтобы у тебя воровали - не воруй сам. А если у меня не чего украсть? :D

304
13 сентября 2007 года
Fenyx
707 / / 26.01.2005
парсеры парсеры и исче раз парсеры :) под каждый отдельный проект свой парсер :) еще не встречал сайтов которые нельзя распарсить :) зато встречал те с которыми просто долго мучиться :)
Реклама на сайте | Обмен ссылками | Ссылки | Экспорт (RSS) | Контакты
Добавить статью | Добавить исходник | Добавить хостинг-провайдера | Добавить сайт в каталог