Repkin-DD Сообщение 17/07/2011 00:16 Копия темы
Статистическая обработка результатов парсинга Уважаемые коллеги! На фрилансе встречается достаточно много заказов на разработку парсинга крупных и доступных И-нет ресурсов (например, Яндекс-маркет). Какие только там не ставятся условия: и сделать разбивку по группам, и по рейтингу и 3 минимальных цены и 5 максимальных. Но почему-то никто из заказчиков на закладывает в эти программы механизмов обработки полученных данных (может быть, это никому и не надо?). Тем более, что статистика предлагает массу способов обработки таких данных. Прошу откликнуться тех, кому интересна тема статистической обработки результатов парсинга.

TweeKane Сообщение 17/07/2011 09:38 Копия темы
Это никому не нужно, их интересует набить свои базы данных чужим контентом и всё.

Donate Сообщение 18/07/2011 07:33 Копия темы
Нафига это надо для интернет проекта?

Repkin-DD Сообщение 18/07/2011 07:37 Копия темы
Да они просто хотят знать общий уровень цен и цены предполагаемых конкурентов, чтобы можно было откорректировать свои цены. Я так понимаю...

Donate Сообщение 18/07/2011 07:38 Копия темы
На самом деле все гораздо проще.

Repkin-DD Сообщение 18/07/2011 07:40 Копия темы
В смысле – "проще"? Может быть, объясните?

resurection Сообщение 19/07/2011 23:18 Копия темы
Вопрос по теме. Как раз пишу аналитическую систему, которая должна собирать инфу с я.маркета.
Вопрос: можно как то бороться с баном по ip? Ну кроме перебора проксей, большинство которых, яндекс тоже блокирует.

TweeKane Сообщение 22/07/2011 11:09 Копия темы
Можно, если соблюдать перечисленные здесь правила market.yandex.ru/robots.t...