Genoc1d Сообщение 06/11/2009 21:02 Копия темы
База заведений Привет, друзья.

Вот, работаю сейчас над сайтом, в нем предусмотрена база/каталог различных заведений города Москвы. Начиная от кафешек, заканчивая клубами и театрами.

И вот я призадумался, как заполинть эту базу, неужели ручками? Наверно есть какие-то решения, или уже готовые базы, каталоги, инфа же открытая – адрес заведения, сайт с телефоном.

Кто-нибудь из вас сталкивался с данной проблемкой, кто как решал? Может подскажете что-то путное?

Yu-V Сообщение 06/11/2009 21:13 Копия темы
Без личной дегустации не обойтись )

FlexMaster Сообщение 06/11/2009 21:40 Копия темы
Конечно есть решения....
Парсеры... грабберы... по списку тематических и прочих информационных ресурсов...

saintist Сообщение 06/11/2009 21:59 Копия темы
рецепт прост целевой тематический ресурс + парсер + базу куда это все слить

Genoc1d Сообщение 06/11/2009 22:04 Копия темы
А где-нибудь можно подробнее узнать?

Genoc1d Сообщение 06/11/2009 22:05 Копия темы
Может где-то есть инструкция или описание как организовать все это дело?

FlexMaster Сообщение 06/11/2009 22:07 Копия темы
например, есть сайт resto.ru – у них база по ресторанам.... приличная... заказываете парсер, и вам эту базу потихоньку вытаскивают, не палясь....

и так по другим темам, ищете источники, заказываете или сами пишете.... и в итоге накапливаете нужную вам информацию

можно купить у YellowPages.ru, и еще куча способов сбора информации...

saintist Сообщение 06/11/2009 22:12 Копия темы
почитайте по поводу написания парсеров, статей предостаточно

если интересует алгоритм, то все довольно тривиально

1. загружаем код страницы целевой,
2. ищем нужные параметры и собираем их
3. заносим в базу к себе, файлы сливаем на свой хост

если писать на php то есть отличная вещь, phpquery, очень упрощает работу по разбору страниц


вот ссылки может помогут

saintist.ru/2009/04/24/pa../
saintist.ru/category/phpq../

Genoc1d Сообщение 06/11/2009 22:15 Копия темы
спасибо за наводку.

saintist Сообщение 06/11/2009 22:16 Копия темы
вот так блоги например фриланса скребем ) saintist.ru/work/phpquery../

картинки не берутся в примере, верстку изменили с апреля немного

Genoc1d Сообщение 06/11/2009 22:16 Копия темы
о, круто! спасибо, буду разбираться.

saintist Сообщение 06/11/2009 22:17 Копия темы
если необходимо все сделать быстро то оптимальным решением будет заказать граб источников,

ps: я часто выполняю такие задания ;)

Genoc1d Сообщение 06/11/2009 22:20 Копия темы
я там себя нашел!!))

saintist Сообщение 06/11/2009 22:22 Копия темы
в реальном времени парсится

FlexMaster Сообщение 06/11/2009 22:25 Копия темы
не за что.
Я когда то собирал базу.... примерно на 300 тыс. позиций вышло. с разных источников.( только по России )

Genoc1d Сообщение 06/11/2009 22:26 Копия темы
да я понял :).