Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB58.8340
BTC/USD0.0000
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 28.08.2011, 22:44   #1
dlxs
Senior Member
 
Аватар для dlxs
 
Регистрация: 25.05.2010
Сообщений: 1,061
Бабло: $179244
По умолчанию Нужен софт [15$]

Если вкратце: пиздить кеи с чужих доров многопоточно

В подробностях:
софт лазает по маске домена и папки например
site.ru/papka1/papka2/papk3 то лазает только по ним, на другие домены/папки уходить не надо и со всех страниц сохранять анкоры+тайтлы

надеюсь нормально объяснил, язык программирования пох

772228
__________________
Сдам подпись. PM
dlxs вне форума  
Старый 29.08.2011, 02:18   #2
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 7,993
Бабло: $1214640
Отправить сообщение для digg с помощью ICQ
По умолчанию

если html структура доров однотипная, тогда без проблем, а вот если все разные, тогда хз по каким критериям регулярки для парсинга писать...
digg на форуме  
Старый 29.08.2011, 04:29   #3
false
true
 
Регистрация: 26.09.2007
Сообщений: 218
Бабло: $41985
По умолчанию

Цитата:
Сообщение от digg Посмотреть сообщение
если html структура доров однотипная, тогда без проблем, а вот если все разные, тогда хз по каким критериям регулярки для парсинга писать...
можна и без регекспов
http://www.php.net/manual/en/domdocument.loadhtml.php
false вне форума  
Старый 29.08.2011, 05:26   #4
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

false, + tidy, т.к. дорвейщики не особо уважают верстку и w3c стандарты, + еще много нюансов

многопоточно - тут уже разговор должен начинаться от $100

по теме вот ссылка: http://scrapy.org - пятонисты, думаю, в курсе этого аппарата. Правда не знаю как в нем с мультипоточностью.
Возможно, докрутить эту либу будет оптимальным решением по деньгам.

У меня есть подобный софт на php, долго делал. Подсказка тому, кто тоже будет делать: dom+tidy+xpath+curl/mcurl
Патерны задавать xpath'ом.
Самое геморное - это организовать хождение парсера вглубь и в ширь произвольного сайта(в заданных ограничениях). у меня все заняло 60к кода без гуев (не продам)

либо поискать похожие решения, например, которые делают sitemap.xml по адресу сайта. Задача примерно похожая.
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser

Последний раз редактировалось chesser; 29.08.2011 в 05:31.
chesser вне форума  
Старый 29.08.2011, 05:56   #5
xealey
Senior Member
 
Аватар для xealey
 
Регистрация: 04.09.2007
Сообщений: 1,271
Бабло: $253980
По умолчанию

вписался бы в ряды заказчиков, тем самым удвоив первоначальный бюджет))

правда, если так пойдёт, скоро на весь гофак будет одна большая база кеев
xealey вне форума  
Старый 29.08.2011, 06:29   #6
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

могу по $5/1к страниц парсить
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 29.08.2011, 11:25   #7
1een
Senior Member
 
Аватар для 1een
 
Регистрация: 28.05.2009
Сообщений: 1,306
Бабло: $161695
По умолчанию

Любой краулинг любых ресурсов. С переходами между сайтами, без них, локально, по маске, по регэкспу. 3$/k - заказ от 10к (меньше лень, честно).
+ парсинг поисковых систем, быстро и дохуя. alcy:

Ася в профиле.
1een вне форума  
Старый 29.08.2011, 12:22   #8
den2099
Senior Member
 
Аватар для den2099
 
Регистрация: 25.06.2011
Сообщений: 1,402
Бабло: $287530
По умолчанию

пользуйся - xenu

и 15 баксов мне выслать не забудь
den2099 вне форума  
Старый 29.08.2011, 13:21   #9
t1esto
Senior Member
 
Аватар для t1esto
 
Регистрация: 13.08.2007
Сообщений: 595
Бабло: $157054
По умолчанию

а если дор заклоаченный, открывается определенным странам , переходам с гугла, фильтром уник айпих, чекает куки + и еще много чего интересного для защиты от левых глаз ) с таких доров хрен что вытянешь и правильно , нехуй
t1esto вне форума  
Старый 29.08.2011, 13:26   #10
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 7,993
Бабло: $1214640
Отправить сообщение для digg с помощью ICQ
По умолчанию

ну, если столбики выискивать и выдирать, то думаю сделать можно
вопрос другой, как потом сортировать эту кучу кеев - каша из кеев в результате получится

Последний раз редактировалось digg; 29.08.2011 в 13:32.
digg на форуме  
Закрытая тема



Опции темы
Опции просмотра