Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB58.7950
BTC/USD0.0000
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 27.04.2011, 21:46   #1
Dmi
Senior Member
 
Регистрация: 25.02.2008
Сообщений: 204
Бабло: $28305
По умолчанию Kozyol - замечательный парсер гугла. Релиз.

Всем привет!

Парсер – не бог весть сложная программа, тем не менее этот инструмент незаменим. При создании парсера гугла Kozyol была поставлена задача сделать легкий в управлении, лаконичный, гибкий и стабильный софт. Я думаю, он вам понравится =) перечислю основные моменты:

1. Возможности, ставшие стандартом такого рода софта:

1.1. естественно, многопоточность, причем умная: динамическое распределение работы в ходе процесса парсинга, ни один поток не будет висеть без дела, если даже он выполнил свою часть работы

1.2. конечно прокси, которые при парсинге гугла нужны как воздух, поддержка следующих типов проски: http, socks4, socks5 (чего так не хватало в ауре); просто укажите источник и парсер с ним разберется)

1.3. использование ротаторов – это файлы с подстановками к запросу, например с доменными зонами. Их цель “вращать выдачу”, чтобы получить больше 1000 результатов, котрые отдает гугл по дефолту

2. Минимум настроек:



3. Удобный менеджер управления заданиями парсинга: все в любой момент можно проследить, остановить, поставить на паузу и пр.

тут еще чуть подробнее со скринами

Технические детали:
- парсер серверный, для работы нужен python (2.5 и новее) и php, и библиотека curl

- идеальным вариантом будет любой юниксовый сервер или вдс

Цена и условия:
- цена на парсер гугла Kozyol 50 долларов
- установка парсера и настройка сервера/вдс (включая установку нужного софта) – пока бесплатно
- принимаю: webmoney, paypal, paxum
- мои контакты: icq 280870084, email: [email protected]

http://kozyol.com/
__________________
джабер: [email protected] почта: [email protected]
Dmi вне форума  
Старый 27.04.2011, 22:16   #2
n!ce.
Сила гофака помоги!
 
Аватар для n!ce.
 
Регистрация: 03.01.2009
Адрес: London
Сообщений: 2,565
Бабло: $299605
Отправить сообщение для n!ce. с помощью ICQ
По умолчанию

2 вопроса

- несколько источников проксей можно указать? в качестве источника подойдет локальный тхт файл? то есть который на компе лежит где и парсер
- запустится на винде под этой штукой?
n!ce. вне форума  
Старый 27.04.2011, 22:28   #3
super
Ебланнед
 
Регистрация: 03.06.2008
Сообщений: 3,848
Бабло: $432125
По умолчанию

оооо, скоко в последнее время парсеров вышло

тут это, предлагали недавно парсер в один поток и тоже за 50$ )
super вне форума  
Старый 27.04.2011, 22:51   #4
huanpedro
Сеньер Член
 
Аватар для huanpedro
 
Регистрация: 03.04.2010
Сообщений: 1,742
Бабло: $280230
По умолчанию

тут предлагали пару дней назад прикольную софтинуу баксов за 80 чтоли. там парсер всего.
Мне кажется такого софта уже навалом, так что не стоит оно 50$.
huanpedro вне форума  
Старый 27.04.2011, 22:55   #5
super
Ебланнед
 
Регистрация: 03.06.2008
Сообщений: 3,848
Бабло: $432125
По умолчанию

Цитата:
Сообщение от huanpedro Посмотреть сообщение
тут предлагали пару дней назад прикольную софтинуу баксов за 80 чтоли. там парсер всего.
Мне кажется такого софта уже навалом, так что не стоит оно 50$.
тогда тот софт за 50$ по твоему сколько стоит, он парсит в один поток, а этот многопоточный )
super вне форума  
Старый 27.04.2011, 23:04   #6
Dmi
Senior Member
 
Регистрация: 25.02.2008
Сообщений: 204
Бабло: $28305
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от n!ce. Посмотреть сообщение
2 вопроса

- несколько источников проксей можно указать? в качестве источника подойдет локальный тхт файл? то есть который на компе лежит где и парсер
- запустится на винде под этой штукой?
1. в текущей версии можно несколько источников, локальный путь также можно

2. я не вижу там питон в сборке, но под виндовс проблем не должно быть его поставить
__________________
джабер: [email protected] почта: [email protected]
Dmi вне форума  
Старый 27.04.2011, 23:07   #7
Dmi
Senior Member
 
Регистрация: 25.02.2008
Сообщений: 204
Бабло: $28305
ТС -->
автор темы ТС По умолчанию

это свое рода наследник ауры, ожидается постепенное развитие на новых рельсах, начнем с гугла, новый поисковик - не проблема, но хочется сделать максимально четко стабильно под конкретные задачи, не сумбурный комбаин
__________________
джабер: [email protected] почта: [email protected]
Dmi вне форума  
Старый 27.04.2011, 23:43   #8
warovik
Senior Member
 
Регистрация: 17.05.2007
Сообщений: 601
Бабло: $120075
По умолчанию

то что небыло в ауре, но что обещалось а аппах...,
стата по запросах :
колво результатов по запросу
запрос1 - 5000 результатов
звпрос2 - 70000 результатов
запрос3 - 0 результатов
итдитп...
запросы которые при 15 , или n кол-вах траев получились все с ошибками

я данное когдато просил у тебя , просил у ботмастера, както несложилось...
кстати у ботмастера на форуме переодически народ просит в топике "предложения по улучшению ..." данные функции ...

upd - возможность задавать запрос в инкодинге (для китайских и прочих запросов)
__________________
В фарме надёжность важна: много партнёрок, но Ева – одна! / [email protected] / Помощь детям

Последний раз редактировалось warovik; 27.04.2011 в 23:56.
warovik на форуме  
Старый 27.04.2011, 23:49   #9
n!ce.
Сила гофака помоги!
 
Аватар для n!ce.
 
Регистрация: 03.01.2009
Адрес: London
Сообщений: 2,565
Бабло: $299605
Отправить сообщение для n!ce. с помощью ICQ
По умолчанию

Цитата:
Сообщение от warovik Посмотреть сообщение
то что небыло в ауре, но что обещалось а аппах...,
стата по запросах :
колво результатов по запросу
запрос1 - 5000 результатов
звпрос2 - 70000 результатов
запрос3 - 0 результатов
итдитп...
тоже очень хочу такую стату, то есть сколько ресов по конкретному запросу есть в гугле
n!ce. вне форума  
Старый 28.04.2011, 01:16   #10
Dmi
Senior Member
 
Регистрация: 25.02.2008
Сообщений: 204
Бабло: $28305
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от warovik Посмотреть сообщение
то что небыло в ауре, но что обещалось а аппах...,
стата по запросах :
колво результатов по запросу
запрос1 - 5000 результатов
звпрос2 - 70000 результатов
запрос3 - 0 результатов
итдитп...
запросы которые при 15 , или n кол-вах траев получились все с ошибками

я данное когдато просил у тебя , просил у ботмастера, както несложилось...
кстати у ботмастера на форуме переодически народ просит в топике "предложения по улучшению ..." данные функции ...

upd - возможность задавать запрос в инкодинге (для китайских и прочих запросов)
у меня это есть такой софт в качестве отдельного скрипта
__________________
джабер: [email protected] почта: [email protected]
Dmi вне форума  
Закрытая тема



Опции темы
Опции просмотра