Продаю онлайн сервис

[pepper]

Всем привет.

Решил разобраться с некоторыми проектами, которые в данный момент не в приоритете.
В общем, неспешно продаю сервис для поиска сайтов по общим признакам.
Под признаками подразумевается:

• id Google Adsense и Analytics
• id счетчика liveinternet
• домен статистики piwik
• домен openx
• id партнерки amazon
• utm меткам
• CMS
• id соц. кнопок addthis
• имена cookie
• и др.

Из того, что нигде не встречал:

• домен, с которого подгружается javascript, iframe
• имена полей форм
• редиректы с сайта/на сайт

Все признаки разбиты по группам:

• Реклама - все, чем монетизируется сайт.
• CMS,CMF и т.д. - системы управления сайтом, web платформы
• Аналитика - системы статистики, аналитики и оценки конверсии
• Технические параметры - виджеты различных серисов (vk, facebook, disqus, recaptcha и др.), наличие сайта в вебмастерских панелях google, yandex, bing и прочие элементы, относящиеся к функционированию сайта
• Cookies - cookie, устанавливаемые сайтом при посещении
• Элементы HTML - домен iframe, javascript и др.
• Редиректы

Статистика признаков по группам:

• Реклама - 551 рекламных элементов
• CMS,CMF и т.д. - 94
• Аналитика - 62
• Технические параметры - 79

На каждый из признаков от 1 до нескольких паттернов для детекта (всего 1447 паттернов).
Например, для Google Analytics - 7 различных паттернов для поиска id аналитикса.
По piwik - 9, включая обфусцированные версии, когда домен получается в результате сложения строк 'piw' + 'ikdoma' + 'in.com'
и т.д.

Кроме результатов последней проверки можно смотреть историю. Данные по некоторым сайтам собираются с 2012.

Немного технических подробностей.
Web работает на фреймворке django.
Серверный бот первоначально был на python, но потом был переписан на golang, что дало 10x прирост скорости и смешном по сравнению с python потреблением памяти(так что, +1 к golang для своего серверного, сетевого софта).

Немного примеров, как можно использовать сервис кроме стандартного поиска по Google Analytics, Adsense и пр.
* Поиск лендингов.
Например, есть лендинг finkapro.ru. Вбиваем в поиск домен finkapro.ru и смотрим на имена полей форм.
email, name - эти имена слишком общие и могут встречаться в обычных формах. whatForm - а вот это имя более "уникальное". Кликаем по нему и получаем список сайтов (в данном случае лендингов), где это имя встречается.
* Часто вебмастера для удобного управления рекламой, слива трафика подгружают на страницы свой javascript код с домена-тдски. По данному домену можно найти остальные сайты/доры одного владельца.
* Поиск сайтов на wordpress, на joomla и пр.
* На сайтах, на которых стоит код тизернета, есть параметр обозначающий id площадки. Посмотрев этот id, можно отобрать нужные сайты для блеклиста/вайтлиста (не знаю как у тизернета устроена фильтрация, не покупал там траф). Пример 1 Пример 2 Пример 3

Контакты:
email,jabber: [email protected]

[happend]

сервис огонь. можно много чего спалить.
по поводу монетизаций по моему мало кто купит абонентку, может есть другие способы монетизаций?
"Показаны 10 записей из 211", остальные доступны по подписке или как?

+ сделай кнопку для перехода сразу на сайт (в списке сайтов иконку перехода и в карточке домена)
чтоб рефер не передовать можно через саповский редирект.
хttрs://123sdfsdfsdfsd.ru/r.html?r=httр://google.com

[Nosfer]

хороший сервис.

Чем бот на python не угодил? Был на pycurl? Какая СУБД если не секрет?

[Webaz]

сервревый бот через прокси парсит?

[Cookie Monster]

Сообщение от pepper

Почему не сделать? Есть например sameid http://sameid.net/ip/208.83.210.19/
Абонентка 30$. Причем в базе только adsense, analytics, addthis, amazon, Cliсkbank. http://sameid.net/limit.html

че сам тогда не замутишь?
походу тебе осталось кнопку оплаты поставить и все.
делов то? ))

[pepper]

по поводу монетизаций по моему мало кто купит абонентку, может есть другие способы монетизаций?
"Показаны 10 записей из 211", остальные доступны по подписке или как?

Залогиненному пользователю показывается кнопка для экспорта результатов.
В меню пользователя "Отчёты" можно посмотреть сформированные отчёты и скачать их в архиве.
Есть лимит на количество результатов в отчёте(по умолчанию 20), на количество оставшихся отчётов и время до окончания подписки.
Вот вокруг этих параметров и подразумевается монетизация. В данный момент проверка подписки отключена, т.е. ограничения только в лимитах отчёта.

Если кто хочет, может мне стукнуть - подниму лимиты на потестить.

сервревый бот через прокси парсит?

Нет. Бот с UA firefox'а заходит.

Чем бот на python не угодил? Был на pycurl? Какая СУБД если не секрет?

Утечки памяти случаются, но тут я больше грешу на lxml, который используется для построения tree, и невалидный html.
Была обёртка для pycurl, был requests, был multiprocessing и threading. Субд - форк MySQL, MariaDB.

че сам тогда не замутишь?
походу тебе осталось кнопку оплаты поставить и все.
делов то? ))

По идее, оплата и тарифные планы, ну и может кое-какие мелкие доработки.
В первом посте писал.

[ne0zx]

Сообщение от pepper

Утечки памяти случаются, но тут я больше грешу на lxml, который используется для построения tree, и невалидный html.
Была обёртка для pycurl, был requests, был multiprocessing и threading. Субд - форк MySQL, MariaDB.

Stream режим в requests не пробовал? Меня вроде спас от утечек при похожих задачах.

[pepper]

Сообщение от ne0zx

Stream режим в requests не пробовал? Меня вроде спас от утечек при похожих задачах.

Да, этот режим всегда использую Уже не раз встречал "бесконечные" страницы с зацикленным выводом. Но, как писал выше, грешу на lxml. Я даже потом в самом скрипте делал проверку на резкое увеличение памяти и вручную пробовал вызывать сбощик мусора, но как-то не особо помогало

PHP код:

import gc
...               
memsize = get_process_memory_usage()
if memsize > config.max_process_memory:
    gc.collect() 


[editeur]

А в питоне при массовом парсинге и не поможет. GC в питоне хуевенький, циркулярные ссылки обрабатывает плохо, lxml течет. Надо запускать парсинг каждого сайта или даже страницы в отдельном процессе питона, на новую страницу запускать новый процесс. Затраты на запуск интерпретатора питона будут небольшими по сравнению со скачкой страниц. Память на каждый запущеный интерпретатор будет конечно отъедаться, но по крайней мере будет работать предсказуемо.

[ne0zx]

Сообщение от editeur

А в питоне при массовом парсинге и не поможет. GC в питоне хуевенький, циркулярные ссылки обрабатывает плохо, lxml течет. Надо запускать парсинг каждого сайта или даже страницы в отдельном процессе питона, на новую страницу запускать новый процесс. Затраты на запуск интерпретатора питона будут небольшими по сравнению со скачкой страниц. Память на каждый запущеный интерпретатор будет конечно отъедаться, но по крайней мере будет работать предсказуемо.

Ага, сколько ни мучался с дебагом памяти, gc и т.д., понял что ничего особо не сделать с утечками. Но решение приемлемое более-менее нашел, схожее с описанным. Спавню воркеры с порцией задач по крону, пока хватает памяти\cpu.

[sellad]

что-то вы гоните.
монетизируется именно абонкой + кастом репортами.

проблема в том, что все эти сервисы - Г. Это на словах все выглядит классно. Самый неплохой индекс сейчас, на сколько мне известно, у нердидата. Но реальная их полезность - стремится к бесплатной версии симиларвеба или других сервисов, хоть тебе и запакупают ещё 50К сабов и попросят за них денег )