Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.6120
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 21.07.2015, 07:33   #1
the4gamblers
__٩(̾●̮̮̃̾•̃̾)۶__
 
Регистрация: 30.05.2010
Сообщений: 257
Бабло: $95151
Question Как отчекать 100 млн. доменов на CMS?

Сила гофака подскажи чем можно отчекать 100 милионов доменов на движки, форумы блоги и etc
aparser не предлогать всего 10 лямов только на wp блоги уже 3 день чекает, медленно в общем
the4gamblers вне форума  
Старый 21.07.2015, 10:00   #2
Strikelol
Senior Member
 
Регистрация: 31.03.2011
Сообщений: 3,056
Бабло: $632595
По умолчанию

По идее дело в наличии ресурсов для чека. Закажи на си(или выясни че там еще быстрей будет работать) себе скрипт. Признаки например в файле настроек рядом со скриптом пусть будут. Дальше разнесешь по машинам, разобьешь списки доменов(если нужно) и вперёд.
Strikelol вне форума  
Старый 21.07.2015, 10:22   #3
masolit
Senior Member
 
Аватар для masolit
 
Регистрация: 18.08.2007
Сообщений: 1,105
Бабло: $195515
По умолчанию

какой скрипт на си бля )) тут дело не в языке, тут все уперается на резолвинг днс, а парсинг контента это ерунда, да и чекать надо не только по контенту, а и по хеадерам и по кукис и не на один движок, а сразу на все какие нужны.

пс: развелось хекеров бля )
masolit вне форума  
Старый 21.07.2015, 11:32   #4
Matt Cutts
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 727
Бабло: $94115
Отправить сообщение для Matt Cutts с помощью Skype™
По умолчанию

Цитата:
Сообщение от masolit Посмотреть сообщение
какой скрипт на си бля )) тут дело не в языке, тут все уперается на резолвинг днс
+100 Язык не играет роли, python прекрасно справится, но через ~400.000 запросов куку. Может и дольше, по-разному.

Короче, 100м долго будешь чекать

Ну либо как-то хитрить, писать модули для бнета (который должен быть в наличии), чтобы распределить нагрузку.
Matt Cutts на форуме  
Старый 21.07.2015, 11:43   #5
gosu
Senior Member
 
Регистрация: 18.08.2009
Сообщений: 250
Бабло: $45181
По умолчанию

140 лямов отчекал на все известные цмс в модуле апарсера.
2 месяца 2 сервера каждый в 2к потоков.
gosu вне форума  
Старый 21.07.2015, 11:46   #6
masolit
Senior Member
 
Аватар для masolit
 
Регистрация: 18.08.2007
Сообщений: 1,105
Бабло: $195515
По умолчанию

Цитата:
Сообщение от gosu Посмотреть сообщение
2к потоков.
это зря ибо процентов 70% просто помрет по таймауту
masolit вне форума  
Старый 21.07.2015, 11:49   #7
gosu
Senior Member
 
Регистрация: 18.08.2009
Сообщений: 250
Бабло: $45181
По умолчанию

Цитата:
Сообщение от masolit Посмотреть сообщение
это зря ибо процентов 70% просто помрет по таймауту
делалось по 3 попытки на каждый. Если не раздуплялся 66.
Если судить по базе вп, то всё очень радужно.
12 собралась, после ката со всеми паблик базами, получилось 17к до и 14 после чека.
gosu вне форума  
Старый 21.07.2015, 12:31   #8
masolit
Senior Member
 
Аватар для masolit
 
Регистрация: 18.08.2007
Сообщений: 1,105
Бабло: $195515
По умолчанию

Offtopic
masolit вне форума  
Старый 21.07.2015, 12:39   #9
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 603
Бабло: $85888
По умолчанию

Цитата:
Сообщение от masolit Посмотреть сообщение
Offtopic
будут абузы от владельцев сайтов, мне пришла как то что зашел по адресу админки
sim0n на форуме  
Старый 21.07.2015, 12:43   #10
directed
Senior Member
 
Аватар для directed
 
Регистрация: 12.11.2009
Адрес: href
Сообщений: 936
Бабло: $137450
Отправить сообщение для directed с помощью Skype™
По умолчанию

Цитата:
Сообщение от sim0n Посмотреть сообщение
будут абузы от владельцев сайтов, мне пришла как то что зашел по адресу админки
Это преступление? Собирается публичная информация из открытых источников. Пусть в гугл абузу напишет
directed вне форума  
Закрытая тема



Опции темы
Опции просмотра