Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.9960
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 23.03.2011, 13:21   #1
super
Ебланнед
 
Регистрация: 03.06.2008
Сообщений: 3,848
Бабло: $432125
По умолчанию при написании реггеров вы отсылаете левые запросы

допустим есть определённый сайт, для которого вы захотели написать реггер, а дальше ещё что - нибудь, но на этих сайтах есть определённая особенность:

кстати те кто пишет на XHE или zenno особого смысла в этом вопросе нет, так как все левые запросы отсылаются на уровне браузера, а не на уровне скриптов

что я имею ввиду под левыми запросами

допустим заходим на какой - нибудь сайт и при нажатии мышкой в определённых частях окна, отправляются запросы по адресу mc.yandex.ru

типа этого:

PHP код:
GET /clmap/( цифры )?rn=/( цифры )&cnt-class=0&pointer-click=x:( координата x):y:( координата y ):t:( тут цифры ):p:( определённая последовательность )&page-url=( URLпо которому получаем страницуна окне которой кликаем мышью HTTP/1.1 
то есть вот это и есть левый адрес, то есть он не относится к сайту, для которого мы пишем например реггер

допустим запросы:

посылаем GET

PHP код:
GET HTTP/1.1 
Host
Host 
User
-AgentUser-Agent 
Accept
Accept 
Accept
-Language:Accept-Language 
Accept
-Encodinggzip,deflate 
Accept
-CharsetAccept-Charset 
Keep
-Alive115 
Connection
keep-alive 
получаем ответ

PHP код:
HTTP/1.1 200 OK 
Date
Date 
Server
Server 
X
-Powered-ByX-Powered-By 
Set
-CookieSet-Cookie 
Expires
Expires 
Cache
-ControlCache-Control 
Pragma
Pragma 
Last
-ModifiedLast-Modified 
Cache
-ControlCache-Control 
Content
-EncodingContent-Encoding 
Content
-LengthContent-Length 
Keep
-AliveKeep-Alive 
Connection
Connection 
Content
-TypeContent-Type 
посылаем POST

PHP код:
POST HTTP/1.1 
Host
Host 
User
-AgentUser-Agent 
Accept
Accept 
Accept
-Language:Accept-Language 
Accept
-Encodinggzip,deflate 
Accept
-CharsetAccept-Charset 
Keep
-Alive115 
Connection
keep-alive 
получаем ответ

PHP код:
HTTP/1.1 200 OK 
Date
Date 
Server
Server 
X
-Powered-ByX-Powered-By 
Set
-CookieSet-Cookie 
Expires
Expires 
Cache
-ControlCache-Control 
Pragma
Pragma 
Last
-ModifiedLast-Modified 
Cache
-ControlCache-Control 
Content
-EncodingContent-Encoding 
Content
-LengthContent-Length 
Keep
-AliveKeep-Alive 
Connection
Connection 
Content
-TypeContent-Type 
и вот тут есть одна особенность, в браузере например перед тем как послать запрос POST, мы можем покликать по странице мышью и вот отсылаются левые запросы, а если писать реггер, то это только лишние запросы

просто я стараюсь писать обработчики этих запросов

интересно вы их пишите, отсылаете эти запросы?

тут вот в чём дело, эти запросы могут уходить и не на другие сайты, а на те же, но просто при кликах мышью например, вот если запросы отсылаются на эти же сайты, вы их отсылаете?

или например не при кликах, а вообще запросы всегда отсылаются, например на некоторых сайтах сюда google-analytics.com

а то вдруг защита от роботов такая сделана
super вне форума  
Старый 23.03.2011, 13:33   #2
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

недавно столкнулся с такой проблемой, что надо было хоть как-то показать админам сайта, что это не бот
шлю все запросы, кроме тех, что вызываются из js - то есть у меня нет обработки js, да и мне не нужно.
сами js файлы дергаются, а также все css, картинки и даже картинки внутри css, которые должны показаться(правда работает не на 100%)
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 23.03.2011, 13:36   #3
deschain
Senior Member
 
Аватар для deschain
 
Регистрация: 01.11.2007
Сообщений: 2,275
Бабло: $288535
По умолчанию

Тут нужно смотреть, если нужны эти запросы - отсылаешь, не нужны - не отсылаешь. Всё просто
deschain вне форума  
Старый 23.03.2011, 13:42   #4
medar
кодер-энтузиаст
 
Аватар для medar
 
Регистрация: 04.04.2007
Адрес: Джамайка
Сообщений: 3,410
Бабло: $447110
По умолчанию

Цитата:
Сообщение от deschain Посмотреть сообщение
Тут нужно смотреть, если нужны эти запросы - отсылаешь, не нужны - не отсылаешь. Всё просто
+1. Если регается без них и акки не сносятся без использования - то не паришься.
Если же есть проблемы - то тогда надо думать.
medar вне форума  
Старый 23.03.2011, 13:45   #5
super
Ебланнед
 
Регистрация: 03.06.2008
Сообщений: 3,848
Бабло: $432125
ТС -->
автор темы ТС По умолчанию

chesser, тут такое дело, я просто вот люблю скрипты писать на perl, они быстрей работают чем эмуляторы браузеров естественно, но вот сейчас подумываю о написании класса, который будет делать следующие:

даём методу страницу, он собирает все ссылки, можно классифицировать их, создавать хеш - массив и потом переходить по этим ссылкам, вот думаю есть ли смысл

можно даже рекурсивный метод создать, а то мало ли там ещё ссылки разные

а классификация ссылок в хеш - массиве удобна, можно даже прикрутить параметр, в зависимости от которого метод объекта класса будет переходить по ссылкам определённого типа, а поставишь другой параметр, по всем ссылкам и так далее

deschain, а как ты определяешь нужны или нет? просто если путём теста, то может быть следующие, программа работает и сайт как бота её не определяет, но акки например после определения их как ботов, банят

то есть акки всё равно какое - то время работают, а писать это есть смысл только если акки будут дольше держаться )

и ещё думаю в JS файлах по ссылкам нет особого смысла переходить, так как вдруг пользователи его отключили, если конечно вся страница не состоит из всего JS
super вне форума  
Старый 23.03.2011, 13:46   #6
kalombo
Senior Member
 
Аватар для kalombo
 
Регистрация: 20.04.2008
Сообщений: 598
Бабло: $115497
Отправить сообщение для kalombo с помощью ICQ
По умолчанию

В большинстве случаев всё прокатывает без них. Если не получается без них зарегаться, начинаю танцевать с бубном и сниффером, иногда выходит. Например было такое, что без вот этих вот левых кук от гугла:
Цитата:
__utma=199306621.1164773483.1250671648.1250671648. 1250671648.1; __utmb=199306621; __utmc=199306621; __utmz=199306621.1250671648.1.1.utmccn=(direct)|ut mcsr=(direct)|utmcmd=(none)
не давало зарегистрироваться. Я взял их добавил, при каждой регистрации одни и те же, и всё нормально регалось.
kalombo вне форума  
Старый 23.03.2011, 13:49   #7
super
Ебланнед
 
Регистрация: 03.06.2008
Сообщений: 3,848
Бабло: $432125
ТС -->
автор темы ТС По умолчанию

kalombo, вот это я тоже добавил, но я не пробую без них отсылать запросы на сервер, поэтому не знаю точно нужны они или нет

то есть получается у тебя есть рес и если на нём регаться без этих cookies, то рега не проходит, но это если какие - нибудь от гугла ресы, а если не от гугла, то как гугл с этими ресами взаимодействует
super вне форума  
Старый 23.03.2011, 13:50   #8
deschain
Senior Member
 
Аватар для deschain
 
Регистрация: 01.11.2007
Сообщений: 2,275
Бабло: $288535
По умолчанию

super, ну, вот ходишь со сниффером и смотришь, что вгружается. Не даёт регнуться - ищешь причину. Банят по какому-то одному параметру - тоже ищешь
deschain вне форума  
Старый 23.03.2011, 13:52   #9
kalombo
Senior Member
 
Аватар для kalombo
 
Регистрация: 20.04.2008
Сообщений: 598
Бабло: $115497
Отправить сообщение для kalombo с помощью ICQ
По умолчанию

Цитата:
Сообщение от super Посмотреть сообщение
kalombo, вот это я тоже добавил, но я не пробую без них отсылать запросы на сервер, поэтому не знаю точно нужны они или нет

то есть получается у тебя есть рес и если на нём регаться без этих cookies, то рега не проходит, но это если какие - нибудь от гугла ресы, а если не от гугла, то как гугл с этими ресами взаимодействует
blog.ru это был, вроде не от гугла рес.
kalombo вне форума  
Старый 23.03.2011, 13:52   #10
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

super, ничего не понял
то ты говоришь про левые запросы, теперь уже ссылки у тебя - или это одно и тоже?

короче у меня есть тоже класс, который настраиваешь как хочешь, а дальше он сам бродит по сайта, если надо данные сохраняет. Вот одни мудаки спалили моего бота, пришлось делать вид, что я не бот, посылая левые get-запросы на адреса src и link/href. Пришлось рендер делать/искать для css.
Если говорить про a/href - то я их не опрашиваю, если боту туда не надо, а если надо - то да
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Закрытая тема



Опции темы
Опции просмотра