при написании реггеров вы отсылаете левые запросы

[super]

допустим есть определённый сайт, для которого вы захотели написать реггер, а дальше ещё что - нибудь, но на этих сайтах есть определённая особенность:

кстати те кто пишет на XHE или zenno особого смысла в этом вопросе нет, так как все левые запросы отсылаются на уровне браузера, а не на уровне скриптов

что я имею ввиду под левыми запросами

допустим заходим на какой - нибудь сайт и при нажатии мышкой в определённых частях окна, отправляются запросы по адресу mc.yandex.ru

типа этого:

PHP код:

GET /clmap/( цифры )?rn=/( цифры )&cnt-class=0&pointer-click=x:( координата x):y:( координата y ):t:( тут цифры ):p:( определённая последовательность )&page-url=( URL, по которому получаем страницу, на окне которой кликаем мышью ) HTTP/1.1 


то есть вот это и есть левый адрес, то есть он не относится к сайту, для которого мы пишем например реггер

допустим запросы:

посылаем GET

PHP код:

GET / HTTP/1.1 
Host: Host 
User-Agent: User-Agent 
Accept: Accept 
Accept-Language:Accept-Language 
Accept-Encoding: gzip,deflate 
Accept-Charset: Accept-Charset 
Keep-Alive: 115 
Connection: keep-alive 


получаем ответ

PHP код:

HTTP/1.1 200 OK 
Date: Date 
Server: Server 
X-Powered-By: X-Powered-By 
Set-Cookie: Set-Cookie 
Expires: Expires 
Cache-Control: Cache-Control 
Pragma: Pragma 
Last-Modified: Last-Modified 
Cache-Control: Cache-Control 
Content-Encoding: Content-Encoding 
Content-Length: Content-Length 
Keep-Alive: Keep-Alive 
Connection: Connection 
Content-Type: Content-Type 


посылаем POST

PHP код:

POST / HTTP/1.1 
Host: Host 
User-Agent: User-Agent 
Accept: Accept 
Accept-Language:Accept-Language 
Accept-Encoding: gzip,deflate 
Accept-Charset: Accept-Charset 
Keep-Alive: 115 
Connection: keep-alive 


получаем ответ

PHP код:

HTTP/1.1 200 OK 
Date: Date 
Server: Server 
X-Powered-By: X-Powered-By 
Set-Cookie: Set-Cookie 
Expires: Expires 
Cache-Control: Cache-Control 
Pragma: Pragma 
Last-Modified: Last-Modified 
Cache-Control: Cache-Control 
Content-Encoding: Content-Encoding 
Content-Length: Content-Length 
Keep-Alive: Keep-Alive 
Connection: Connection 
Content-Type: Content-Type 


и вот тут есть одна особенность, в браузере например перед тем как послать запрос POST, мы можем покликать по странице мышью и вот отсылаются левые запросы, а если писать реггер, то это только лишние запросы

просто я стараюсь писать обработчики этих запросов

интересно вы их пишите, отсылаете эти запросы?

тут вот в чём дело, эти запросы могут уходить и не на другие сайты, а на те же, но просто при кликах мышью например, вот если запросы отсылаются на эти же сайты, вы их отсылаете?

или например не при кликах, а вообще запросы всегда отсылаются, например на некоторых сайтах сюда google-analytics.com

а то вдруг защита от роботов такая сделана

[chesser]

недавно столкнулся с такой проблемой, что надо было хоть как-то показать админам сайта, что это не бот
шлю все запросы, кроме тех, что вызываются из js - то есть у меня нет обработки js, да и мне не нужно.
сами js файлы дергаются, а также все css, картинки и даже картинки внутри css, которые должны показаться(правда работает не на 100%)

[deschain]

Тут нужно смотреть, если нужны эти запросы - отсылаешь, не нужны - не отсылаешь. Всё просто

[medar]

Сообщение от deschain

Тут нужно смотреть, если нужны эти запросы - отсылаешь, не нужны - не отсылаешь. Всё просто

+1. Если регается без них и акки не сносятся без использования - то не паришься.
Если же есть проблемы - то тогда надо думать.

[super]

chesser, тут такое дело, я просто вот люблю скрипты писать на perl, они быстрей работают чем эмуляторы браузеров естественно, но вот сейчас подумываю о написании класса, который будет делать следующие:

даём методу страницу, он собирает все ссылки, можно классифицировать их, создавать хеш - массив и потом переходить по этим ссылкам, вот думаю есть ли смысл

можно даже рекурсивный метод создать, а то мало ли там ещё ссылки разные

а классификация ссылок в хеш - массиве удобна, можно даже прикрутить параметр, в зависимости от которого метод объекта класса будет переходить по ссылкам определённого типа, а поставишь другой параметр, по всем ссылкам и так далее

deschain, а как ты определяешь нужны или нет? просто если путём теста, то может быть следующие, программа работает и сайт как бота её не определяет, но акки например после определения их как ботов, банят

то есть акки всё равно какое - то время работают, а писать это есть смысл только если акки будут дольше держаться )

и ещё думаю в JS файлах по ссылкам нет особого смысла переходить, так как вдруг пользователи его отключили, если конечно вся страница не состоит из всего JS

[kalombo]

В большинстве случаев всё прокатывает без них. Если не получается без них зарегаться, начинаю танцевать с бубном и сниффером, иногда выходит. Например было такое, что без вот этих вот левых кук от гугла:

__utma=199306621.1164773483.1250671648.1250671648. 1250671648.1; __utmb=199306621; __utmc=199306621; __utmz=199306621.1250671648.1.1.utmccn=(direct)|ut mcsr=(direct)|utmcmd=(none)

не давало зарегистрироваться. Я взял их добавил, при каждой регистрации одни и те же, и всё нормально регалось.

[super]

kalombo, вот это я тоже добавил, но я не пробую без них отсылать запросы на сервер, поэтому не знаю точно нужны они или нет

то есть получается у тебя есть рес и если на нём регаться без этих cookies, то рега не проходит, но это если какие - нибудь от гугла ресы, а если не от гугла, то как гугл с этими ресами взаимодействует

[deschain]

super, ну, вот ходишь со сниффером и смотришь, что вгружается. Не даёт регнуться - ищешь причину. Банят по какому-то одному параметру - тоже ищешь

[kalombo]

Сообщение от super

kalombo, вот это я тоже добавил, но я не пробую без них отсылать запросы на сервер, поэтому не знаю точно нужны они или нет

то есть получается у тебя есть рес и если на нём регаться без этих cookies, то рега не проходит, но это если какие - нибудь от гугла ресы, а если не от гугла, то как гугл с этими ресами взаимодействует

blog.ru это был, вроде не от гугла рес.

[chesser]

super, ничего не понял
то ты говоришь про левые запросы, теперь уже ссылки у тебя - или это одно и тоже?

короче у меня есть тоже класс, который настраиваешь как хочешь, а дальше он сам бродит по сайта, если надо данные сохраняет. Вот одни мудаки спалили моего бота, пришлось делать вид, что я не бот, посылая левые get-запросы на адреса src и link/href. Пришлось рендер делать/искать для css.
Если говорить про a/href - то я их не опрашиваю, если боту туда не надо, а если надо - то да