Human Emulator vs ZennoPoster vs Selenium WD

[miz]

Раньше я юзал cURL, но чем дальше идёт развитие интернета, тем больше сайты делают защиту на js.
Поэтому пришлось озадачится написанием автоматизации с поддержкой js + хочу
меньше тратить времени на написание и поддержку ботов.
Исходя из двух тем форума
Автоматизация браузера
Human Emulator vs Zennoposter

Сделал вывод что хуман хорошо подходит для построения сложной логики и подходит всем кто владеет php или js или c#. Но с многопоточностью у него проблемы. демку не юзал. у хумана есть аналог ZennoBox?

Зенно подходит для тех кто владеет c# или не владеет ЯП, а автоматизацию хочет "накликать". В демке(projectMaker) зенно пронаблюдал что js работает плохо, а php вовсе не обнаружил. Но люди говорят что php есть. Кроме того заметил что хромает эмуляция нажатий мыши/клавы. Зенно реально палят хостеры?

Уже было хотел юзать зенно т.к. про другие решения я не знал, высокая популярность и они заюзали мозилу(сам её активно юзаю) не знаю почему но считаю это плюсом, но заметил что люди также хвалят селентиум.
Кроме того проанализировал сообщения публикуемые представителем хумана. И пришёл к тому что у хумана целевой клиент это ?крупный? бизнес(b2b),
а у зенки обычные юзеры/кодеры/мелкий бизнес (по факту - b2c). Этим можно объяснить низкую популярность хумана в сети.
По селентиуму кто что пишет: кто-то говорит что отличное многопоточное решение, кто-то что сильно грузит ЦП и много парева с разработкой.

В общем интересует мнение активных юзеров того и другого.
как сейчас дела у этих прог, как думаете какие перспективы?
С крайних обсуждений прошло много времени, многое изменилось: хуман перестал вылетать и ?стал? многопоточным, у зенки ?стало? проще делать автоматизацию с сложной логикой, селентиум теперь без проблем можно запускать на разных машинах в многопоточном режиме.

Мне нужна стабильная многопоточная автоматизация с относительно невысоким пожиранием ресурсов которая не вызовет проблем в будущем.
Планируется сложная автоматизация бот сети.
Сам очень хорошо владею php, чуть хуже js, а с C# вообще дел не имел.

Селентиум привлекает своей прозрачностью. Хуман доступностью php. А зенно ?популярностью?

Что думаете, какой имели опыт?

Представителей программ прошу дать возможность сначала ответить 5-10 пользователям.

[Lord_Alfred]

Сообщение от twaego9

Ну да, у меня свой путь развития, свои идеи и я их реализую, как еще может быть.

К вам никаких претензий, я тут мысли свои выписал, а не срач устроить решил тем постом, чтоб у всех "заполыхало".

Конкретно про вектор имею ввиду то, что главное чтоб он коррелировал с тем, что нужно конечному потребителю (и в случае BAS - не теми, кто им пользуется, а теми, кто не знает о нем / не использует его потому что "сложна"), а то получится очередной опенсорс, который никому не нужен будет через 3-5 лет. А это уже обидно.

Да и вообще, имхо, делать опенсорсное (и бесплатное к тому же) решение для серо-черных задач - так себе затея. Так, конечно, больше рынка можно в теории хапнуть на старте, но все фичи могут утечь в паблик слишком быстро, чтоб их пофиксили у себя крупняки вроде гугла/яндекса (спорно, но опять же повторю - имхо).

Сообщение от Ruby

serverless framework можно создавать лямбды на AWS Lambda, и таким образом масштабировать до бесконечности количество выполняемых задач одновременно, лишь бы денег хватило.

Звучит любопытно (для просто задач автоматизации, не "ботов" под сайты). Юзал? Что скажешь вообще за эту штуку от амазона? И какие кейсы были?

Мне бы просто в скором времени надо кучу текстов будет прогнать через пару скриптов, чтоб они выдали оценки - даже параллельная обработка такого массива данных может в итоге потратить кучу времени, а вот масштабирование могло бы спасти всю затею.

[Ruby]

Сообщение от Lord_Alfred

Звучит любопытно (для просто задач автоматизации, не "ботов" под сайты). Юзал? Что скажешь вообще за эту штуку от амазона? И какие кейсы были?

Мне бы просто в скором времени надо кучу текстов будет прогнать через пару скриптов, чтоб они выдали оценки - даже параллельная обработка такого массива данных может в итоге потратить кучу времени, а вот масштабирование могло бы спасти всю затею.

Юзал. Делалась генерация больших pdf репортов из html с помощью headless chrome для сети интернет-магазинов используя лямбду. Работает быстро и лишних нагрузок на сервер нет, несмотря на любое количество пользователей. Кейсов на самом деле очень много, можно вынести со своего сервера любую логику, требующую мощный сервер (обработка картинок, видео, запуск скриптов автоматизации и т.д.), и тем самым использовать дешевый VPS, или вообще его не использовать. AWS позволяет держать весь свой бекенд там, даже без EC2 инстансов. Просто надо научиться правильно считать расходы на использование AWS, чтобы не улететь в минус, при этом есть бесплатные лимиты, из которых можно и не вылезать.

Лямбды можно писать на ноде, джаве и еще нескольких языках. Лучше всего для этих целей использовать serverless framework. Он в целом позволяет работать не только с AWS но и с другими клаудами тоже.

[miz]

Сообщение от kibnet

Фингерпринтинг конкретного ПК с точностью 99,24%: не спасает даже смена браузера https://geektimes.ru/post/284604/
В БАС есть возможность менять отпечатки. + сейчас внедряется система еще одна, по отпечаткам.

Сообщение от Lord_Alfred

Все эти фингерпринты нахуй не нужоны

В статье рекомендуют юзать ТОР. тор сделан на базе браузера FF. Думаю зеннолабу не составит(если ещё не сделали) труда сделать обновление с блокировкой фингерпринтов.

Сообщение от Lord_Alfred

ТС, если интересно - опиши конкретнее что у тебя за боты. Отсюда и будем топать. Ну и плюс use-cases свои распиши, чтоб точнее сказать

Простая задача это бот-сеть для соц сеток с сложной логикой.
И есть другая. На странице js-ом обновляются данные, я их собираю в массив, провожу расчёты и возвращаю в input на ту-же страницу и сохраняю в бд.
Данные собираются с двух вкладок(два разных сайта), сравнивать нужно в отдельном/третьем потоке.
Соответственно вёрстка разная.
Кроме того если не проявлять активность на странице, то данные перестают обновляться, поэтому надо ещё двигать курсором, что-нибудь кликать.
+ планирую работу по расписанию, то есть чтобы 1 профиль не круглые сутки "находился" на сайте, а по определённому времени.

Сейчас решение реализовал на WebExtensions на FF. на страницы подгружаю content.js, а background.js собирает, считает, управляет. Но чтобы получить удобную многопоточность и полную анонимность хочу использовать какую-нибудь доп прогу.
Владельцы сайтов будут делать всё возможное(денег у них много) для обнаружения ботов.


Получается сейчас выбор между ZennoPoster и BAS.
Готов изучать софт, ЯП...

[twaego9]

Сообщение от miz

В статье рекомендуют юзать ТОР. тор сделан на базе браузера FF.

Это не так. Есть сборки фф, в которых очень хорошо встроен тор. Но говорить о том, что технологии одинаковые нельзя.
Я бы не советовал использовать тор для вашей задачи, хоть он и скрывает ваше ip, но не скрывает то, что вы используете тор, что может привести к мгновенному или отложенному бану.

Сообщение от miz

Думаю зеннолабу не составит(если ещё не сделали) труда сделать обновление с блокировкой фингерпринтов.

Задача по хорошей, красивой эмуляции отпечатков очень и очень трудоемкая, в некоторых частях она может быть соизмерима с усилиями на создание самого ЗП.

Сообщение от miz

Получается сейчас выбор между ZennoPoster и BAS.

Если уже сделали расширение на фф и там много кода, то конечно лучше использовать ЗП, так как он автоматизирует фф, а БАС автоматизирует хром.

Но я уверен в своем продукте, могу предложить вам такой вариант. Вы выбираете БАС, я консультирую вас в телеграмме о том как лучше использовать этот софт для вашей задачи. Это не 24/7, просто обсудим ваши задачи и как их можно реализовать. Сюда не входит написание кода и обход фильтров конкретной соц. сети. Я лично хорошо знаю только одну соц сеть( Только общие моменты, как лучше хранить профили, внедрять код на страницу, обмениваться данными между потоками. А вы после решения задачи напишите объективный отзыв в этой ветке. Получилось/не получилось, легко или тяжело было работать, и т. д.

[twaego9]

https://check.torproject.org/exit-addresses кажется вот, список внешних нод тора

[Lord_Alfred]

Сообщение от twaego9

Но я уверен в своем продукте, могу предложить вам такой вариант. Вы выбираете БАС, я консультирую вас в телеграмме о том как лучше использовать этот софт для вашей задачи. Это не 24/7, просто обсудим ваши задачи и как их можно реализовать. Сюда не входит написание кода и обход фильтров конкретной соц. сети. Я лично хорошо знаю только одну соц сеть( Только общие моменты, как лучше хранить профили, внедрять код на страницу, обмениваться данными между потоками. А вы после решения задачи напишите объективный отзыв в этой ветке. Получилось/не получилось, легко или тяжело было работать, и т. д.

Тогда уж надо чтоб и разрабы ZP тоже обучили ТС своей проге по такой же схеме, а то как-то однобоко получается. Естественно, если всё разжевать, то выбор софта будет очевиден.

Сообщение от miz

Простая задача это бот-сеть для соц сеток с сложной логикой.

Не проблема для ZP

Сообщение от miz

И есть другая. На странице js-ом обновляются данные, я их собираю в массив, провожу расчёты и возвращаю в input на ту-же страницу и сохраняю в бд.

Работа с БД в ZP несколько своеобразна, нужно будет понять (на самом деле крайне простая логика) как передать в кубик работы с БД переменные и как получить от неё данные. Единственный момент, что возникает у всех, кто начинает в многопотоке БД дрюкать - это правильный лок (чтоб в 2х потоках не оказались данные), тут проще всего на уровне БД это будет решить созданием доп. поля со статусом строки + процедурой в БД, но если процедуру в БД не хочется юзать, то нужно уже будет лочить доступ к данным на уровне ZP, а это можно сделать только из C# (ничего особо сложного, куча тем на форуме про локи и про работу в БД).
И, да, если будет достаточно SQLite, то можете сразу взять в вооружение мою либу для неё: https://github.com/lord-alfred/FastSqliteHelper

Сообщение от miz

Данные собираются с двух вкладок(два разных сайта), сравнивать нужно в отдельном/третьем потоке.

Где-то я уже видел эту формулировку в последние дни, но поленился ответить. То ли в личку писали в блоге у меня, то ли на форуме ЗЛ.
Суть тут такая, что лучше забыть о привычных вкладках в зенке - они есть, ими можно пользоваться, но одновременно (читай: параллельно) работать с 2 и более вкладками в рамках проекта - невозможно. Поэтому проще условится, что 1 вкладка = это 1 проект. Сразу всё станет просто и легко, в первом проекте собираете, во втором используете данные из первого. Только нужно будет согласовать между проектами формат передачи и взаимодействие, но тут уж если опять возвращаться к предыдущему вопросу - лучше всего использовать БД, если есть познания в них (встроенные таблицы/списки в зенке тоже подойдут, но почему-то мне кажется, что данных там будет много и просто это будет неудобно делать). Суть будет в том, что когда первый поток прочитал нужные данные - он кладет их в БД, а в это время непрерывно (есть запуск по расписанию, дискретный 1 минуте) второй поток ждет когда в БД появятся нужные данные с нужным статусом (возвращаясь к вопросу локов), после того как они появились - он их берет, меняет статус (опять же - как писал выше: через процедуру на уровне СУБД или через C#) и использует эти данные согласно описанного сценария.

Сообщение от miz

Кроме того если не проявлять активность на странице, то данные перестают обновляться, поэтому надо ещё двигать курсором, что-нибудь кликать.

Более-менее рабочая эмуляция курсора (в первую очередь для многопотока) только через C# код, на форуме куча примеров. Но возможно проще будет отловить (отсниффать, например, или через экстеншены вроде Visual Event для хрома) какой js обновляет данные и просто через кубик "Свой JS" выполнять его, чтоб страница грузилась и далее. Я встречал такое, что на одном сайте нужно было проскроллить страницу, а в тот момент метода для скролла в зенке не было, но мне настолько повезло, что вначале я просто через JS делал moveTo к футеру сайта, а потом заметил, что если просто посылать какое-то событие (не помню точно, может быть onchange) к одному из элементов DOM-дерева, то срабатывал скролл.

Сообщение от miz

+ планирую работу по расписанию, то есть чтобы 1 профиль не круглые сутки "находился" на сайте, а по определённому времени.

Писал выше - не проблема.

Сообщение от miz

Сейчас решение реализовал на WebExtensions на FF. на страницы подгружаю content.js, а background.js собирает, считает, управляет. Но чтобы получить удобную многопоточность и полную анонимность хочу использовать какую-нибудь доп прогу.

Просто так взять и перенести свой js-код из экстеншенов в ZP - вряд ли выйдет. Я с JS в зенке много не работал (в основном всё пилится через кубики и/или C#), но по-моему там есть какие-то ограничения на этот счет, то ли JS старый (нет поддержки синтаксического сахара), то ли выполнение его будет происходить каким-то неправильным образом - не скажу точно, да и лучше пускай поправят те, кто точно знает.


PS: опережая вопросы в личку (не от ТС, а вообще), которые поступят после этих постов от меня (как обычно и бывает) - я не консультирую, не обучаю, не пишу за деньги или еду. Когда не в лом - отвечаю на форумах, в остальных случаях вряд ли смогу помочь.

[miz]

Сообщение от twaego9

могу предложить вам такой вариант.

Благодарю за предложение, нужно обдумать.

Сообщение от twaego9

использовать тор для вашей задачи,

Использовать тор и не думал. Это было к слову о фингерпринтах. ip тора слишком медлительны и публичны. А скорость и стабильность приёма данных очень важна.

Сообщение от twaego9

Если уже сделали расширение на фф и там много кода,

Кода не много, большую часть времени потратил на написание логики. К тому-же WebExtensions - это кросс-браузерная система разработки дополнений для браузеров, по идее должна работать на большинстве браузеров.

Сообщение от Lord_Alfred

Где-то я уже видел эту формулировку в последние дни

Да, на форуме ЗЛ, там до сих пор(2 дня) тишина.

Сообщение от Lord_Alfred

Поэтому проще условится, что 1 вкладка = это 1 проект. Только нужно будет согласовать между проектами формат передачи и взаимодействие,

Пока что не знаю как устроены проекты в зенно - на сколько они обособленны друг от друга? Сейчас передача данных в формате js объекта ~ json. Данных не много, в основном около 30 полей с цифрами. А время от обновления данных до окончания расчётов с выгрузкой обратно должно быть минимальное. По расписанию будут меняться профили - ведь живой человек не может 24 часа находиться на сайте.

Сейчас думаю что наиболее оптимально: 1.собирать все данные в бд1, 2.затем(можно даже не зенно) проводить расчёты и складировать в бд2, и 3. заключительная часть брать из бд2 и отправлять в input.
2 этап можно даже реализовать в виде процедуры субд - расчёты простые: умножить и сравнить.

Сообщение от Lord_Alfred

возможно проще будет отловить (отсниффать, например, или через экстеншены вроде Visual Event для хрома) какой js обновляет данные и просто через кубик "Свой JS" выполнять его

Думаю на C# получится более универсальное решение в плане масштабируемости(если нужно будет подключить другие сайты) и стабильности(гарантия не спалиться).

Поверхностно полазив в коде сайтов не обнаружил каких-то защит от ботов. Но это пока поверхностно. И верю что она должна там быть, во всяком случае будет. Кстати подключена яндекс-аналитика/веб-визор. Мысли следующие: данные о действиях(движение мышью, клики, скорость) юзера можно пропустить через софт и провести соответствие к запросам к серверу = раскрыть бота без эмуляций?

Сообщение от Lord_Alfred

Просто так взять и перенести свой js-код из экстеншенов в ZP - вряд ли выйдет.

Да это не проблема. Если и юзать сторонний софт, то в нем нужно сначала разобраться, а далее думаю не составит труда повторить логику заложенную в коде.

Благодарю тем кто конструктивно отвечает и помогает с выбором. Вы очень помогаете.

[Lord_Alfred]

Сообщение от miz

Пока что не знаю как устроены проекты в зенно - на сколько они обособленны друг от друга?

Каждый проект обособлен от друга, но всё настраивается и можно использовать один профиль на 2 проекта, но нет гарантий, что где-то что-то не отхлебнет в таком случае.

Сообщение от miz

Сейчас передача данных в формате js объекта ~ json. Данных не много, в основном около 30 полей с цифрами. А время от обновления данных до окончания расчётов с выгрузкой обратно должно быть минимальное.

Можно из одного проекта запускать другой проект ещё, например, через bat'ник. Вот у меня, например, запуск изменения IP адреса на прокси-сервисе:

Причем тут даже не зависит от версии зенки, там прокидывается версия в батник и если апдейтнуть её - то ничего не сломается.

Сообщение от miz

Думаю на C# получится более универсальное решение в плане масштабируемости(если нужно будет подключить другие сайты) и стабильности(гарантия не спалиться).

Не факт. Если сайты с одинаковой структурой (считай что вообще одинаковые) - может быть, но обычно так не бывает. Универсальные решения делать сложно, проще на каждый сайт свой проект сделать, а общие какие-то вещи (генерацию каких-то данных, которые не зависят от проекта) - выносить в "подпроекты".

Сообщение от miz

Кстати подключена яндекс-аналитика/веб-визор. Мысли следующие: данные о действиях(движение мышью, клики, скорость) юзера можно пропустить через софт и провести соответствие к запросам к серверу = раскрыть бота без эмуляций?

Если заморочиться, то есть методы и проще. Но их сейчас такое множество, что нужно ещё понять какой именно подойдет. Если рассматривать сайт, с которым идет работа как черный ящик, то нужно максимально эмулировать всё что угодно, потому что в любой момент может что-то появится против ботов и об этом никто не оповестит. Причем для сайты боты - тоже как черный ящик, поэтому тут у разработчиков такие же проблемы могут быть - не ясно какой метод детекта может привести к успеху (например, в случае если забыл аудиофингерпринт эмулировать - то можно с легкостью спалить, например, но разработчик сайта не знает о том, что он не сэмулирован, пока не проверит это).

[twaego9]

Сообщение от Lord_Alfred

Естественно, если всё разжевать, то выбор софта будет очевиден.

Все разжевывать у меня нет времени, предлагаю консультацию в телеграме, то что вы делаете сейчас на форуме.

Сообщение от Lord_Alfred

Тогда уж надо чтоб и разрабы ZP тоже обучили ТС своей проге по такой же схеме, а то как-то однобоко получается.

Если разрабы ЗП в этом заинтересованы, и человек хочет 2 раза писать свой проект в двух разных средах, то я не против.

Сообщение от Lord_Alfred

Работа с БД в ZP несколько своеобразна, нужно будет понять (на самом деле крайне простая логика) как передать в кубик работы с БД переменные и как получить от неё данные. Единственный момент, что возникает у всех, кто начинает в многопотоке БД дрюкать - это правильный лок

БД работает из коробки, можно самому создавать таблицы и делать к ним запросы, все через визуальное программирование без единой строчки кода. Есть удобный менеджер, данные в таблицах можно группировать. По умолчанию в качестве БД работает монго, но можно подключать любые другие СУБД, включая самые редкие.



Лочить ничего не нужно, это преимущества работы с js(но ни одной строчки кода писать не нужно).

Переменные передавать легко.

Сообщение от Lord_Alfred

Более-менее рабочая эмуляция курсора (в первую очередь для многопотока) только через C# код, на форуме куча примеров.

В БАС это тоже из коробки и по умолчанию для всех действий. Используется сложный и настраиваемый алгоритм, движение мыши максимально похожи на сделанные человеком.

Сообщение от Lord_Alfred

Писал выше - не проблема.

Тут нужно юзать планировщик винды, но достаточно продвинутый инструмент будет доступен в одной из следующих версий.

Сообщение от Lord_Alfred

Поэтому проще условится, что 1 вкладка = это 1 проект.

БАС поддерживает работу с 2 вкладками одновременно, но если нужно параллельно выполнять в них разные действия, то лучше использовать архитектуру 1 вкладка - 1 поток. Обмен данными через глобальные переменные.

[miz]

Сообщение от twaego9

все через визуальное программирование без единой строчки кода. Есть удобный менеджер, данные в таблицах можно группировать.

и через визуальное получится нормально парсить? У меня сомнения на этот счёт. Но надо попробовать.