Скрипты для Твиттера - Форум успешных вебмастеров

WebNinja · 24.03.2013, 06:41

Написал для клиента (UK) небольшой скрипт для майнинга данных из твиттера (через API), собирает практически все данные по аккаунту (статистика - кол-во фалловеров, друзей, кол-во твиттов и т.д.) - список твиттов (хэштеги, время, ретвит/не ретвит и т.д. всего не более 2500 для аккаунта - ограничение самого твиттера), друзей и фалловеров.

Ему это нужно было для построения социального графа между аккаунтами. На данный момент в скриптах имеется фатальный недостаток - не масштабируются, т.к. следуют правильным таймингам, чтобы не превышать лимиты API, и это очень медленно. Что можно сделать? Например написать реализацию oauth используя grab, чтобы каждому апи ключу можно было сопоставить отдельный прокси. Вынести работу с каждым апи-ключом в отдельный процесс или использовать асинхронный стиль.

В результате это позволит с большой скоростью собирать данные для большого кол-ва аккаунтов.

Кому может быть такое интересно?

false · 24.03.2013, 09:47

1 поток - 1 апи-кей с верными таймаутами
есть возможность зделать 100 потоков с разными апи кеями ?

WebNinja · 24.03.2013, 10:16

да, я собственно это и хочу сделать. каждый поток/процесс будет работать через свою проксю.
хз только какая практическая польза может быть с этого.

xealey · 24.03.2013, 12:04

сможешь построить красивую инфографику

или барыжить безотказными фолловерами, давать выборки из твитов по кею (неплохо лезут по НЧ), сам скрипт вряд ли сможет заинтересовать многих, в отличие от намайненных данных

Venya Tolinov · 24.03.2013, 15:03

Как раз что-то похожее у меня у меня на ГАЕ работает. Особо лимитов не ощущаю, вытаскиваю данные до миллиона. Вот примеры БД под катом.

sspy · 24.03.2013, 15:21

Цитата:

Сообщение от Venya Tolinov

количество продаж данных баз отчетливо отвечает на вопрос тс, что никому оно нафиг не надо

Venya Tolinov · 24.03.2013, 15:24

Цитата:

Сообщение от sspy

количество продаж данных баз отчетливо отвечает на вопрос тс, что никому оно нафиг не надо

Не говори за всех, мне например нужно - я делал для себя.

xealey · 24.03.2013, 15:32

Цитата:

количество продаж данных баз отчетливо отвечает на вопрос тс, что никому оно нафиг не надо

это ты зря. селлер просто неадекватный прайс выкатил, фолловеры парсятся просто и непринужденно
и те, кто работают в тви, обычно имеют собственные подобные листы, так как в курсе, куда и зачем запользовать

Venya Tolinov · 24.03.2013, 15:37

Цитата:

Сообщение от xealey

это ты зря. селлер просто неадекватный прайс выкатил, фолловеры парсятся просто и непринужденно
и те, кто работают в тви, обычно имеют собственные подобные листы, так как в курсе, куда и зачем запользовать

4.6 WMZ за 300к+ строчную базу? Ну пиздец ты нищеброд.

WebNinja · 24.03.2013, 21:21

Ну вот нужно было социальный граф строить и заниматься анализом твиттер акков мед-клиник, чтобы находить корелляцию между нагрузкой на клинику по параметрам твиттера аккакунта. Но таких походу единицы.

Цитата:

Как раз что-то похожее у меня у меня на ГАЕ работает. Особо лимитов не ощущаю, вытаскиваю данные до миллиона. Вот примеры БД под катом.

Как это "особо не ощущаю"? там конкретно прописано 180 реквестов в таймфрэйме 15 минут для одних вызовов API и 15 для других.

Цитата:

так как в курсе, куда и зачем запользовать

я не в курсе, расскажи! =)