База данных программ с play.google.com

[lorien]

Потихоньку исследую программки с play.google.com
Пока достал 165к программулин с гугл-маркета, сколько их всего не знаю, где-то видел цифру 500к.
Парсю русский язык, но могу и на любом другом языке спарсить описания. Подозреваю, что для большинства программ доступна только англоязычная версия описания.
Нужна кому-то такая бд? Продам за $200, также возможен экспорт базы в DLE или wordpress.

[inkubus]

In October 2012 Google announced that Google Play had 700,000 apps available to download

а что в базе? названия и описания, или еще что-то?

[lorien]

Что нужно, то и могу спарсить. Какой-то определённой базы сейчас нет - я просто изучаю, как сайт парсится, полного списка приложений я не нашёл, поэтому ищу их всякими хитростями. Гугл кстати сопротивляется, выдаёт кучу 403 и 503 ошибок для запросов, хотя парсю через 1000 прокси.

Как минимум в базе будет название, ссылка на гугл плей, описание и инфа из "правого" блока т.е.

ABOUT THIS APP
RATING:
(220)
UPDATED:
December 12, 2012
CURRENT VERSION:
1.0.1
REQUIRES ANDROID:
2.3.3 and up
CATEGORY:
Brain & Puzzle
INSTALLS:
5,000 - 10,000

last 30 days
SIZE:
294M
PRICE:
91,46 руб.
CONTENT RATING:
Everyone

Также одна картинка и три комментария-отзыва. И ещё ссылка ну ютуб-ролик.
Вся эта инфа доступна с главной страницы приложения (ну + 1 запрос на скачивание картинки большой).

А вообще можно парсить также все картинки и все отзывы, но такую базу надо уже дороже $200 продавать т.к. сильно больше запросов надо делать. Картинок может быть несколько. Отзывов у приложения может быть много, это несколько страниц пагинации отзывов, а приложений полляма, отсюда и много чего парсить надо.

UPD:
Вспомнил что ещё доступно ко страницы приложения
* Другие приложения этого разработчика
* Пользователи, просматривавшие это приложение, также просматривали:
* Пользователи, установившие это приложение, также установили:
* иконка приложения (картинка 124x124)

[fireXXX]

lorien, эти описания уже в гугле обычном есть? (в смысле будет неуник?)

И тут уже селлят что-то подобное
http://gofuckbiz.com/showthread.php?t=33439

[lorien]

Да, это описания из гугл-маркета (play.google.com) - 100% неуникальный текст.

Скажем так, я в том году спарсил 20к таких приложений и просто залил на сайт и больше ничего не делал, на сайте был трафик 300 хостов дейли, а потом я забыл домен проплатить.

> И тут уже селлят что-то подобное

Там селлят программу, которая собирает такие данные. А я предлагаю уже готовые данные, также предлагаю возможность выложить их в нужном для вас формате.

Иметь программу для сбора данных и собрать большой объём данных - это не одно и то же.

[lorien]

Итак, исследовательский проект по парсингу play.google.com близится к концу. На данный момент идентифицировано пол миллиона приложений, возможно ещё несколько десятков тысяч напарсим, сейчас с банами проксей разбираемся.

Привожу структуру таблиц, которые будут в итоговом дампе:

Application
=========
play_id: string - ID приложения в play.google.com
play_url: string - нормализованный URL приложения в play.google.com
description_html: string - описание приложения (оригинальный HTML)
description_text: string - описание приложения (текстовый вариант)
screenshots: list of {url: string, path: string}
poster: {url: string, path: string}
icon: {url: string, path: string}
Видео: тоже надо, только ссылку или html-код
rating_count: int - количество голосов
rating: decimal - рейтинг приложения
update_date: datetime - дата обновления приложения
current_version: string - текущая версия
android_requirement: decimal - минимальная версия android
category: one-to-many? many-to-many?
download_count - я так понимаю там градации (выяснить)
software_size: int (в байтах)
price: {value: decimal, currency: string}
is_free: boolean
age_limit: градации (выяснить)
developer_id: string - ID разработчика
whatsnew: string: текстовый вариант (без тэгов) из блока "Что нового"
related_install: list of str - список ID приложений из блока "Также установили"
related_view: list of str - список ID приложений из блока "Также просматривали"
! Разрешения пока не парсим


Review
======
post_date: datetime
rating: decimal
subject: string - по-ходу, там какой-то заголовок у отзывов есть
message: string - судя по всему, там текст
device: string - ???
app_version: string - версия приложения, о которой оставлен отзыв


Developer
========
name: string - название разработчика
play_id: string - ID на play.google.com
play_url: string - адрес страницы на play.google.com
website_url: string - адрес вебсайта разработчика
email: string - видно на странице приложения

Иконки, "обои" (картинка в шапке) и скриншоты будут скачаны и доступны в архиве.

Язык базы: английский. Можно и другой язык спрасить. Надо учитывать, что у многих приложений
будет только одна версия описания, скорее всего, английская.

Если кому-то интересна это БД, можно делать предварительные заказы.
Цена: $300
Skype: lorien.name

[lorien]

Привет, я тут заново play.google.com парсю. Вот подумал, вдруг кому-нить нужна эта база и решил апнуть тему. Цена базы $300 или могу какую-то выборку из базы сделать за меньшие деньги.