Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Объявления о покупке/продаже товаров и услуг
Дата
USD/RUB58.7570
BTC/USD0.0000
Объявления о покупке/продаже товаров и услуг Также в этом разделе следует размещать и предложения о сотрудничестве.

Закрытая тема
Опции темы Опции просмотра
Старый 19.12.2012, 19:53   #1
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
Отправить сообщение для lorien с помощью Skype™
По умолчанию База данных программ с play.google.com

Потихоньку исследую программки с play.google.com
Пока достал 165к программулин с гугл-маркета, сколько их всего не знаю, где-то видел цифру 500к.
Парсю русский язык, но могу и на любом другом языке спарсить описания. Подозреваю, что для большинства программ доступна только англоязычная версия описания.
Нужна кому-то такая бд? Продам за $200, также возможен экспорт базы в DLE или wordpress.
lorien вне форума  
Старый 19.12.2012, 21:00   #2
inkubus
Senior Member
 
Аватар для inkubus
 
Регистрация: 11.02.2010
Сообщений: 935
Бабло: $176795
По умолчанию

In October 2012 Google announced that Google Play had 700,000 apps available to download

а что в базе? названия и описания, или еще что-то?
inkubus вне форума  
Старый 19.12.2012, 22:02   #3
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Что нужно, то и могу спарсить. Какой-то определённой базы сейчас нет - я просто изучаю, как сайт парсится, полного списка приложений я не нашёл, поэтому ищу их всякими хитростями. Гугл кстати сопротивляется, выдаёт кучу 403 и 503 ошибок для запросов, хотя парсю через 1000 прокси.

Как минимум в базе будет название, ссылка на гугл плей, описание и инфа из "правого" блока т.е.
Цитата:
ABOUT THIS APP
RATING:
(220)
UPDATED:
December 12, 2012
CURRENT VERSION:
1.0.1
REQUIRES ANDROID:
2.3.3 and up
CATEGORY:
Brain & Puzzle
INSTALLS:
5,000 - 10,000

last 30 days
SIZE:
294M
PRICE:
91,46 руб.
CONTENT RATING:
Everyone
Также одна картинка и три комментария-отзыва. И ещё ссылка ну ютуб-ролик.
Вся эта инфа доступна с главной страницы приложения (ну + 1 запрос на скачивание картинки большой).

А вообще можно парсить также все картинки и все отзывы, но такую базу надо уже дороже $200 продавать т.к. сильно больше запросов надо делать. Картинок может быть несколько. Отзывов у приложения может быть много, это несколько страниц пагинации отзывов, а приложений полляма, отсюда и много чего парсить надо.

UPD:
Вспомнил что ещё доступно ко страницы приложения
* Другие приложения этого разработчика
* Пользователи, просматривавшие это приложение, также просматривали:
* Пользователи, установившие это приложение, также установили:
* иконка приложения (картинка 124x124)

Последний раз редактировалось lorien; 19.12.2012 в 22:15.
lorien вне форума  
Старый 19.12.2012, 23:26   #4
fireXXX
Senior Member
 
Аватар для fireXXX
 
Регистрация: 11.08.2010
Сообщений: 697
Бабло: $155560
По умолчанию

lorien, эти описания уже в гугле обычном есть? (в смысле будет неуник?)

И тут уже селлят что-то подобное
http://gofuckbiz.com/showthread.php?t=33439
__________________
Нет войне.
fireXXX вне форума  
Старый 19.12.2012, 23:55   #5
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Да, это описания из гугл-маркета (play.google.com) - 100% неуникальный текст.

Скажем так, я в том году спарсил 20к таких приложений и просто залил на сайт и больше ничего не делал, на сайте был трафик 300 хостов дейли, а потом я забыл домен проплатить.

> И тут уже селлят что-то подобное

Там селлят программу, которая собирает такие данные. А я предлагаю уже готовые данные, также предлагаю возможность выложить их в нужном для вас формате.

Иметь программу для сбора данных и собрать большой объём данных - это не одно и то же.
lorien вне форума  
Старый 11.03.2013, 14:42   #6
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Итак, исследовательский проект по парсингу play.google.com близится к концу. На данный момент идентифицировано пол миллиона приложений, возможно ещё несколько десятков тысяч напарсим, сейчас с банами проксей разбираемся.

Привожу структуру таблиц, которые будут в итоговом дампе:

Application
=========
play_id: string - ID приложения в play.google.com
play_url: string - нормализованный URL приложения в play.google.com
description_html: string - описание приложения (оригинальный HTML)
description_text: string - описание приложения (текстовый вариант)
screenshots: list of {url: string, path: string}
poster: {url: string, path: string}
icon: {url: string, path: string}
Видео: тоже надо, только ссылку или html-код
rating_count: int - количество голосов
rating: decimal - рейтинг приложения
update_date: datetime - дата обновления приложения
current_version: string - текущая версия
android_requirement: decimal - минимальная версия android
category: one-to-many? many-to-many?
download_count - я так понимаю там градации (выяснить)
software_size: int (в байтах)
price: {value: decimal, currency: string}
is_free: boolean
age_limit: градации (выяснить)
developer_id: string - ID разработчика
whatsnew: string: текстовый вариант (без тэгов) из блока "Что нового"
related_install: list of str - список ID приложений из блока "Также установили"
related_view: list of str - список ID приложений из блока "Также просматривали"
! Разрешения пока не парсим


Review
======
post_date: datetime
rating: decimal
subject: string - по-ходу, там какой-то заголовок у отзывов есть
message: string - судя по всему, там текст
device: string - ???
app_version: string - версия приложения, о которой оставлен отзыв


Developer
========
name: string - название разработчика
play_id: string - ID на play.google.com
play_url: string - адрес страницы на play.google.com
website_url: string - адрес вебсайта разработчика
email: string - видно на странице приложения

Иконки, "обои" (картинка в шапке) и скриншоты будут скачаны и доступны в архиве.

Язык базы: английский. Можно и другой язык спрасить. Надо учитывать, что у многих приложений
будет только одна версия описания, скорее всего, английская.

Если кому-то интересна это БД, можно делать предварительные заказы.
Цена: $300
Skype: lorien.name

Последний раз редактировалось lorien; 11.03.2013 в 14:48.
lorien вне форума  
Старый 02.10.2013, 22:34   #7
lorien
Senior Member
 
Аватар для lorien
 
Регистрация: 18.05.2009
Сообщений: 879
Бабло: $177835
ТС -->
Отправить сообщение для lorien с помощью Skype™
автор темы ТС По умолчанию

Привет, я тут заново play.google.com парсю. Вот подумал, вдруг кому-нить нужна эта база и решил апнуть тему. Цена базы $300 или могу какую-то выборку из базы сделать за меньшие деньги.
lorien вне форума