Парсю сайты

[lorien]

Здравствуйте.

По прежнему парсю сайты. Много-много примеров парсинга данных, которые я лично сделал, можно посмотреть тут: http://datalab.io/project
Средняя цена за парсинг одного сайта в районе $200-300
Среднее время выполнения одного проекта: 1-7 дней
Если я взялся за проект, то вероятность его успешного завершения довольно высока, хотя бывают и осечки. Если что-то не вышло, то всегда возвращаю предоплату в полном объёме.

Также собираю идеи для парсинга баз для массовой продажи по цене до $100. Т.е. если вам нужны какие-то не слишком специфичные данные, кидайте идею, я парсю, вы получаете нужные данные по этой цене. Примеры таких идей: все фильмы с сайта kinopoisk, все фильмы с сайта imdb

skype: lorien.name
email: [email protected]

[lorien]

Решил потихоньку наполнять сайт готовыми базами данных, которые вы можете купить по небольшой цене.

Итак, русскоязычная база фильмов.

В базе содержится информация на русском языке о более чем 400 тысячах фильмов. Также вы получите архив с картинками - обложками фильмов. Размер архива 13 гигабайт. Сама база данных предоставляется в виде дампа mysql-базы данных. Для вашего удобства предоставляется тажке CSV-файл, которые вы можете импортировать в mysql-базу с помощью инструкции "LOAD DATA INFILE".

Описание полей таблицы:

* id - ID фильма на сайте kinopoisk.ru
* title - Название (русское или англ. если русского варианта нет)
* title_alt - Альтернативное название (например, на англ. языке)
* version - версия описания фильма (если на сайте-источники было несколько описаний этого фильма)
* movie_type - тип фильма (movie, mini-serial, serial, tv или video)
* movie_type_label - тип фильма в читаемом виде (фильм, мини-сериал, сериал, тв или видео)
* url - адрес фильма на сайте kinopoisk.ru
* year - год выпуска
* country - страна производства
* slogan - слоган
* director - режиссёр
* writer - сценарист
* producer - продюсер
* operator - оператор
* composer - композитор
* design - художник
* editor - монтажёр
* actor - актёр
* voice - дубляж
* genre - жанр
* budget - бюджет
* revenue_world - кассовые сборы в мире
* revenue_usa - кассовые сборы в США
* revenue_russia - кассовые сборы в России
* age_limit - возрастное ограничение
* mpaa_rating - рейтинг MPAA
* time - длительность в минутах
* release_world - дата релиза (впервые в мире)
* release_russia - дата релиза в России
* description - описание фильма
* imdb_rating - рейтинг imdb.com
* imdb_rating_count - количество голосов на imdb.com
* kinopoisk_rating - рейтинг kinopoisk.ru
* kinopoisk_rating_count - количество голосов на kinopoisk.ru
* cover_url - адрес обложки фильма
* cover_path - путь к файлу обложки фильма (архив прилагается)

Обратите внимание, в поляк actor (актёры) и voice (дубляж) указаны только самые значимые люди, учавствовавшие в фильме - поля не содержат полный список актёров и актёров дубляжа.

Страница базы данных в магазине: http://baze.org/database/moviedb-ru

Срез базы для 250 самых известных фильмов (картинки включены): http://baze.org/static/upload/moviedb_ru_demo.tar

Цена: $100

[Hector]

А ты не думал что торговать открыто со своего сайта и еще чужими данными это мягко говоря незаконно?

[Ower]

так вроде данные публичные, не ломает же

[lorien]

Думал. Если будут заявки от правообладателей, я не против убрать материалы с сайта. А так, заказы на парсинг, по сути, это сплошное нарушение прав правообладателей т.к. я сначала извлекаю данные, а потом их продаю.

[adamant]

lorien, ну факта продажи они не смогут доказать. Содержимое как бы тоже ими не проверялось. может у тебя флешмоб такой и ты называешь файлы названием их сайтов))
а может у тебя там вообще ничего нет и ты вебмастеров разводишь

[digg]

сколько будет стоить спарсить все категории этого сайта в xml для импорта а вордпресс под плагин woocommerce, чтоб сразу в шоп были добавлены все товары и посортированы по категориям, как на сайте доноре?
http://catalog6.obo-bettermann.com/c...teView&lang=uk
ну, и все фотки, чтоб были атачментами к каждому товару
в сумме тут около 72к товаров

[lorien]

Я таким вообще не занимаюсь. Не делаю импорт в чужие движки. Как показала практика - это жуткий геморой. По сути, надо или специализироваться на конкретных движках или каждый раз изучать строение нового движка. Ни то, ни то мне особо не интересно.

[lorien]

Так, добавил ещё одну базу. В базе 123 тысячи записей. Цена $15.

http://baze.org/database/yandex-catalog

База содержит параметры сайтов, зерегистрированных в яндекс-каталоге.

База состоит из следующих полей:
* Домен
* Ссылка
* Категории, например: Развлечения / Игры / Ролевые игры и стратегии
* Категории ID, например: Entertainment/Games/Strategies
* Название
* Описание
* Скриншот
* Почтовый адрес
* Телефон
* ТиЦ
* Регион, например: (Москва)
* Регион ID, например: Russia/Central/Moscow_District/Moscow
* Тип сайта (pda, watch, listen, download, play, widget)

Один сайт может находиться в нескольки категория, в таком случае поле Категории будет содержать все категории сайта, разделённые знаком "|". Это же верно и для поля Тип сайта.

Купив базу, вы получите архив с Excel и CSV файлами (в двух форматах для удобства).

Также сейчас изучаю парсинг амазона. Если кому нужны списки товаров в виде (название, ID, цена, ссылка на картинку, категория). Обращайтесь: мильон таких записей из нужной вам категории за $10 Пример: http://lorien.name/static/pub/product.csv

[DIe$el]

2гис есть? нужно выдернуть телефоны по городу