Помогите напарсить - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.7196
BTC/USD64089.4560
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 14.10.2007, 21:14   #1
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,073
Бабло: $134959
По умолчанию Помогите напарсить

Нужно напарсить все урлы из stream.ifolder.ru
Всего их:
Цитата:
site:stream.ifolder.ru intext:"Скачать файл" intext:"Название:" intext:"Доступен до:"
8000 примерно

Надо извратиться и придумать 8 или более запросов. У всех файлов свои уникальные номера, но гугл чёто отказывается искать по части номера.

Был вариант парсить ещё по расширению файла:
Цитата:
site:stream.ifolder.ru intext:"Скачать файл" intext:"Название:" intext:"Доступен до:" intext:".rar"

site:stream.ifolder.ru intext:"Скачать файл" intext:"Название:" intext:"Доступен до:" intext:".zip"
C зипом всё в порядке, а вот раров опять больше тысячи. Есть ещё варианты?)
Nou вне форума  
Старый 14.10.2007, 21:21   #2
analgin
Страдаю приступами необоснованных комментов.
 
Аватар для analgin
 
Регистрация: 07.06.2007
Адрес: Киев
Сообщений: 0
Бабло: $520
Отправить сообщение для analgin с помощью ICQ Отправить сообщение для analgin с помощью Skype™
По умолчанию

попробуй по доступности пропарсить, т.е.
site:stream.ifolder.ru 2007-08-11
site:stream.ifolder.ru 2007-08-12
site:stream.ifolder.ru 2007-08-09
и т.д.
analgin вне форума  
Старый 14.10.2007, 21:28   #3
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,073
Бабло: $134959
ТС -->
автор темы ТС По умолчанию

Гениально, я нуп затупил чёто)

А тогда сразу ещё вопросик, как сказать гуглу, чтобы искал только в данном домене без поддоменов?
Nou вне форума  
Старый 14.10.2007, 21:45   #4
analgin
Страдаю приступами необоснованных комментов.
 
Аватар для analgin
 
Регистрация: 07.06.2007
Адрес: Киев
Сообщений: 0
Бабло: $520
Отправить сообщение для analgin с помощью ICQ Отправить сообщение для analgin с помощью Skype™
По умолчанию

я не гуру синтаксиса но сделал бы так site:www.ifolder.ru
analgin вне форума  
Старый 14.10.2007, 21:47   #5
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,073
Бабло: $134959
ТС -->
автор темы ТС По умолчанию

нипральна, так он не покажет страницы без ввв, а их большинство)
Nou вне форума  
Старый 14.10.2007, 22:22   #6
seocoder
хуйнанэ
 
Аватар для seocoder
 
Регистрация: 03.04.2007
Сообщений: 1,294
Бабло: $126446
Отправить сообщение для seocoder с помощью Skype™
По умолчанию

пробовать как обычно добавлять в запрос
[aa - Zz]
и цифры
запросов больше - но вытянуть все можно будет скорее всего
__________________
webparadox
seocoder вне форума  
Старый 14.10.2007, 22:25   #7
analgin
Страдаю приступами необоснованных комментов.
 
Аватар для analgin
 
Регистрация: 07.06.2007
Адрес: Киев
Сообщений: 0
Бабло: $520
Отправить сообщение для analgin с помощью ICQ Отправить сообщение для analgin с помощью Skype™
По умолчанию

как вариант юзать операторы гугла типо - исключения, * любая фраза.
а так если честно я хз как напарсить конкретно с одного домена
analgin вне форума  
Старый 16.10.2007, 21:00   #8
Nou
Senior Member
 
Регистрация: 11.07.2007
Сообщений: 2,073
Бабло: $134959
ТС -->
автор темы ТС По умолчанию

Мда... все даты с начала 2006го до конца 2007го дали только 8к страниц со свего айфолдера. Буду пробовать буковки
Nou вне форума  
Старый 17.10.2007, 05:01   #9
analgin
Страдаю приступами необоснованных комментов.
 
Аватар для analgin
 
Регистрация: 07.06.2007
Адрес: Киев
Сообщений: 0
Бабло: $520
Отправить сообщение для analgin с помощью ICQ Отправить сообщение для analgin с помощью Skype™
По умолчанию

не гуглом единым...
analgin вне форума  
Старый 17.10.2007, 11:23   #10
Dmitry HT
В помошь вебмастеру!
 
Аватар для Dmitry HT
 
Регистрация: 11.09.2007
Сообщений: 436
Бабло: $27673
По умолчанию

Что мешает сделать побольше уточняющих запросов?
Например по дате в файле:
----
2007-09 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"
2007-10 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"
2007-11 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"

и др. года тоже
2006-01 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"
2006-02 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"
...
...

конечно и здесь могут быть результаты больше 1000, поэтому можно еще более обрезать, напрмер, так:
2007-08-1..15 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"
2007-08-16..31 site:stream.ifolder.ru intext:"Скачать файл" intext:Название intext:"Доступен до:"

думаю если все это еще и с поиском по типу файла, то будет норм результат
Dmitry HT вне форума