Регистрация
Правила
Сообщения за день
Поиск
Пользователи
Реклама
Форум успешных вебмастеров - GoFuckBiz.com
>
Бизнес-решения
>
Скрипты, программы и технические решения
Чем спарсить все URL большого сайта?
Дата
USD/RUB
90.2486
BTC/USD
68722.4789
Имя
Запомнить?
Пароль
Скрипты, программы и технические решения
Обсуждаем скрипты, программы и новые технологии.
Поиск по форуму
Отобразить темы
Отображать сообщения
Расширенный поиск
Топ "Лайков"
Топ "Лайков" (без "Трепа")
К странице...
Страница 1 из 2
1
2
>
Опции темы
Опции просмотра
23.06.2020, 12:45
#
1
smsupport
Senior Member
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло
: $361075
Чем спарсить все URL большого сайта?
Судя по гугл индексу на сайте 1.5+ млн страниц.
Если какой-то софт или скрипты для многопоточного прохода по всем страницам с сохранением уникальных в базу или текстовый файлик?
__________________
Swissdoc
heavy spec
smsupport
Посмотреть профиль
Отправить личное сообщение для smsupport
Найти ещё сообщения от smsupport
23.06.2020, 13:34
#
2
warovik
Senior Member
Регистрация: 17.05.2007
Сообщений: 739
Бабло
: $142995
aparser
__________________
Covid пройдет, а мы останемся
Pharmcash
&
PharmcashUSA
- с Вами НАВСЕГДА
Likes: 3
warovik
Посмотреть профиль
Отправить личное сообщение для warovik
Найти ещё сообщения от warovik
23.06.2020, 14:46
#
3
Бздетектив
Ебланнед
Регистрация: 02.10.2015
Сообщений: 2,142
Бабло
: $270665
xenu title parser бесплатный, правда он еще и внешние линки сгребет, он до 100 потоков
дальше урлы можно хоть в flashget засунуть, он до 8 потоков
Likes: 1
Бздетектив
Посмотреть профиль
Найти ещё сообщения от Бздетектив
23.06.2020, 17:01
#
4
digg
$400
Регистрация: 17.05.2009
Сообщений: 14,034
Бабло
: $1904250
на пхп есть
__________________
ФАРМА ПП #1
- рекомендую!
API, 1:7, > $200
|
DrBucks-фарма конверт 1:1 апрув100% Visa+MC
PharmAlliance СИЛА с НАМИ! Апрув 100%
|
@PILLTOP_Partners - тебе точно зайдет наш процент
digg
Посмотреть профиль
Отправить личное сообщение для digg
Найти ещё сообщения от digg
23.06.2020, 17:50
#
5
agimi777
自由
Регистрация: 20.06.2020
Сообщений: 51
Бабло
: $13655
content downloader
agimi777
Посмотреть профиль
Отправить личное сообщение для agimi777
Найти ещё сообщения от agimi777
23.06.2020, 18:49
#
6
OfeatO
Member
Регистрация: 05.03.2008
Сообщений: 70
Бабло
: $16285
Вопрос в том - как там генерируется контент? Динамика или статика?
OfeatO
Посмотреть профиль
Отправить личное сообщение для OfeatO
Найти ещё сообщения от OfeatO
23.06.2020, 20:10
#
7
smsupport
Senior Member
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло
: $361075
ТС
-->
ТС
OfeatO
, статика
digg
, раз сказал, давай где скачать)
ксену напарсил 500к линков, а их там точно больше, хз почему дальше не идет.
__________________
Swissdoc
heavy spec
smsupport
Посмотреть профиль
Отправить личное сообщение для smsupport
Найти ещё сообщения от smsupport
23.06.2020, 23:17
#
8
Бздетектив
Ебланнед
Регистрация: 02.10.2015
Сообщений: 2,142
Бабло
: $270665
Цитата:
Сообщение от
smsupport
ксену напарсил 500к линков, а их там точно больше, хз почему дальше не идет.
Пропиши в настройках maximum depth - 9999
Бздетектив
Посмотреть профиль
Найти ещё сообщения от Бздетектив
24.06.2020, 01:52
#
9
digg
$400
Регистрация: 17.05.2009
Сообщений: 14,034
Бабло
: $1904250
Цитата:
Сообщение от
smsupport
digg
, раз сказал, давай где скачать)
самопись
__________________
ФАРМА ПП #1
- рекомендую!
API, 1:7, > $200
|
DrBucks-фарма конверт 1:1 апрув100% Visa+MC
PharmAlliance СИЛА с НАМИ! Апрув 100%
|
@PILLTOP_Partners - тебе точно зайдет наш процент
digg
Посмотреть профиль
Отправить личное сообщение для digg
Найти ещё сообщения от digg
24.06.2020, 11:41
#
10
smsupport
Senior Member
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло
: $361075
ТС
-->
ТС
Цитата:
Сообщение от
Бздетектив
Цитата:
Сообщение от
smsupport
ксену напарсил 500к линков, а их там точно больше, хз почему дальше не идет.
Пропиши в настройках maximum depth - 9999
Максимум 999, так и напарсило до 500к.
__________________
Swissdoc
heavy spec
smsupport
Посмотреть профиль
Отправить личное сообщение для smsupport
Найти ещё сообщения от smsupport
Страница 1 из 2
1
2
>
Опции темы
Версия для печати
Отправить по электронной почте
Опции просмотра
Линейный вид
Комбинированный вид
Древовидный вид
Обратная связь
-
Архив
-
Вверх
-
RSS
-
Карта сайта
©
GoFuckBiz.com