Чем спарсить все URL большого сайта? - Форум успешных вебмастеров - GoFuckBiz.com

Регистрация

Сообщения за день

Пользователи

		Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Чем спарсить все URL большого сайта?


Дата
USD/RUB	90.1887
BTC/USD	67854.2920

Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема

Страница 1 из 2

1

Опции темы

Опции просмотра

23.06.2020, 12:45	#1
smsupport Senior Member Регистрация: 12.07.2009 Сообщений: 1,581 Бабло: $361075	Чем спарсить все URL большого сайта? Судя по гугл индексу на сайте 1.5+ млн страниц. Если какой-то софт или скрипты для многопоточного прохода по всем страницам с сохранением уникальных в базу или текстовый файлик? __________________ Swissdoc heavy spec

23.06.2020, 13:34	#2
warovik Senior Member Регистрация: 17.05.2007 Сообщений: 739 Бабло: $142995	aparser __________________ Covid пройдет, а мы останемся Pharmcash & PharmcashUSA - с Вами НАВСЕГДА

23.06.2020, 14:46	#3
~~Бздетектив~~ Ебланнед Регистрация: 02.10.2015 Сообщений: 2,142 Бабло: $270665	xenu title parser бесплатный, правда он еще и внешние линки сгребет, он до 100 потоков дальше урлы можно хоть в flashget засунуть, он до 8 потоков

23.06.2020, 17:01	#4
digg $400 Регистрация: 17.05.2009 Сообщений: 14,031 Бабло: $1903940	на пхп есть __________________ ФАРМА ПП #1 - рекомендую! API, 1:7, > $200\|DrBucks-фарма конверт 1:1 апрув100% Visa+MC PharmAlliance СИЛА с НАМИ! Апрув 100%\|@PILLTOP_Partners - тебе точно зайдет наш процент

23.06.2020, 17:50	#5
agimi777 自由 Регистрация: 20.06.2020 Сообщений: 51 Бабло: $13655	content downloader

23.06.2020, 18:49	#6
OfeatO Member Регистрация: 05.03.2008 Сообщений: 70 Бабло: $16285	Вопрос в том - как там генерируется контент? Динамика или статика?

23.06.2020, 20:10	#7
smsupport Senior Member Регистрация: 12.07.2009 Сообщений: 1,581 Бабло: $361075 ТС -->	ТС OfeatO, статика digg, раз сказал, давай где скачать) ксену напарсил 500к линков, а их там точно больше, хз почему дальше не идет. __________________ Swissdoc heavy spec

Старый

23.06.2020, 23:17

#8

~~Бздетектив~~

Ебланнед

Регистрация: 02.10.2015

Сообщений: 2,142
Бабло: $270665

По умолчанию

Цитата:

Сообщение от smsupport

Посмотреть сообщение

ксену напарсил 500к линков, а их там точно больше, хз почему дальше не идет.

Пропиши в настройках maximum depth - 9999

Бздетектив вне форума

Старый

24.06.2020, 01:52

#9

digg

$400

Аватар для digg

Регистрация: 17.05.2009

Сообщений: 14,031
Бабло: $1903940

Отправить сообщение для digg с помощью ICQ

По умолчанию

Цитата:

Сообщение от smsupport

Посмотреть сообщение

digg, раз сказал, давай где скачать)

самопись

__________________
ФАРМА ПП #1 - рекомендую! API, 1:7, > $200|DrBucks-фарма конверт 1:1 апрув100% Visa+MC
PharmAlliance СИЛА с НАМИ! Апрув 100%|@PILLTOP_Partners - тебе точно зайдет наш процент

digg вне форума

Старый

24.06.2020, 11:41

#10

smsupport

Senior Member

Аватар для smsupport

Регистрация: 12.07.2009

Сообщений: 1,581
Бабло: $361075

ТС -->

автор темы

ТС

По умолчанию

Цитата:

Сообщение от Бздетектив

Посмотреть сообщение

Цитата:

Сообщение от smsupport

Посмотреть сообщение

ксену напарсил 500к линков, а их там точно больше, хз почему дальше не идет.

Пропиши в настройках maximum depth - 9999

Максимум 999, так и напарсило до 500к.

__________________
Swissdoc

smsupport вне форума

Закрытая тема

Страница 1 из 2

1