Парсер который все парсит, не могу тему найти

[Maximus325]

Я наверное креведко, не могу тему найти опять.
Где то месяц-два назад чел выкладывал фришный парсер html страниц, который можно настроить самостоятельно на любой список ссылок. Никто не помнит где это было и как называлось?

[D007]

http://www.gofuckbiz.com/showthread.php?t=3770
это?

[Maximus325]

Сообщение от D007

http://www.gofuckbiz.com/showthread.php?t=3770
это?

Не, этот скачал, он парсит только заранее определённые ресы.
Мне надо что бы я мог вытащить в txt ссылки с любой страницы. Точно помню кто-то выкладывал.

[D007]

хз

[solar]

в файрфоксе есть плугин web developer, там есть ф-я сдампить ссылки.

а вообще вот тебе скрипт на перле, надо тока поставить пару модулей

#!/usr/bin/perl -w
# xurl - extract unique, sorted list of links from URL
use HTML::LinkExtor;
use LWP::Simple;
require LWP::UserAgent;

my $in = shift || die("Usage: $0 file|http://site");

if ($in =~ /^http/) {
    $parser = HTML::LinkExtor->new(undef, $in);
    $parser->parse(doget($in))->eof;
    @links = $parser->links;
    foreach $linkarray (@links) {
        my @element  = @$linkarray;
        my $elt_type = shift @element;
        while (@element) {
            my ($attr_name , $attr_value) = splice(@element, 0, 2);
            $seen{$attr_value}++;
        }
    }
    for (sort keys %seen) { print $_, "\n" }
} else {
    open I, "<$in" || die("Cant open $in: $!\n");
    undef $/;
    my $inf = <I>;
    while ($inf =~ /(http[^>" ]+)/sgi) {
        print $1."\n";
    }
}

sub doget {
    my $ua = LWP::UserAgent->new(
        agent   => "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
        );
    $ua->timeout(10);
    $ua->env_proxy;
    my $response = $ua->get($_[0]);
    if ($response->is_success) {
        return $response->content;  # or whatever
    }
    else {
        die $response->status_line;
    }
}

[Maximus325]

Сообщение от solar

в файрфоксе есть плугин web developer, там есть ф-я сдампить ссылки.

Это да им пока и пользуюсь, но не удобно когда страниц много

Сообщение от solar

а вообще вот тебе скрипт на перле, надо тока поставить пару модулей

Спасиб пойду ковырять

[medar]

Учи php с регулярками. Пара дней мучений - зато потом любой парсер напишешь.