Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.8610
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 22.04.2011, 20:31   #1
Syncmaster
$ $ $
 
Аватар для Syncmaster
 
Регистрация: 29.12.2007
Сообщений: 325
Бабло: $118140
Question Удаление дублей по доменному имени.

Подскажите чем можно удалить дубли по доменному имени.
__________________
Syncmaster вне форума  
Старый 22.04.2011, 20:36   #2
LeXxiK
Senior Member
 
Аватар для LeXxiK
 
Регистрация: 03.03.2008
Сообщений: 2,249
Бабло: $257095
По умолчанию

хрумером можно
нет ни у кого пхп скрипта кстати? а то хрумер блюёт от больших файлов)
LeXxiK вне форума  
Старый 22.04.2011, 20:44   #3
Syncmaster
$ $ $
 
Аватар для Syncmaster
 
Регистрация: 29.12.2007
Сообщений: 325
Бабло: $118140
ТС -->
автор темы ТС По умолчанию

Чет не охото хрумер покупать что бы дубли убирать.
А это в демке есть? А сейчас вобще демка есть или уже нет?
__________________
Syncmaster вне форума  
Старый 22.04.2011, 20:49   #4
1een
Senior Member
 
Аватар для 1een
 
Регистрация: 28.05.2009
Сообщений: 1,306
Бабло: $161695
По умолчанию

Да, есть.
1een вне форума  
Старый 22.04.2011, 21:04   #5
dim7
Senior Member
 
Аватар для dim7
 
Регистрация: 22.08.2008
Сообщений: 926
Бабло: $173120
По умолчанию

ответ тут
__________________
LoadedCash - вечные ребилы -|- Налят Сюда
dim7 вне форума  
Старый 22.04.2011, 21:15   #6
LeXxiK
Senior Member
 
Аватар для LeXxiK
 
Регистрация: 03.03.2008
Сообщений: 2,249
Бабло: $257095
По умолчанию

dim7, это чё-то ваще не то)
LeXxiK вне форума  
Старый 22.04.2011, 21:32   #7
Syncmaster
$ $ $
 
Аватар для Syncmaster
 
Регистрация: 29.12.2007
Сообщений: 325
Бабло: $118140
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от 1een Посмотреть сообщение
Да, есть.
нашел, но что-то она под 7ку не запускается никак )
__________________
Syncmaster вне форума  
Старый 22.04.2011, 21:33   #8
dim7
Senior Member
 
Аватар для dim7
 
Регистрация: 22.08.2008
Сообщений: 926
Бабло: $173120
По умолчанию

Цитата:
Сообщение от LeXxiK Посмотреть сообщение
dim7, это чё-то ваще не то)
кайзеровский бейзедитор точно поможет.
или этот код, но не помню толи первый толи второй

Код:
#!/usr/local/bin/perl -U

sub f_fread{
 my$n=shift;
 open f,$n;
 sysread f,$t,(stat f)[7];
 close f;
 $t}

sub f_fwrite{
 my$t=shift;
 my$n=shift;
 open f,">$n";
 syswrite f,$t,length$t;
 close f}

$A=$ARGV[0];

map{$n=$_;$n=~s/^([^\/]+\/\/[^\/]+).*/$1/os;$H{$n}=$_}split/\r?\n/,f_fread($A);

f_fwrite(join("\n",sort values%H)."\n","$A.new");



__END__
Код:
#!/usr/local/bin/perl -U

sub f_fread{
 my$n=shift;
 open f,$n;
 sysread f,$t,(stat f)[7];
 close f;
 $t}

sub f_fwrite{
 my$t=shift;
 my$n=shift;
 open f,">$n";
 syswrite f,$t,length$t;
 close f}

$A=$ARGV[0];

map{$H{$_}=1}split/\r?\n/,f_fread($A);

$f=join("\n",sort keys%H)."\n";

f_fwrite($f,"$A.new");



__END__
__________________
LoadedCash - вечные ребилы -|- Налят Сюда
dim7 вне форума  
Старый 22.04.2011, 21:34   #9
incognito
Senior Member
 
Аватар для incognito
 
Регистрация: 08.07.2007
Сообщений: 149
Бабло: $28565
Отправить сообщение для incognito с помощью ICQ
По умолчанию

PHP код:
<?php
###########################################
## удаление дублей по хосту subdomain.domain.ext,
## те
## subdomain.domain.ext и subdomain1.domain.ext
## будут считаться уникальными
###########################################
set_time_limit(300);
$urls file('urls.txt',FILE_IGNORE_NEW_LINES);

$unic_urls = array();
foreach (
$urls as $value){
    
$url_parts parse_url($value);
    if (
strpos($url_parts['host'],'www.')==0$domain str_replace('www.','',$url_parts['host']);
    
    if (!
array_key_exists($domain,$unic_urls)){
        
$unic_urls[$domain] = $value;
    }else{
        
$non_unic_urls[] = $domain.'=>'.$value;
    }
}

file_put_contents('unic-urls.txt',implode("\r\n",$unic_urls));
sort($non_unic_urls);
file_put_contents('non-unic-urls.txt',implode("\r\n",$non_unic_urls));

?>
incognito вне форума  
Старый 22.04.2011, 21:51   #10
majordon
Senior Member
 
Аватар для majordon
 
Регистрация: 11.10.2008
Сообщений: 5,909
Бабло: $829038
По умолчанию

юзаю YCCY , но он отдаёт только доменые имена
majordon вне форума  
Закрытая тема



Опции темы
Опции просмотра