Подсчет доменов в файле.

[seroja]

Задача такая:
Есть у нас файл с таким содержанием

http://www.threechords.org/forum/index.php
http://musclezone.dk/forum/index.php
http://forum.guide-genealogie.com/recherche-lieu-dit-par-recherche-personnes-t16599.html
http://hdvideoclub.com/forum/index.php
http://www.trans7.co.id/forum/index.php
http://ec2.juantraverso.net/foro/index.php
http://blocsj.org/forum/index.php
http://www.iskald.net/forum/index.php
http://4gym.pl/topic216.html
http://chungweb.net23.net/index.php
http://forum.vologda18.ru/index.php
http://www.muskelfreaks.de/steroide-medikamente-f4/moderate-dose-short-cycle-die-andere-art-zu-kuren-t11362.html
http://forum.shabablibya.org/index.php
http://dipaola.org/forums445/index.php
http://www.mognet.net/forum/index.php
http://www.bestpricedietpills.com/generic-growth-pills/506870/MalcolmBanner9
http://skroids.com/index.php
http://w.sportbb.pl/index.php
http://forum.swiss-bb.ch/index.php
http://home.kku.ac.th/awilaw/webboard/view.php
http://mwdfmgijlihk.bloog.pl/id,5797472,title,Tuf-had-folded-his-hands-atop-his-paunch-patiently-as-various-computers-took-his-request-and-reviewed-it-relayed-it-checked-it-transferred-it-and-crossindexed-it,index.html
http://www.global-pills.com/generic-growth-pills/506868/viewtopic?p/81796
http://sportbb.pl/index.php
http://www.knrsys.com/eveboard/view.php?&bbs_id=test2&page=16&doc_num=8&PHPSESSID=7f19a93e736492b6ee8c58757e80cd86
http://vestal-2002.com/phpBB3/index.php
http://www.edebtsolutions.org/phpBB3/index.php
http://www.photographsofdreams.com/blog/2008/09/van-stone-from-guitar-hero-shoot-coming-soon/
http://www.mwrc.pl/News/News.php?d1=2005&d2=01&nr=11&kom=Dodaj
http://web302.login-1.loginserver.ch/forum/phpBB3/index.php
http://www.phpbb-se.com/forum/index.php
http://www.anddev.org/view-layout-resource-problems-f27/sell-isosorbide-mononitrate-20mg-buy-isosorbide-mononitrate-t330109.html
http://www.geo.gov.kg/forum/index.php
http://www.parapluesch.de/phpbb2/index.php
http://www.zelda.com.br/forum/index.php
http://www.msghelp.it/index.php
http://spam.altervista.org/index.php
http://personalitysucks.com/forum/index.php
http://cod.ae/index.php
http://www.westgatefitness.ca/forum/index.php
http://passionefinanza.ilbello.com/forum/index.php
http://www.dislessia.org/forum/index.php
http://empirea.com.ua/forum/index.php
http://www.i-doser.com/forum/index.php
http://www.blogs.123beginners.com/blogs/index.php
http://www.blendogames.com/forum/index.php
http://www.svcsaigon.com/forum/index.php
http://www.game-100.com/forum/index.php
http://bigbangtheoryforum.com/index.php
http://cct.cyclesvallieres.com/index.php
http://www.bullhorn-marketing.com/pe/index.php
http://gbooks1.melodysoft.com/app?ID=Beseit&DOC=2191
http://forum.horecaservice.rs/index.php
http://www.benzoexodus.com/forum/index.php
http://ns.1asig.ro/forum/index.php
http://www.zoubia.com/ForUM/nutrition/order-mycardis-online-no-script-biocotron-dextromethorphan-t494349.html
http://www.kohchangamazing.com/phpBB3/index.php
http://forum.studio-scrap.com/pas-confondre-kits-digital-crea-les-kits-studio-scr-t12448.html
http://forumtim08.jeanphilippelaroche.com/index.php
http://www.slackers.co.za/index.php

Выбираем этот файл, жмем Анализ на выходе в отдельный файл записывает
Домен1 - XXXX
Домен2 - XXX
Домен3 - XX
XXXX - число, сколько раз встретился этот домен в файле
Те скрипт/софт должен брать строку с линком, определить домен и проверить сколько раз он встретился в этом файле

*результаты упорядочить по убыванию
digg.com - 10 000
cnn.com - 9 000
foxnews.com - 8 999
....
На php наверное не пойдет, если в файле будет от 5 лямов строк? Если нет то что нибудь под винду.
В общем чтобы отрабатывало до конца и без косяков.
За денешку или может уже есть такое в природе?

[huanpedro]

можно сскриптом обработать файл и занести инфу в базу, а потом средствами базы например все подсчитать. Ну или вместо базы можно конечно использовать файлы, но...
как пример..

[shoo]

Питон. В links.txt твои ссылки, результат в stats.txt

PHP код:

#!/usr/bin/env python
import urlparse, collections

cnt = collections.Counter()
f = open('links.txt','r')
for line in f:
    domain = urlparse.urlparse(line.strip()).netloc
    if not domain: continue
    cnt[domain] += 1

open('stats.txt','w').write('\n'.join( ['%s - %s' % (d,s) for d,s in cnt.most_common()] )) 


[chesser]

а вот более длинный вариант:

grep -o "://[A-Za-z0-9_.-]*" file.txt | sort | uniq -c

[huanpedro]

Сообщение от chesser

а вот более длинный вариант:

grep -o "://[A-Za-z0-9_.-]*" file.txt | sort | uniq -c

а он ведет подсчет совпадений?

[chesser]

Сообщение от huanpedro

а он ведет подсчет совпадений?

конечно, за это отвечает флаг -c

[masolit]

скрипт от shoo то что нужно ТС

[seroja]

Работает, спасибо shoo
закинь в лс кошель, скину на пиво

[lorien]

Осмелюсь предложить свой вариант вышеприведённого кода. Код тот же, я просто оформил его более питонистично, на мой взгляд.

PHP код:

#!/usr/bin/env python 
import urlparse, collections 

cnt = collections.Counter() 
for line in open('links.txt'): 
    domain = urlparse.urlparse(line.strip()).netloc 
    if domain:
        cnt[domain] += 1 

with open('stats.txt','w') as out:
    for domain, count in cnt.most_common():
        out.write('%s - %d\n' % (domain, count)) 


[mescalito]

http://www.gofuckbiz.com/showthread....342#post256342