Сортировка базы ссылок по языкам.

[John]

Как можно отсортировать базу ссылок по языкам сайтов.

Можно конечно по зонам доменов, но результат выходит не достаточно точный. Много рушный сайтов на комовских доменах и тд. Может есть точнее метод?

[lorien]

Скачивать документ по каждой ссылке и анализировать текстовое содержимое

[alter13]

Ну или в метатэгах обычно указывают язык, но не всегда...

[Dumpty]

как программно определить язык?

[lorien]

Либы есть. Для каждого языка свои. Вот, например, для питона:

* https://github.com/saffsd/langid.py
* https://github.com/Mimino666/langdetect

[Creolabs]

Netpeak Checker

[John]

Сообщение от Creolabs

Netpeak Checker

Он загибается от более-менее приличных баз, к сожалению.. Несколько миллионов им не прочекать.

У меня сейчас 170 000 урлов загружено. Сожрал на сервере 9 гигов оперативы и еле шевелиться с периодическими подвисаниями на несколько минут.

А вот сама технология интересна. Как он чекает язык технически?

[Creolabs]

Сообщение от John

Он загибается от более-менее приличных баз, к сожалению.. Несколько миллионов им не прочекать.

У меня сейчас 170 000 урлов загружено. Сожрал на сервере 9 гигов оперативы и еле шевелиться с периодическими подвисаниями на несколько минут.

А вот сама технология интересна. Как он чекает язык технически?

эт спрашивать надо у овнеров, я хз как))
А какие галочки ты ставишь при чеке? Если оставить, то что нужно и запихать прокси - то он быстрее работает.

[capturis]

апарсер же
170к для него это тьфу

[John]

Сообщение от Creolabs

эт спрашивать надо у овнеров, я хз как))
А какие галочки ты ставишь при чеке? Если оставить, то что нужно и запихать прокси - то он быстрее работает.

moz pa в основном. Для него в проксях смысла нет, так как ограничения на аккаунт)