фильтрация базы

[NikeBlog]

Фильтруете ли вы базу для спама по уникальным доменам или нет, если да то почему?

[andrew13_k]

абузы вообще не фильтруем и вроде как проблем особых не наблюдается ...
а дубли по доменам фильтруем, чтобы базу не засирать - и так мощностей мало. Да и имхо, что сквозняки не сильно рулят - лучше все таки разныз доменчегов найти ...

[Cude]

Ну это как повезет, юзаются ли прокси, методика сбора базы тоже значение имеет. А по доменам фильтровать в любом случае надо, зачем чекер кормить ссылками на одну и туже гесту.

[.Espresso]

Сообщение от Cude

Ну это как повезет, юзаются ли прокси, методика сбора базы тоже значение имеет. А по доменам фильтровать в любом случае надо, зачем чекер кормить ссылками на одну и туже гесту.

Чтобы не кормить одними и теми же ссылками на гесты, нужно фильтровать на дубликаты ссылок, а не доменов.

[Joe Blanks]

Базы фильтрую на абузы, blacklist и на повторы. Не вижу смысла из-за лени получать абузы или преждевременно вылетать из топа

[excl]

Чем твой abuselist отличается от blackllist'а?