фильтрация базы

[NikeBlog]

Фильтруете ли вы базу для спама по уникальным доменам или нет, если да то почему?

[Maximus325]

Фильтреум. А нафиг мощности загружать при одинаковом резалте?
У меня при парсинеге собирается база в несколько млн, после всех манипуляций остаётся тысяч 200 от силы.

[NikeBlog]

Сообщение от Maximus325

Фильтреум. А нафиг мощности загружать при одинаковом резалте?
У меня при парсинеге собирается база в несколько млн, после всех манипуляций остаётся тысяч 200 от силы.

У меня примерно так же, в манипуляции входит отчекать по уникальному домену, отчекать на абузные домены, проверить на формы.

[Sheikh]

Сообщение от NikeBlog

У меня примерно так же, в манипуляции входит отчекать по уникальному домену, отчекать на абузные домены, проверить на формы.

+еще на пост проверяю

[Infidel]

На уникальные домены не фильтрую..) разве сквозняки в гугле не рулят?
а причина на самом деле в маленьких базах.))))

[Sipler]

А зачем фильтровать на домены ?
На 1 блоге можно много комментов сделать.

[kanscx]

Сообщение от Sipler

А зачем фильтровать на домены ?
На 1 блоге можно много комментов сделать.

+1. Тоже отказался от фильтрации доменов, увидев подобное явление в базе

[Fisherman]

не фильтрую.

[Sipler]

Сообщение от Fisherman

не фильтрую.

Аргументируй,почему ?

[Virtual]

Кстати, по поводу фильтрации.. Как тут писали, после парсинга, собирается база в 2млн, после фильтрации 200к остается. Я так понимаю, 1.8М просто тупо удаляется, так? это значит, что при следующем парсинге, мощностям опять придется перелопатить посути эти же 1.8млн ресурсов, прочекать, распарсить, и т.д? понт?