нужно отпарсить и выпарсить

[palkin]

есть база sql размером 3гб
нужно оттуда выпарсить мыльники
чем пользоваться?

[ShowMeDaMoney]

Сообщение от chesser

mysqldump -u user -p dbname | grep -E -o -h '[a-zA-Z]+@([a-zA-Z]+\.)+[a-zA-Z]{2,3}' | tr A-Z a-z | sort | uniq

кто короче?

Регекспы и греп, конечно, круто, только 3 гига всё-таки.

В греп мне логи!

[chesser]

правда если 3гига и памяти мало, то буфера может не хватить. Лучше дамп в промежуточный файл слить:

mysqldump -u user -p dbname > sqldump.sql
grep -E -o -h '[a-zA-Z]+@([a-zA-Z]+\.)+[a-zA-Z]{2,3}' sqldump.sql | tr A-Z a-z | sort | uniq

[chesser]

Сообщение от ShowMeDaMoney

Регекспы и греп, конечно, круто, только 3 гига всё-таки.

а как ты без регекспов емейлы надергаешь из произвольного текста? - почти никак.
а 3 гига для системной команды grep - это не проблема....ну подождешь немного, уж она то точно работает быстрее других вариантов и правильно использует системные ресурсы.

[ShowMeDaMoney]

Сообщение от chesser

правда если 3гига и памяти мало, то буфера может не хватить. Лучше дамп в промежуточный файл слить:

mysqldump -u user -p dbname > sqldump.sql
grep -E -o -h '[a-zA-Z]+@([a-zA-Z]+\.)+[a-zA-Z]{2,3}' sqldump.sql | tr A-Z a-z | sort | uniq

Ну,да. Тогда, в случае если мылы только из одного поля интересуют:
mysqldump -u user -p dbname tablename -w "email<>NULL" > emails.sql
grep -E -o -h '[a-zA-Z]+@([a-zA-Z]+\.)+[a-zA-Z]{2,3}' sqldump.sql | tr A-Z a-z | sort | uniq[/CODE][/QUOTE]

[ShowMeDaMoney]

Сообщение от chesser

а как ты без регекспов емейлы надергаешь из произвольного текста? - почти никак.
а 3 гига для системной команды grep - это не проблема....ну подождешь немного, уж она то точно работает быстрее других вариантов и правильно использует системные ресурсы.

В том-то и дело, что если это таблица, т.е. данные структурированны, для начала можно отрезать ненужные поля, что уменьшит обьём того, что будем парсить и ускорим процесс.

Регекспы круть, но не панацея, имхо. Чем больше обьём данных тем выше вероятность того, что где-то всё перекосится. Натыкался на такое иногда.

[imgreen]

Сообщение от ShowMeDaMoney

В том-то и дело, что если это таблица, т.е. данные структурированны, для начала можно отрезать ненужные поля, что уменьшит обьём того, что будем парсить и ускорим процесс.

Регекспы круть, но не панацея, имхо. Чем больше обьём данных тем выше вероятность того, что где-то всё перекосится. Натыкался на такое иногда.

если правильно регексп составлен, ничего не перекосится

[ShowMeDaMoney]

Сообщение от imgreen

если правильно регексп составлен, ничего не перекосится

А кто собирается спецом неправильно его писать?
Много лет назад в универе мне вбивали в голову, что даже самый невероятный процесс имеет место быть, если в запасе у нас неограниченное количество времени. Соответственно, наша задача сократить время процесса и уменьшить вероятность того, что он выдаст что-то невероятное

[ShowMeDaMoney]

Кстати
[a-zA-Z]+@([a-zA-Z]+\.)+[a-zA-Z]{2,3}
Я редко пользую их, но что-то мне подсказывает, что эта конструкция может неадекватно отреагировать на мыло:
1. уюзер в имени может иметь точку [email protected]
2. {2,3} - а как насчёт домена info ?

[imgreen]

[a-zA-Z\.]+@([a-zA-Z]+\.)+[a-zA-Z]{2,4}
так лучше?)

А кто собирается спецом неправильно его писать?

я понимаю о чем ты, но для такой задачи как поиск email, сложно составить регулярку, которая выдаст неадекватные результаты

[super]

бял я под вином, щас ещё чуть чуть и захочу что - нибудь бесплатно написать ))))))