Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Треп | Флейм
Дата
USD/RUB58.9290
BTC/USD0.0000
Треп | Флейм Обсуждение самых разных тем вне онлайн бизнеса.

Закрытая тема
Опции темы Опции просмотра
Старый 13.01.2011, 15:00   #1
sklip
Senior Member
 
Аватар для sklip
 
Регистрация: 11.03.2009
Сообщений: 888
Бабло: $172785
По умолчанию Почистить текст

Напарсил текста метров 20 но там стоко всякого мусора, � и тд и тп.
как регуляркои вычистить весь мусор. И вообще какие символы вы удаляете из текста?
sklip вне форума  
Старый 13.01.2011, 15:10   #2
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
По умолчанию

все зависит на каком языке текст, если не на английском, то я тебе сочувствую.
просто я лично не знаю, что делать со словами, в которых спец буквы, ну ты удалишь эту букву, будет мусорное слово.
Попробуй выбрать нужную кодировку
Drg вне форума  
Старый 13.01.2011, 15:11   #3
RedHead
Senior Member
 
Аватар для RedHead
 
Регистрация: 26.08.2008
Адрес: UA
Сообщений: 2,946
Бабло: $402755
По умолчанию

здесь скорее вопрос в том что оставлять.
ну например
$line = preg_replace ("/[^A-Za-z0-9 \s]/","",$line);
после заюзать например kwk и убрать двойные пробелы и т.д

ну это конечно для списка кеев более менее норм, для текста надо добавлять кучу пунктуации и т.д)
RedHead вне форума  
Старый 13.01.2011, 15:17   #4
Drg
Senior Member
 
Регистрация: 19.09.2009
Сообщений: 4,100
Бабло: $611505
По умолчанию

Цитата:
Сообщение от RedHead Посмотреть сообщение
здесь скорее вопрос в том что оставлять.
ну например
$line = preg_replace ("/[^A-Za-z0-9 \s]/","",$line);
после заюзать например kwk и убрать двойные пробелы и т.д

ну это конечно для списка кеев более менее норм, для текста надо добавлять кучу пунктуации и т.д)
$line = preg_replace ("! +!si"," ",$line); это про пробел
но ты еще забыл точку, запятую, вопрос, :?-+=% и т.д,. поэтому я все таки задумался в какой кодировке текст.
если куча html файлов, то для каждого html файла определить кодировку.
20 мегов) маловато что-то) я текст 10-ка гигов парсил для доров) сейчас доры уже не актуальны
Drg вне форума  
Старый 13.01.2011, 15:28   #5
Dr.EVIL
★☆★☆★
 
Аватар для Dr.EVIL
 
Регистрация: 01.10.2009
Сообщений: 399
Бабло: $140575
По умолчанию

textpipe рулит
Dr.EVIL вне форума  
Старый 13.01.2011, 15:46   #6
sklip
Senior Member
 
Аватар для sklip
 
Регистрация: 11.03.2009
Сообщений: 888
Бабло: $172785
ТС -->
автор темы ТС По умолчанию

да текст на енглише, 20 метров ето так к слову, но мне хватает
sklip вне форума  
Старый 13.01.2011, 15:49   #7
sklip
Senior Member
 
Аватар для sklip
 
Регистрация: 11.03.2009
Сообщений: 888
Бабло: $172785
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Dr.EVIL Посмотреть сообщение
textpipe рулит
автоматом чистит?
sklip вне форума  
Старый 13.01.2011, 17:57   #8
еврей
john the revelator
 
Аватар для еврей
 
Регистрация: 04.08.2010
Сообщений: 844
Бабло: $107800
По умолчанию

sklip, глянь на серче в дорвейном разделе, недавно топик такой был и там ссылку на прогу дали, в ней 6 параметров настраивается для чистки.
еврей вне форума  
Старый 13.01.2011, 18:02   #9
converse
Ебланнед
 
Регистрация: 13.05.2010
Сообщений: 424
Бабло: $52745
По умолчанию

Цитата:
Сообщение от sklip Посмотреть сообщение
Напарсил текста метров 20 но там стоко всякого мусора, � и тд и тп.
как регуляркои вычистить весь мусор. И вообще какие символы вы удаляете из текста?
Скрипт для очистки текстовки. Правда он вообще всякую "ебалу" не русскую убирает, то есть, не просто символ удалит, а слово или предложение.
__________________
пьяный, неадекватный школобро
converse вне форума  
Старый 13.01.2011, 19:14   #10
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

самое главное - это правильно определить кодировку, а процесс очистки легок, если есть регулярки, а они есть.
в общем стучи бро, я проснулся
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Закрытая тема



Опции темы
Опции просмотра