Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.6690
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 26.04.2015, 20:13   #1
krabson
Senior Member
 
Аватар для krabson
 
Регистрация: 05.10.2009
Сообщений: 632
Бабло: $176055
Question Удалить дубли - SQL.

есть sql файлы, максимальный объем одного файла - 15мб/100к записей.
как можно почистить эти файлы от дублей между собой? что бы остались только уникальные записи.
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
krabson вне форума  
Старый 26.04.2015, 23:26   #2
Nikola_N
$
 
Регистрация: 05.04.2007
Сообщений: 564
Бабло: $86835
По умолчанию

создай уникальный индекс по нужному полю и слей все в 1 базу. если там у тебя не 100 файлов таких
Nikola_N на форуме  
Старый 27.04.2015, 01:21   #3
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Адрес: урал, комары с самосвал
Сообщений: 2,204
Бабло: $468791
Отправить сообщение для x999xx с помощью ICQ
По умолчанию

а какие уникальные записи нужны?
дампы однотипной структуры?
__________________
я знаю стабильный курс: 14/88 = 0.15909090
x999xx вне форума  
Старый 27.04.2015, 07:14   #4
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от Nikola_N
создай уникальный индекс по нужному полю и слей все в 1 базу. если там у тебя не 100 файлов таких
а почему нельзя поступить также, если этих файлов 100 ?
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 27.04.2015, 10:35   #5
Nikola_N
$
 
Регистрация: 05.04.2007
Сообщений: 564
Бабло: $86835
По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
а почему нельзя поступить также, если этих файлов 100 ?
подумалось что таблица будет огромной. не помню ограничений на количество записей в mysql. (и есть ли оно)
Nikola_N на форуме  
Старый 04.05.2015, 12:14   #6
mrJhon
Юниор
 
Регистрация: 20.04.2015
Сообщений: 4
Бабло: $7460
По умолчанию

1) Импорт в единую базу.

2) запрос в phpmyadmin: SELECT * FROM `table_name` GROUP BY `name_row`

table_name - имя табилцы
name_row - по какой ячейке фильтровать

3) потом экспорт сделать

Enjoy
mrJhon вне форума  
Старый 04.05.2015, 14:03   #7
krabson
Senior Member
 
Аватар для krabson
 
Регистрация: 05.10.2009
Сообщений: 632
Бабло: $176055
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от mrJhon Посмотреть сообщение
1) Импорт в единую базу.

2) запрос в phpmyadmin: SELECT * FROM `table_name` GROUP BY `name_row`

table_name - имя табилцы
name_row - по какой ячейке фильтровать

3) потом экспорт сделать

Enjoy
так и сделал. сработало норм
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
krabson вне форума