Удалить дубли - SQL. - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.4409
BTC/USD63346.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 26.04.2015, 20:13   #1
krabson
Senior Member
 
Аватар для krabson
 
Регистрация: 05.10.2009
Сообщений: 633
Бабло: $176215
Question Удалить дубли - SQL.

есть sql файлы, максимальный объем одного файла - 15мб/100к записей.
как можно почистить эти файлы от дублей между собой? что бы остались только уникальные записи.
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
krabson вне форума  
Старый 26.04.2015, 23:26   #2
Nikola_N
$
 
Регистрация: 05.04.2007
Сообщений: 575
Бабло: $101390
По умолчанию

создай уникальный индекс по нужному полю и слей все в 1 базу. если там у тебя не 100 файлов таких
__________________
❗ ESSAY партнерка #1 - EduCashion.net - Топ конверт, высокие выплаты.
Nikola_N вне форума  
Старый 27.04.2015, 01:21   #3
x999xx
xx999x
 
Аватар для x999xx
 
Регистрация: 20.12.2010
Сообщений: 2,215
Бабло: $473391
По умолчанию

а какие уникальные записи нужны?
дампы однотипной структуры?
__________________
я знаю стабильный курс на будущее eur/(usd+0.001) + usd/(eur+0.00101) = 0 ( )
x999xx вне форума  
Старый 27.04.2015, 07:14   #4
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
По умолчанию

Цитата:
Сообщение от Nikola_N
создай уникальный индекс по нужному полю и слей все в 1 базу. если там у тебя не 100 файлов таких
а почему нельзя поступить также, если этих файлов 100 ?
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 27.04.2015, 10:35   #5
Nikola_N
$
 
Регистрация: 05.04.2007
Сообщений: 575
Бабло: $101390
По умолчанию

Цитата:
Сообщение от chesser Посмотреть сообщение
а почему нельзя поступить также, если этих файлов 100 ?
подумалось что таблица будет огромной. не помню ограничений на количество записей в mysql. (и есть ли оно)
__________________
❗ ESSAY партнерка #1 - EduCashion.net - Топ конверт, высокие выплаты.
Nikola_N вне форума  
Старый 04.05.2015, 12:14   #6
mrJhon
Юниор
 
Регистрация: 20.04.2015
Сообщений: 15
Бабло: $10770
По умолчанию

1) Импорт в единую базу.

2) запрос в phpmyadmin: SELECT * FROM `table_name` GROUP BY `name_row`

table_name - имя табилцы
name_row - по какой ячейке фильтровать

3) потом экспорт сделать

Enjoy
mrJhon вне форума  
Старый 04.05.2015, 14:03   #7
krabson
Senior Member
 
Аватар для krabson
 
Регистрация: 05.10.2009
Сообщений: 633
Бабло: $176215
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от mrJhon Посмотреть сообщение
1) Импорт в единую базу.

2) запрос в phpmyadmin: SELECT * FROM `table_name` GROUP BY `name_row`

table_name - имя табилцы
name_row - по какой ячейке фильтровать

3) потом экспорт сделать

Enjoy
так и сделал. сработало норм
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
krabson вне форума