MySQL импорт большого файла

[Dumpty]

Всем привет
Нужно импортировать в мускул файл порядка 5гб (более 100 миллионов строк).
1) Пробовал инсертами сначала 1 инсерт - 1 строка. Заняло неделю, и часть инсертов вылетала с ошибками mysql server gone away
2) Пробовал LOAD DATA INFILE, думает сутки, потом убиваю скрипт и добавляется 20-30кк только.
3) Пробовал LOAD DATA INFILE и разбить файл по 100мб, первые 3-4 файла влетают за 10 минут и далее с каждым последующим запросом времени уходит больше и больше. Когда размер таблицы стал более 300мб - то время увеличивается в геометрической прогрессии.
4) Пробовал через mysqlimport - тоже самое что и пункт 2
5) Пробовал LOAD DATA INFILE через временные таблицы - тоже херня, мускул принимает куски по 20мб, весь файл не берёт. Тупо пишет что нет места в темп таблице (The table 'temp_test' is full). Гуглил пол дня - не нашёл какие параметры отвечают за размер временной таблицы, кроме
max_heap_table_size = 300M
tmp_table_size = 300M
300МБ это уже я поставил настройки, и попробовал вогнать файл 100мб, таже самая ошибка "The table 'temp_test' is full".
Временную таблицу делал engine HEAP.
Точнее и так и так:
type=heap
engine=memory


Вобщем вот такие вот проблемы, как это реализовать?
Просто один раз вогнать данные фиг с ними можно подождать неделю. Но данные добавлятся в таблицу будут постоянно, и сколько времени будет это занимать - страшно подумать.

[Юнга]

вот вроде бы аналог SqlBulkCopy (которым решал подобное на MSSQL) под мускул

http://www.devart.com/dotconnect/mys...SqlLoader.html

во еще, это наверное больше подойдет
http://dev.mysql.com/doc/refman/5.0/en/load-data.html

[Ower]

http://sypex.net/

[Dumpty]

Сообщение от Юнга

вот вроде бы аналог SqlBulkCopy (которым решал подобное на MSSQL) под мускул

http://www.devart.com/dotconnect/mys...SqlLoader.html

во еще, это наверное больше подойдет
http://dev.mysql.com/doc/refman/5.0/en/load-data.html

http://dev.mysql.com/doc/refman/5.0/en/load-data.html это и есть LOAD DATA INFILE про который я написал

[baadf00d]

попробуй выключить индексы перед началом инсерта и убедись, что key_buffer_size (вроде так пишется, это если майисам движок) достаточного размера
загружать надо через load data infile, это ты в правильном направлении мыслишь
самая жопа при инсерте - это индексы
еще разбивка таблицы по партициям сильно помогает при инсерте, но работать становится неудобно и косяки мерзкие вылезают

[Юнга]

индексы да, надо отключать.

[Dumpty]

Сообщение от Ower

http://sypex.net/

Это немного не то, мне надо своими скриптами вгонять данные

[Dumpty]

Сообщение от baadf00d

попробуй выключить индексы перед началом инсерта и убедись, что key_buffer_size (вроде так пишется, это если майисам движок) достаточного размера
загружать надо через load data infile, это ты в правильном направлении мыслишь
самая жопа при инсерте - это индексы
еще разбивка таблицы по партициям сильно помогает при инсерте, но работать становится неудобно и косяки мерзкие вылезают

key_buffer_size поставить 5гб если файл входной 5гб тоже?
А у меня рам всего 4гб на сервере, это не положит серв?)

[imgreen]

за 1 инсерт можно сразу множество записей добавлять, кури синтаксис, делай по 1к (можно и больше) записей за инсерт и будет быстро

[chesser]

Сообщение от Dumpty

max_heap_table_size = 300M
tmp_table_size = 300M
300МБ это уже я поставил настройки, и попробовал вогнать файл 100мб, таже самая ошибка "The table 'temp_test' is full".
Временную таблицу делал engine HEAP.
Точнее и так и так:
type=heap
engine=memory

engine memory или heap тут не причем

Сообщение от baadf00d

попробуй выключить индексы перед началом инсерта и убедись, что key_buffer_size (вроде так пишется, это если майисам движок) достаточного размера

призываешь выключить индексы - это ок, но зачем тогда увеличивать key_buffer_size?

а в целом да, вырубить индексы, использовать bulk insert'ы, если есть какая-то математика, можно prepared statements делать

если нужно поле типа автоинкремента - перед импортом его удаляешь, делаешь импорт, потом вставляешь это поле.

key_buffer_size поставить 5гб если файл входной 5гб тоже?
А у меня рам всего 4гб на сервере, это не положит серв?)

хуйней не занимайся

кстати, иногда надо импортить через промежуточные таблицы, обычно это связано как раз с индексами, например, вместо insert нужно делать что-то типа replace или insert...on duplicate update. engine memory пошустрее справится, но тут размер таблицы всегда ограничен и точно фиксирован, поэтому нужно программно организовывать "пачки", если рамы не хватает