Проблема с восстановлением БД

Что-то не работает? Пишите здесь.

Проблема с восстановлением БД

UNREAD_POST DiFor » 06.02.2010 19:05:17

Собственно проблема. требуется импортировать ОГРОМНУЮ БД, прошу не смеяться якобы моей гигантомании, но база реально очень большая. База хранит данные о посещениях и тд за несколько лет. Очень нужна для локальной обработки и обкатки системы мониторинга. В gz она занимает 10Гб, в виде SQL дампа с убранными переносами и тд и тп 50Гб+. mysql dbname < db.sql просто вываливается. Supex dumper так-же не спасает. Пытался настраивать my.cnf под конфиг больших серверов, проблема та-же. Стоит третий денвер, менять не хочу ибо за годы сработался с ним уже. Посему прошу не то что помощи, прошу спасения. Дамп делался именно Supex-om. И хотелось бы узнать почему нельзя при восстановлении выбирать только конкретные таблицы? это очень сильно облегчило бы жизнь. пусть даже пришлось бы одной таблице импортировать.
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST zapimir » 06.02.2010 22:20:44

С такими большими базами с дампером скорее всего будут проблемы, так как 32-битные версии php не умеет работать с файлами более 4 ГБ. Теоретически в данном случае может помочь установка 64-битной версии php, у неё нет ограничения в 4 ГБ на размер файлов. Но на практике базы более 2 ГБ еще не проверялись. В дальнейшем планируется сделать работу с крупными базами создавая многотомные бэкапы, чтобы не выходить за пределы 4 ГБ.

Восстановление отдельных таблиц будет доступно в Pro версии.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Проблема с восстановлением БД

UNREAD_POST DiFor » 07.02.2010 20:01:29

что самое интересное, старая версия дампера 1.х почти полностью восстановила базы, осталось лишь 7-8 таблиц. Буду пробовать шаманить с ним, если что отпишусь о результатах.

зы: где и как будет доступна ПРО версия, ибо она очень облегчила бы жизнь
зы2: пардон, но исходя из каких вычислений было установлено что 32я версия пхп не умеет работать с файлами больше 4гб? это ограничение файловой системы, но никак не приложения. тем более при чем тут размер файла, если дампер побайтово читает, а не держит весь файл в памяти
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST zapimir » 10.02.2010 00:50:55

Тут ограничение php в том, что в php целые числа 32-битные, т.е. как раз максимум 4 ГБ. Более того когда проверял php вообще тупо выдавал сообщение об ошибке, при попытке открыть файл больше 4 ГБ, хотя сейчас на последней версии вроде открывает, поэкспериментируем.

Pro версия выйдет ориентировочно в конце месяца.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Проблема с восстановлением БД

UNREAD_POST DiFor » 10.02.2010 12:00:58

частично был найден хак позволяющий восстановить, более половины базы за раз поднялось. хак в том, что после опр кол-ва запросо выставлять слип дабы СУБД успевала обработать новые данные. сейчас эксперементирую с кол-вом запросов и временем остановки выполнения.

зы: на каких условиях будет распространяться ПРО версия?
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST zapimir » 10.02.2010 19:28:40

Проверил на PHP 5.2.12, по крайней мере на винде, нормально читает/пишет файл больше 5 гиг. Хотя и множество функций предназначенных для перемещения по файлу не пашут. Так что в крайнем случае можно будет делать обработку (хотя всё равно лучше разбивать файлы на части по два гига).

Что касается Pro пока наиболее вероятна схема выдачи лицензии на домен, стоимостью от 5 до 10 долларов.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Проблема с восстановлением БД

UNREAD_POST DiFor » 10.02.2010 23:20:38

буду обкатывать свои небольшие решения сей проблемы. работа ПРО версии возможна будет на локалхосте? то есть привязка на домен в интернете и дома. и будет ли софт опен сорс?
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST zapimir » 11.02.2010 15:47:57

Да на локалхосте будет работать без дополнительной лицензии. Что касается опен сорс, то Pro версия пока что будет с закрытым исходником, так как в противном случае любая привязка к домену легко удаляется.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Проблема с восстановлением БД

UNREAD_POST DiFor » 11.02.2010 22:44:32

жаль, а если нужны будутмодификации кода как например в моем случае?
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST zapimir » 12.02.2010 19:19:59

Просто обсуждаете нужные модификации с нами и мы их сами сделаем. Pro версия еще сложнее будет по внутренностям чем обычная, вплоть до того что там будет несколько разных парсеров, несколько вариантов выполнения бэкапа, её скорость еще на 20-30% выше, плюс режимы с использованием LOAD DATA, еще более скоростные.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Проблема с восстановлением БД

UNREAD_POST DiFor » 19.02.2010 02:55:07

Если нужна какая-то помощь, можете смело обращаться. кое какой опыт работы с высоконагруженными система есть
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST DiFor » 22.02.2010 11:37:22

Обход проблемы моей кстати был сделан методом частичного переписывания парсера запросов и использования лоад дата. вся база была восстановлена
DiFor
 
Сообщения: 9
Зарегистрирован: 06.02.2010 19:03:09

Re: Проблема с восстановлением БД

UNREAD_POST zapimir » 22.02.2010 19:09:43

ок, спасибо, будем обращаться для тестирования на больших базах
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52


Вернуться в Проблемы и баги

Кто сейчас на конференции

Сейчас этот форум просматривают: SemrushBot и гости: 6

Яндекс.Метрика