Не удается импортировать дамп большого размера

Что-то не работает? Пишите здесь.

Не удается импортировать дамп большого размера

UNREAD_POST winhex » 08.09.2015 15:08:27

Добрый день! Возникла проблема импорта дампа размером 754мб Дамп делался версией 2.0.9
Во время импорта появляется ошибка:
MySQL Error: Got a packet bigger than \'max_allowed_packet\' bytes (/var/www/virtual/sxd.dst.by/index.php:1594)

Импорт встает на отметке 18.91%
Версия SXD - 2.0.11
Версия MySQL - 5.0.77
Код: Выделить всё
cat /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Default to using old password format for compatibility with mysql 3.x
# clients (those using the mysqlclient10 compatibility package).
old_passwords=1

# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links=0

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

global net_buffer_length=1000000;
global max_allowed_packet=1000000000;
max_allowed_packet=128M

Дамп содержит блобы, поэтому стандартным mysqldump/ resore эту базу никогда не удавалось бэкапить, но sxd успешно это делал до последнего времени.
Помогите решить проблему. Т.к. на данный момент выходит, что резервные копии условно нерабочие, т.к. развернуть их не получается :(
winhex
 
Сообщения: 3
Зарегистрирован: 08.09.2015 14:18:26

Re: Не удается импортировать дамп большого размера

UNREAD_POST zapimir » 08.09.2015 15:39:38

Посмотрите значение max_allowed_packed в mysql, запросом
Код: Выделить всё
SHOW VARIABLES LIKE 'max_allowed_packet'

Возможно проблема в том, что max_allowed_packet указан в секции [mysqld_safe], а не [mysqld]
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Не удается импортировать дамп большого размера

UNREAD_POST winhex » 09.09.2015 12:01:51

zapimir писал(а):Возможно проблема в том, что max_allowed_packet указан в секции [mysqld_safe], а не [mysqld]

Спасибо за совет. Перенес max_allowed_packet в секцию [mysqld], кроме того, обновил SXD на хосте, где делал рез. копию до 2.0.11 а так же уменьшил размер бд до 613МБ, увеличил max_allowed_packet до 500 мб.
В результате восстановить бд все равно не удается, теперь уже нет сообщения от mysql:
Код: Выделить всё
2015.09.09 11:56:26   Начало импорта БД `fengoffice2`
   Файл: fo_backup2_2015-09-08_12-22-13.sql.bz2
   Установлена кодировка соединения: `binary`
   Импорт таблицы `fo_address_types`
   Импорт таблицы `fo_administration_logs`
   Импорт таблицы `fo_administration_tools`
   Импорт таблицы `fo_application_logs`
2015.09.09 11:56:30   Импорт таблицы `fo_application_read_logs`
2015.09.09 11:56:36   Импорт таблицы `fo_billing_categories`
   Импорт таблицы `fo_billings`
   Импорт таблицы `fo_comments`
2015.09.09 11:56:45   Импорт таблицы `fo_config_categories`
   Импорт таблицы `fo_config_options`
   Импорт таблицы `fo_contact_addresses`
   Импорт таблицы `fo_contact_config_categories`
   Импорт таблицы `fo_contact_config_option_values`
   Импорт таблицы `fo_contact_config_options`
   Импорт таблицы `fo_contact_dimension_permissions`
   Импорт таблицы `fo_contact_emails`
   Импорт таблицы `fo_contact_im_values`
   Импорт таблицы `fo_contact_member_permissions`
    Импорт таблицы `fo_contact_passwords`
   Импорт таблицы `fo_contact_permission_groups`
   Импорт таблицы `fo_contact_telephones`
   Импорт таблицы `fo_contact_web_pages`
   Импорт таблицы `fo_contact_widgets`
   Импорт таблицы `fo_contacts`
   Импорт таблицы `fo_cron_events`
   Импорт таблицы `fo_custom_properties`
   Импорт таблицы `fo_custom_property_values`
   Импорт таблицы `fo_dimension_member_associations`
2015.09.09 11:56:46   Импорт таблицы `fo_dimension_member_restriction_definitions`
   Импорт таблицы `fo_dimension_object_type_contents`
   Импорт таблицы `fo_dimension_object_type_hierarchies`
   Импорт таблицы `fo_dimension_object_types`
   Импорт таблицы `fo_dimensions`
   Импорт таблицы `fo_email_types`
   Импорт таблицы `fo_event_invitations`
    Импорт таблицы `fo_external_calendar_users`
   Импорт таблицы `fo_external_calendars`
   Импорт таблицы `fo_file_repo`
2015.09.09 11:57:56   Выполнение прервано из-за ошибки
Текущий статус:   
1

Импорт прекращается на таблице, как раз содержащей блобы. Причем, что любопытно, ошибка возникает через 1мин 30 сек. после начала импорта. Может просто импорт прекращается по таймауту?
winhex
 
Сообщения: 3
Зарегистрирован: 08.09.2015 14:18:26

Re: Не удается импортировать дамп большого размера

UNREAD_POST zapimir » 09.09.2015 14:24:31

Попробуйте сделать бэкап/восстановление только этой проблемной таблицы отдельно. Можете также скинуть в личку ссылку на дамп, протестирую у себя.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52

Re: Не удается импортировать дамп большого размера

UNREAD_POST winhex » 10.09.2015 10:55:05

zapimir писал(а):Попробуйте сделать бэкап/восстановление только этой проблемной таблицы отдельно. Можете также скинуть в личку ссылку на дамп, протестирую у себя.

Я так и сделал при помощи mysqldump - снял копию базы без этой таблицы, потом дамп таблицы отдельно. Восстановил так же - базу без таблицы, потом таблицу в нее. Скорее всего, sxd тоже так сделает, но проще скрипт уже тогда сделать для mysqldump
winhex
 
Сообщения: 3
Зарегистрирован: 08.09.2015 14:18:26

Re: Не удается импортировать дамп большого размера

UNREAD_POST zapimir » 10.09.2015 21:12:08

Ну тут неглядя сложно сказать, какого размера у блобы хранятся? По идее особых проблем быть не должно, с помощью дампера обрабатывались таблицы в десяток гигабайт, возможно попали на какой-то редко встречающийся баг.
zapimir
Site Admin
 
Сообщения: 1628
Зарегистрирован: 01.10.2009 22:39:52


Вернуться в Проблемы и баги

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9

Яндекс.Метрика