Копирование бол. объем данных из одной БД в другую

 
0
 
MS SQL Server
ava
IrinaLive | 29.03.2013, 12:49
Здравствуйте, подскажите, пожалуйста, может кто сталкивался...

У меня есть БД на сервере, мне необходимо некоторые данные из таблиц (не полностью таблицы, а отдельные столбцы) копировать в БД на другом сервере (оба сервера MS SQL 2008), причем объем БД источника большой, в некоторых таблицах миллионы записей. Выполнение подобного с помощью Insert...SELECT происходит в течении 30-40 мин.

Каким образом можно это сделать эффективно, чтобы не так долго копировалось?

Я пишу приложение на C# и с помощью него вызываю хранимую процедуру...может быть можно сделать копирование как-то с помощью приложения?
Ответы (9)
ava
Zioma | 29.03.2013, 12:19 #
Если делать копирование с помощью программы, то данные сначала будут перебрасываться в программу, а потом обратно на сервер. Поэтому это также будет долго.

Очевидно, вам надо создать SSIS-пакет (раньше было DTS) для копирования данных. А запускать его можно как прямо на сервере так и удаленно (из программы).

Еще, как вариант, экспортировать данные в текстовый файл, а потом импортировтаь из него в другую базу.
Что быстрее - хз, надо по-эксперементировать.
ava
Akina | 29.03.2013, 12:53 #
Для начала попробуйте на целевом сервере с таблиц назначения убрать все связи, индексы и прочие наслоения. Именно они могут тормозить загрузку, воссоздадите потом.

Попробуйте создать на исходном сервере новую БД, выполнить локальное копирование в неё только нужных данных, потом отсоединить её, перенести файл на целевой сервер, там присоединить и забрать из него данные. При этом версии серверов, само собой, должны полностью совпадать.

Попробуйте (особенно если версии не совпадают) выгрузить нужные данные на исходном сервере в XML, перенести файл на целевой сервер и там загрузить.

Кстати, а почему время столь велико? точно из-за объёма? не из-за скорости передачи, блокировок и прочего... потому как если проблема исключительно в объёмах - вовсе не факт, что удастся ускорить процесс.
ava
IrinaLive | 29.03.2013, 13:31 #
Цитата


Кстати, а почему время столь велико? точно из-за объёма? не из-за скорости передачи, блокировок и прочего... потому как если проблема исключительно в объёмах - вовсе не факт, что удастся ускорить процесс.



Честно, это мои предположения, что из-за объема, хотя вполне возможно, что не оптимизирована хранимая процедура, я не сильна в T-SQL.

Просто изначально стоит задача сделать возможным вызов обновления моей БД данными из другой БД (которая на другом сервере), вот я попыталась с помощью вызова хранимой процедуры, но пока это выполняется очень долго
ava
Akina | 29.03.2013, 13:57 #
Цитата (IrinaLive @  29.3.2013,  14:31 findReferencedText)
стоит задача сделать возможным вызов обновления моей БД данными из другой БД (которая на другом сервере)

Показывайте DDL обновляемых таблиц и код процедуры (лишнее можно поскипать). Потому как по опыту - получение данных по быстрой сети с другого сервера через OPENDATASOURCE выполняется достаточно быстро, особенно если на время обновления поотрубать индексы, констрейнты, триггеры и прочую грязь.
ava
IrinaLive | 29.03.2013, 15:03 #
Вот так примерно я пытаюсь делать...не думаю, что это правильно, но я, так сказать, только учусь)

Я убрала таблицы, которые небольшого объема, но обновляю их по аналогии
ava
Akina | 29.03.2013, 15:48 #
Берём первую пачку запросов (для одной таблицы):


UPDATE
  t2
SET
  t2.GoodsId = t1.GoodsId
, t2.KindId = t1.KindId
, t2.GroupId = t1.GroupId
, t2.SubGroupId = t1.SubGroupId
, t2.Name = t1.Name
, t2.Price = t1.Price
, t2.ManufactureId = t1.ManufactureId
, t2.BrandId = t1.BrandId
, t2.CountryId = t1.CountryId
FROM ' + @ServDB2 + '.dbo.Goods_Com as t2
INNER JOIN [USER-ПК].TRADINGBASE.dbo.Goods_Com as t1
ON t2.GoodsId = t1.GoodsId;

INSERT ' + @ServDB2 + '.dbo.Goods_Com
  (
    GoodsId
  , KindId
  , GroupId
  , SubGroupId
  , Name
  , Price
  , ManufactureId
  , BrandId
  , CountryId
  )
SELECT
  GoodsId
, KindId
, GroupId
, SubGroupId
, Name
, Price
, ManufactureId
, BrandId
, CountryId
FROM [USER-ПК].TRADINGBASE.dbo.Goods_Com AS t1
WHERE NOT EXISTS
  (
    SELECT 1
    FROM ' + @ServDB2 + '.dbo.Goods_Com WHERE  
    GoodsId = t1.GoodsId
  );

DELETE t2
FROM ' + @ServDB2 + '.dbo.Goods_Com AS t2
LEFT OUTER JOIN [USER-ПК].TRADINGBASE.dbo.Goods_Com AS t1
ON t2.GoodsId = t1.GoodsId
WHERE t1.GoodsId IS NULL;


Вы выполняете целых ТРИ запроса для переноса данных - апдейт совпадающих, добавление недостающих, удаление лишних, со связываниями, выборками, проверками... когда достаточно было вульгарного


TRUNCATE TABLE @ServDB2.dbo.Goods_Com;
INSERT @ServDB2.dbo.Goods_Com (набор_полей) SELECT набор_полей FROM [USER-ПК].TRADINGBASE.dbo.Goods_Com;


ava
IrinaLive | 29.03.2013, 16:07 #
Спасибо, я убрала связи и магическим образом время сократилось до пяти минут, определенно лучше 30 мин)

Цитата


Вы выполняете целых ТРИ запроса для переноса данных - апдейт совпадающих, добавление недостающих, удаление лишних, со связываниями, выборками, проверками... когда достаточно было вульгарного



Делала так, потому что предполагала, что первый раз (когда БД еще пуста) будет выполняться вставка, а в дальнейшем, при повторном вызове хр. процедуры, уже будет выполняться обновление
ava
IrinaLive | 31.03.2013, 13:17 #
Хотела еще поинтересоваться, как вы считаете, может быть подобное обновление лучше выполнять  с помощью BULK INSERT (или еще как-нибудь) или средствами приложения, а не хранимой процедурой?
ava
Akina | 31.03.2013, 20:03 #
Попробуйте. Но полагаю, лучше не станет.
Зарегистрируйтесь или войдите, чтобы написать.
Фирма дня
Вы также можете добавить свою фирму в каталог IT-фирм, и публиковать статьи, новости, вакансии и другую информацию от имени фирмы.
Подробнее
Участники
  Akina ava  Zioma   IrinaLive
advanced
Отправить