інтеграція даних
Алгоритм ETL - технології інтеґрації даних
Submitted by Natalya on Wed, 23/01/2008 - 19:12Для попередньо отриманих і збережених у оперативному сховищі даних нобхідно розробити систему норм і критеріїв перетворення їх до форми, придатної для збереження у сховищі даних. Приклади критеріїв та вимог:
SELECT * FROM documents WHERE evdate>=DateDiff("d",Now(),30);
SELECT * FROM documents WHERE document_type IS NOT Null;
SELECT * documents WHERE delp_id In (select id from department where prior_id is Not Null);
З метою аналізу, фільтрації та перетворення вхідних даних необхідно сформувати та виконати стосовно таблиці фактів оперативного сховища даних запити на вилучення або зміну даних, які не відповідають критеріям, розглянутим вище:
DELETE * FROM documents WHERE id not in (SELECT id from documents_type);
З метою завантаження таблиці фактів необхідно створити та виконати запит (процедуру) переміщення значень з підготованої таблиці вхідних даних сховища оперативних даних у таблицю фактів та провести аналіз виконаних дій:
Простори даних - нова абстракція керування даними
Submitted by Natalya on Wed, 24/10/2007 - 18:03І бази даних, і сховища даних дозволяють опрацьовувати деталізовані та інтегровані дані, що побудовані на основі наперед допустимих моделей даних. У випадку роботи у всесвітній мережі з величезною кількістю ресурсів (прикладами таких задач є туристичний бізнес – збирання інформацію про місця відпочинку, її інтеграція та зберігання у внутрішніх базах даних, геоінформаційні системи – на сьогодні ще не розроблено єдних стандартів подання такої інформації, а її збір також проходить із джерел з наперед невідомими моделями даних) неможливо визначити, які саме моделі даних використовуватимуться. Тому виключно за допомогою баз даних та сховищ даних не можна організувати ефективної взаємодії між усіма об'єктами у цих предметних областях. Розробники часто зустрічаються з набором слабо зв'язаних джерел даних і тому повинні кожного разу вирішувати низькорівневі завдання управління даними. У число цих завдань входять забезпечення можливостей пошуку і запиту даних; дотримання правил, обмежень цілісності, угод про іменування і т.д.; відстежування походження даних; забезпечення доступності, відновлення і контролю доступу; керований розвиток даних і метаданих.
Традиційні СКБД представляють тільки одну точку (хоч і дуже важливу) в просторі рішень управління даними. Важливою точкою є "системи інтеграції даних. Насправді, системи інтеграції даних і обміну даними традиційно призначаються для підтримки багатьох інших служб в системах просторів даних. Особливість полягає у тому, що в системах інтеграції даних потрібна семантична інтеграція до того, як можуть бути забезпечені які-небудь інші послуги. Тому, хоч і відсутня єдина схема, якій відповідають всі дані, система повинна знати точні взаємозв'язки між елементами, що використовуються в кожній схемі. В результаті для створення системи інтеграції даних потрібна значна попередня робота.
Recent comments
12 years 45 weeks ago
12 years 47 weeks ago
13 years 29 weeks ago
13 years 36 weeks ago
14 years 21 weeks ago
14 years 45 weeks ago
14 years 51 weeks ago
15 years 4 weeks ago
15 years 6 weeks ago
15 years 21 weeks ago