В основе концепции хранилища данных лежат две основные идеи:
(1) Интеграция разъединенных детализированных данных (они описывают некоторые конкретные факты, свойства, события и т.д.) в едином хранилище. В процессе интеграции должно выполняться согласование рассогласованных детализированных данных и, возможно, их агрегация. Данные могут поступать из исторических архивов корпорации, оперативных баз данных, внешних источников.
(2) Разделение наборов данных и приложений, используемых для оперативной обработки и применяемых для решения задач анализа.
Основные компоненты информационного хранилища
ПО промежуточного слоя Обеспечивает сетевой доступ и доступ к базам данных.
Транзакционные БД и внешние источники информации Базы данных OLTP-систем исторически предназначались для эффективной обработки структур данных в относительно небольшом числе четко определенных транзакций.
Уровень доступа к данным Относящееся сюда ПО обеспечивает общение конечных пользователей с информационным хранилищем и загрузку требуемых данных из транзакционных систем.
Загрузка и предварительная обработка Этот уровень включает в себя набор средств для загрузки данных из OLTP-систем и внешних источников.
Информационное хранилище Представляет собой ядро всей системы - один или несколько серверов БД. Метаданные Играют роль справочника, содержащего сведения об источниках первичных данных, алгоритмах обработки, которым исходные данные были подвергнуты, и т. д.
|
|
|
Уровень информационного доступа Обеспечивает непосредственное общение пользователя с данным DW посредством стандартных систем манипулирования, анализа и предоставления данных типа MS Excel, MS Access, Lotus 1-2-3 и др.
Уровень управления (администрирования) Отслеживает выполнение процедур, необходимых для обновления информационного хранилища или поддержания его состояния.
Преимущества технологии хранилища данных
Потенциально высокая отдача от инвестиций
Повышение конкурентно способности
Повышение лиц труда за принятие решения
Сравнение OLTP-систем и хранилищ данных.
| OLAP | ХРАНИЛИЩЕ |
| Содержит все время обновляющиеся данные | Не обновляется, исторические данные, агрегированные сведения |
| Хранит подробные сведения | Хранит значительно обобщенные сведения |
| Данные динамические | Данные статические |
| Высокая интенсивность обработки транзакций | Средняя и низко обобщенная транзакция |
| Предсказуемый способ использования данных | Не предсказуемый |
| для обработки транзакций | Для проведения анализа |
| Поддержка принятия повседневных решений | Поддержка приятия стратегических решений |
| Обслуживает большое количество работников | Обслуживает малое количество работников, руководящее звено |
|
|
|
Интерактивная аналитическая обработка данных (OLAP).- динамический синтаксис, анализ и консолидация объема многомерных данных
Термин OLAP- это системы которые обеспечивают выборку данных в разных разрядах.
OLAP-включает в себя поддержку нескольких пользователей редактирующих БД, функции: моделирования., вычислительные механизмы получения производных результатов, прогнозирование выявление транзакций, статистический анализ. Для таких систем требуется многомерная модель БД.
С помощью технологии OLAP (On-Line Analytical Processing - оперативная аналитическая обработка). Этот метод позволяет аналитикам, менеджерам и руководителям "проникнуть в суть" накопленных данных за счет быстрого и согласованного доступа к широкому спектру представлений информации. Исходные данные преобразуются таким образом, чтобы наглядно отразить структуру деятельности предприятия.
При этом конечному пользователю предоставляется ряд аналитических и навигационных функций:
расчеты и вычисления по нескольким измерениям, иерархиям и/или членам;
анализ трендов;
выборка подмножеств данных для просмотра на экране;
|
|
|
углубление в данные (drill down), для просмотра информации на более детализированном уровне;
переход к детальным данным, лежащим в основе анализа;
поворот таблицы отображаемых данных.
Многомерная OLAP-технология
Средства OLAP часто реализуются в виде набора многопользовательских приложений с Web-поддержкой, дают быстрый доступ к любому элементу базы вне зависимости от объема и сложности данных. Часто это достигается за счет использования OLAP-сервера - мощного многопользовательского инструмента для работы с многомерными структурами данных. Конструкция сервера и структура данных оптимизируются таким образом, чтобы можно было выполнять нерегламентированные запросы, а также быстрые, гибкие вычисления и преобразования исходных данных.
С помощью OLAP сервера может быть организовано физическое хранение обработанной многомерной информации, что позволяет быстро выдавать ответы на запросы пользователя. Кроме того, предусматривается преобразование данных из реляционных и других баз в многомерные структуры в режиме реального времени.
В таблице 3 приведены сравнительные характеристики различных моделей управления данными:
Таблица 3
| Характеристики | Реляционные СУБД OLTP | Реляционные СУБД СППР/Хранилища данных | Многомерные СУБД OLAP |
| Типовая операция | Обновление | Отчет | Анализ |
| Уровень аналитических требований | Низкий | Средний | Высокий |
| Экраны | Неизменяемые | Определяемые пользователем | Определяемые пользователем |
| Объем данных на транзакцию | Небольшой | От малого до большого | Большой |
| Уровень данных | Детальные | Детальные и суммарные | В основном суммарные |
| Сроки хранения данных | Только текущие | Исторические и текущие | Исторические, текущие и прогнозируемые |
| Структурные элементы | Записи | Записи | Массивы |
В архитектуре, одновременно использующей реляционные и многомерные системы, данные хранятся на OLAP-сервере или OLAP-структуры используются в качестве кэша для реляционных данных.
|
|
|
Многомерные базы данных
Появились равномерно с реляционными подходом. Реально многомерных СУБД очень мало. Полчком послужило 12 требований кода и систем класса OLAP. Многомерная СУБД является усреднено специальной и предназначены для интерактивной аналитической обработки данных.
Агригируемость - рассмотрение информации на различных уровнях её обобщения (аналитик, оператор, руководитель)
Историчность- предполагается высокий уровень статичности не изменяемости данных и их привязка ко времени.
Прогнозируемость - задания функции прогнозирования и применения к различным интревалам
Многомерность - модели данных означает не многомерность реализации данных, а многомерное логическое представление структуры информации. Многомерное более наглядно и информировано чем простая модель. Её размерность более 2, то визуализация в гиперкубах и мегаразмерах. Пользователю удобнее иметь дело с многомерной моделью. Данные представляются в виде вырезок из многомерной модели.
Основные понятия: измерение-множество однозначных данных образующих график гипер куба. Показатель-ячейка-поле значения которого однозначно определяется фиксированным набором. Тип поля-числовой. В зависимости от того как формируется значение ячейки, она может быть переменной. Значения могут загружаться их переменных источников, либо может быть формула: гиперкубическая, полекубическая. Полекубическая-может быть применено несколько гипер кубов, с различной размерностью и с различным измерением разности грани.
Гипер кубическая схема-все показатели определяются 1 и тем же набором измерений: средой, вращением, агрегацией, детализацией.
Среда-подмножество гипер куба, полученное в результате фиксации 1 или нескольких измерений.
Вращение- применяется при 2 мерном представлении данных и заключается в измененном порядке измерений
Агрегация-переход к большому общему
Дотализация- переход к большому детальному представлению информации.
Назначение хранилищ данных — предоставление пользователям информации для статистического анализа и принятия управленческих решений.
Хранилища данных должны обеспечивать высокую скорость получения данных, возможность получения и сравнения так называемых срезов данных, а также непротиворечивость, полноту и достоверность данных.
OLAP (On-Line Analytical Processing) является ключевым компонентом построения и применения хранилищ данных. Эта технология основана на построении многомерных наборов данных — OLAP-кубов, оси которого содержат параметры, а ячейки — зависящие от них агрегатные данные.
Приложения с OLAP-функциональностью должны предоставлять пользователю результаты анализа за приемлемое время, осуществлять логический и статистический анализ, поддерживать многопользовательский доступ к данным, осуществлять многомерное концептуальное представление данных и иметь возможность обращаться к любой нужной информации.
Дата добавления: 2020-01-07; просмотров: 303; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!