Горизонтальное масштабирование
Горизонтальное масштабирование – это увеличение мощности системы путем добавления новых узлов, которые объединены в одну систему. Является альтернативой вертикальному масштабированию.
Горизонтальное масштабирование – это великолепный способ масштабирования, т.к. имеется возможность выбрать мощность одного узла и найти его оптимальную стоимость.
Главная проблема горизонтального масштабирования – это необходимость использования ПО, которое должно иметь архитектуру, поддерживающую горизонтальное масштабирование.
Сравнение вертикального и горизонтального масштабирования
До определенного уровня вертикальное масштабирование лучше горизонтального, т.к.
1) горизонтальное масштабирование требует специального ПО;
2) увеличить количество компонентов существующего компьютера дешевле, чем купить новый дополнительный компьютер;
3) энергопотребление системы ниже, т.к. у нее меньше энергопотребляющих компонентов;
4) занимаемый объем помещения меньше.
Однако у вертикальной масштабируемости есть предел по количеству памяти, количеству процессоров. При использовании нескольких процессоров необходима модель общей памяти. Варианты:
1) обеспечить синхронизацию (когерентность) кэшей процессоров;
2) применять подходы при программировании, обеспечивающие синхронизацию.
Когерентность бывает либо полная, как в процессорах Эльбрус, либо почти полная, как в процессорах Intel, которые рассчитаны на поддержку многопроцессорности, но максимум – на 4 процессора.
|
|
|
Задача создания распределенного файлового хранилища
Задача: Пусть Вам необходимо создать Youtube. Главная проблема: огромное количество видеофайлов, которые нужно где-то хранить, а также обеспечивать к ним доступ.
Решение:
Создать систему, которая горизонтально масштабируется, и распределить файлы по узлам. Когда место исчерпывается, добавлять новые узлы. Необходимо определить, по какому принципу распределять (partitioning) файлы по узлам.
Partitioning – разбрасывание, распыление. Этот термин появился еще в реляционных БД (физическое агрегирование данных, которое использовалось в БД для того, чтобы обеспечить более быстрый доступ к данным, которые физически лежат вместе за счет кэширования данных на всех уровнях).
Варианты распределения файлов по узлам:
А) Есть дерево каталогов. Если в каком-то каталоге записаны файлы, то с большой вероятностью эти файлы могут принадлежать одной программе и использоваться в ней. Можно нарезать каталоги по именам и распределить куски каталогов по разным узлам;
В) Для каждого имени файла использовать некоторую функцию, которая вычисляет хэш и группирует всё пространство имен по вычисленных значениям. Хэш определяет номер узла. Термин для такого распределения – sharding.
|
|
|
Что делать в случае, если файл имеет объем, который не помещается на жесткий диск (например, база данных)? Можно физически файл разбить на блоки и эти блоки разбросать по узлам. Единицей распределения становится не файл, а файл и номер блока внутри файла.
Если происходит распределение файлов, то при запросе на получение информации нужно узнать, на каком узле находится файл. В первом случае (дерево каталогов) необходим выделенный сервер, хранящий информацию о размещении файлов, который становится узким местом системе. Выход этого узла из строя равносилен выходу из строя всей системы (singlepointofvalue, критическая точка в системе). В случае использования хэш-значений нет необходимости хранить дерево каталогов, т.к. хэш позволяет сказать, на каком узле хранится файл.
Дата добавления: 2018-08-06; просмотров: 322; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!