Способы измерения реальной производительности
При оценке производительности на тестах приходится решать три проблемы, связанные с анализом результатов контрольного тестирования производительности:
· отделение показателей, которым можно доверять безоговорочно, от тех, которые должны восприниматься с известной долей настороженности (проблема достоверности оценок);
· выбор конторольно-оценочных тестов, наиболее точно характеризующих производительность при обработке типовых задач пользователя (проблема адекватности оценок);
· правильное истолкование результатов тестирования производительности, особенно если они выражены в довольно экзотических единицах типа MWIPS, Drystoones/s и т.д. (проблема интерпретации).
Первую группу тестов измерения производительности составляют тесты производителей, разрабатываемые компаниями-изготовителями компьютеров для «внутреннего» применения – оценивая качества собственных продуктов. Главная особенность этих тестов заключается в том, что они ориентированы на сравнение ограниченного множества однотипных компьютеров, часто относящихся к одному семейству.
Пользовательские тесты создаются крупными компаниями, специализирующимися на внедрение компьютерных технологий, или совместными усилиями групп пользователей, объединённых сходством решаемых задач. Эти средства предназначены для выбора компьютеров и ПО, наиболее подходящие под определённые прикладные задачи. В принципе такой подход позволяет получить наиболее точные оценки производительности для конкретного класса приложений, хотя и сопряжён со значительными усилиями пользователей по созданию тестовых программ и проведению испытаний компьютеров.
|
|
|
Сегодня наиболее распространенными являются наборы тестов компании SPEC (Standard Performance Evolution Corporation) – SPEC (89, 92,95), которые и будут рассматриваться ниже
Пакет тестовых программ SPEC 89 включает в себя два тестовых набора – Cint 89, состоящий из четырёх программ с целочисленной обработкой, и Cfp 89, объединяющий шесть программ со значительным объемом информации над числами с плавающей точкой двойной точности.
Все десять модулей представляют собой достаточно сложные программы на языках C и FORTRAN с широким спектром решаемых задач – от оптимизации матриц булевой алгебры до моделирования замещения атомов в квантовой химии.
Пакет тестовых программ SPEC 92
SPEC 92 состоит из наборов тестовых пакетов Сint92 и Cfp92.
Пакет оценочных программ Cint92 предназначен для оценки производительности микропроцессоров при выполнении целочисленных операций, преимущественно в коммерческой области применения. В его состав входят 6 эталонных тестов, написанных на языке Си и представляющих собой задачу из теории сетей, интерпретатор языка Lisp, задачу логического проектирования, Unix – утилиту упаковки тестового файла размером 1 Мбайт \, который 20 раз подвергается сжатию, операции со строками и столбцами электронной таблицы и компилятор языка Си.
|
|
|
Пакет оценочных программ Cfp92 предназначен для оценки производительности микропроцессоров на операциях с плавающей точкой, преимущественно в технической и научной областях.
В его состав входят 14 различных прикладных программ, две из которых написаны на языках Си и 12 – на языке Фортран. В пакет входят программы схемного проектирования, проектирования термодинамики ядерного реактора методом Monte-Carlo, задачи квантовой химии и физики, решение уравнения Максвелла, преобразование координат, трассировка оптических лучей, задачи робототехники и нейросетей, моделирование человеческого уха, решение уравнения Навье-Стокса для определения параметра межгалактического газа, семь библиотечных функций обработки матриц (умножение, обращение и т.д.) и ряд других.
Пакет SPEC 92 имеет одно новшество. Речь идёт о характеристиках мультипрограммной обработки SPECrate, формируемых в рамках метода одной нагрузки. Суть последнего заключается в следующем: тестируемый компьютер выполняет задание, состоящее из множества копий одной программы, а показателем производительности многопроцессорной обработки служит количество копий, завершенных за определённый интервал времени. Для получения оценки SPECrate используются те же программы, что и для расчёта показателей SPECint92 и SPECfp92. Разница только в том, что тестовый модуль реализуется как несколько копий, образующих одно задание, а результатом измерений является нормированное общее время выполнения всех копий задания. Подобной процедуре подвергается каждая из 20 тестовых программ, что позволяет получить шесть частных оценок SPECratio, для программ целочисленной обработки, и 14 – для программ обработки вещественных чисел.
|
|
|
Таким образом, SPECrateint 92 и SPECratfp 92 оценивают среднюю скорость выполнения задачи в многопроцессорном режиме работы системы. Кроме того, эти показатели позволяют получить представление о возможностях компилятора по организации параллельного мультизадачного кода, а также операционной системы – по эффективному динамическому распределению ресурсов системы (в частности, процессоров) между выполняемыми параллельными программами. Это делает оценки SPECrateint 92 и SPECratfp 92 особенно представительными для SMP-систем коллективного пользования, работающих в пакетном режиме.
|
|
|
Сводные сведения о программах, входящих в SPEC 89 и SPEC 92, приведены ниже в таблице.
Перечень программ наборов SPEC 89, SPEC 92.
| Программа | Тест, язык, тип данных |
| Моделирование ПЛМ (PLA) | 89+92, С, ФТ |
| Lisp – интерпретатор | 89+92, С, ФТ |
| Формирование логических таблиц истинности | 89+92, С, ФТ |
| Unix – утилита упаковки тестового файла размером 1Мбайт, который 20 раз подвергается сжатию | 92, С, ФТ |
| Операция со строками и столбцами электронной таблицы | 92, С, ФТ |
| Компилятор GNU, трансляция 19 программ на Си в оптимизированный код ассемблера | 89+92, С, ФТ |
| Моделирование аналоговых цепей с высокой интенсивностью обменов с памятью | 89+92, Фортран, ПТ, ДВ |
| Моделирование термодинамики ядерного реактора методом Монте-Карло; содержит большое число ветвлений и коротких циклов | 89+92, Фортран, ПТ, ДВ |
| Задача квантовой химии для системы из 500 атомов | 92, Фортран, ПТ, ДВ |
| Версия теста Mdijdp2 для одинарной точности | 92, Фортран, ПТ, ОТ |
| Решение уравнений Максвелла | 92, Фортран, ПТ, ДВ |
| Генерация сетки при моделировании процессов обтекания; программа ориентирована на тестирование параллельных систем | 89+92, Фортран, ПТ, ДВ |
| Моделирование управления движением робота с использованием видеосистемы | 92, С, ПТ |
| Решение сеточной задачи shallow – water для сетки 256х256 | 92, Фортран, ПТ |
| Задача квантовой физики вычисления массы элементарных частиц с использованием метода Монте-Карло; хорошо векторизуется и ориентирована на тестирование параллельных систем | 92, Фортран, ПТ, ДВ |
| Решение уравнение Навье-Стокса для определения параметра межгалактического газа; программа хорошо векторизуется и ориентирована на тестирование параллельных систем | 92, Фортран, ПТ, ДВ |
| Семь библиотечных функций обработки матриц (умножение, обращение и т.д.) | 89+92, Фортран, ПТ, ДВ |
| Моделирование процесса замещения атомов на сериях Гаусса; программа плохо распараллеливается и содержит большой объем ввода/вывода | 89+92, Фортран, ПТ, ДВ |
| Синтетический тест, имитирующий различные алгоритмы умножения матриц | 89, Фортран, ПТ, ДВ |
| Моделирование уха человека | 92, С, ПТ, ДВ |
Дата добавления: 2019-07-15; просмотров: 274; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!