Требования к проведению экспертизы на стадии «Ввод в действие».
На данной стадии создания Системы (согласно ГОСТ 34.601-90) выполняется экспертиза следующих результатов Проекта:
- Акт об окончании пусконаладочных работ.
- Протокол предварительных испытаний.
- Акт о вводе в опытную эксплуатацию.
- Отчет о проведении опытной эксплуатации.
- Протокол проведения опытной эксплуатации.
- Акт о завершении опытной эксплуатации и допуске к приемочным испытаниям.
- Протокол внутреннего тестирования.
- Протокол приемочных испытаний.
- Акт о готовности системы к вводу в эксплуатацию.
Экспертиза на данной стадии включает следующие направления экспертизы (1-8), виды экспертиз и конкретные проверки:
(1) Общая (комплексная) экспертиза присутствия в системе необходимой информации (НСИ, контента)
В рамках данного направления выполняются следующие виды экспертиз:
- Общая (комплексная) экспертиза результатов тестирования присутствия в системе необходимой НСИ.
- Общая (комплексная) экспертиза результатов тестирования присутствия в системе необходимого контента (данных).
В рамках экспертиз выполняются следующие проверки:
- Проверка результатов тестирования наличия в подсистемах необходимых нормативно-справочных данных (проводятся выборочные проверки), оцениваются причины возможного отсутствия НСИ (не выполнена миграция из других источников, не введены данные пользователями или отсутствие связано с отказами или сбоями в работе подсистем). Проверка выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком. В рамках комплексной экспертизы учитываются следующие факторы:
|
|
|
- результаты и порядок организации ввода первичной информации силами разработчика подсистем, результаты периодических проверок состояния первичного контента, загруженного в систему, выполняемые разработчиками и ключевыми пользователями;
- наличие внутреннего регламента (или плана) актуализации информации в подсистемах;
- состав комплексных тестов, предлагаемых разработчиком, чтобы исключить неполноту проверки работоспособности подсистем и наличие специальных тестов по проверке наличия в подсистемах необходимой НСИ (или возможности использования централизованной НСИ);
- количество тестовых испытаний, привлечение для функционального тестирования пользователей;
- проведение нагрузочного тестирования в условиях максимально приближенных к реальным и на площадке Заказчика (на реальных данных);
- степень использования централизованного решения для управления НСИ.
- Проверка результатов тестирования наличия в подсистемах необходимого первичного контента (информации) (проводятся выборочные проверки), оцениваются причины возможного отсутствия информации (не выполнена миграция из других источников, не введены данные пользователями или отсутствие связано с отказами или сбоями в работе системы). Проверка выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком.
|
|
|
(2) Экспертиза возможностей по обработке данных и формированию отчетности
В рамках данного направления выполняются следующие виды экспертиз:
- Экспертиза результатов тестирования расчетов, автоматизированных в подсистемах (в том числе расчетов сумм).
- Экспертиза результатов тестирования обработки больших массивов данных.
- Экспертиза результатов тестирования формирования статистики.
В рамках экспертиз выполняются следующие проверки:
- Выполняется выборочная проверка результатов тестирования расчетов, автоматизированных в подсистемах, в ходе которого выявляются возможные ошибки в расчетных данных (автоматизированных алгоритмах). Экспертиза выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком.
- Выполняется выборочная проверка результатов тестирования отсутствия сбоев, ошибок в системе при обработке больших массивов данных. Экспертиза выполняется на основании отчетов о результатах тестирования подсистем в рамках тестирования на реальных данных, которые формируются разработчиками подсистем и/или Заказчиком.
|
|
|
- Выполняется выборочная проверка результатов тестирования отсутствия ошибок при формировании печатных форм по критическим данным (при отображении на экране, сохранении в файл, выводе на печать). Экспертиза выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком, в рамках тестирования формирования статистики (в том числе выполняются выборочные сверки источников данных и данных в выходных формах). Также оценивается максимальное время построения любого отчета пользователем, прошедшим обучение, на соответствие параметрам в ЧТЗ.
(3) Экспертиза обеспечения ограниченного доступа
В рамках данного направления выполняются следующие виды экспертиз:
- Экспертиза результатов тестирования настройки ролей пользователей.
- Экспертиза результатов тестирования журналирования (логирования) действий пользователей.
|
|
|
В рамках экспертиз выполняются следующие проверки:
- Выполняются выборочные проверки результатов тестирования фактической настройки ролей пользователей подсистем (системной ролевой модели) на соответствие функциональной ролевой модели пользователей, заданной в ПД. Проверка выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком. В ходе данного тестирования выявляются возможные случаи появления технической возможности получить несанкционированный доступ (из-за ошибки разработчика подсистемы).
- Выполняется проверка результатов тестирования фактической возможности ведения в фоновом режиме логирования (журналирования) действий пользователей (времени и места входа в подсистему, последовательности действий/транзакций, данных с которыми работал пользователь). Проверка выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком.
(4) Экспертиза производительности и надежности (доступности)
В рамках данного направления выполняются следующие виды экспертиз:
- Экспертиза результатов тестирования фактических значений характеристик быстродействия (в рамках экспертизы разработанного и готового к эксплуатации ПО).
- Экспертиза результатов тестирования качества передачи данных (в рамках экспертизы разработанного и готового к эксплуатации ПО).
- Экспертиза результатов тестирования работоспособности (доступности) оборудования и сетевых элементов (на основе отчетности, формируемой эксплуатационными службами Заказчика).
В рамках экспертиз выполняются следующие проверки:
- Проверка результатов тестирования среднего времени открытия стартовой страницы (стартового окна), времени отклика на действие пользователя (вызов функции, открытие справочника, сохранение и т.д.), времени выполнения запроса на выполнение транзакции (поиск, обработка, ожидание выполнение транзакции, отчета и т.д.). Экспертиза выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком, в рамках тестирования производительности (с подключением максимального количества пользователей, либо имитацией работы большого количества пользователей с использованием специализированного ПО разработчика).
- Проверка результатов тестирования фактической пропускной способности канала связи, класса сетевого сервиса (качество передачи трафика по сети, предоставляемого сетевым провайдером). Экспертиза выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком в рамках тестирования качества передачи трафика по сети (оценивается процент потерянных пакетов, задержки передачи пакетов информации и другие характеристики).
- Проверка результатов тестирования фактической совокупной доступности (работоспособности) ИТ-инфраструктуры ПО. Экспертиза выполняется на основе отчетности, формируемой эксплуатационными службами (о сбоях, остановках и других проблемах ИТ-инфраструктуры ПО).
(5) Экспертиза интеграции
В рамках данного направления выполняются следующие виды экспертиз:
- Экспертиза результатов тестирования информационных потоков между подсистемами.
- Экспертиза результатов информационных потоков по обмену (или совместному использованию) НСИ между подсистемами.
В рамках экспертиз выполняются следующие проверки:
- Выполняется выборочная проверка результатов тестирования отсутствия ошибок обмена данными (контентом) критических функций (определяются Заказчиком) со смежными подсистемами. Проверка выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком. В рамках тестирования оцениваются возможности автоматической сверки импортируемых/экспортируемых данных, сверки контрольных итогов в основной подсистеме и смежной подсистеме и выполняется выборочная сверка импорта/экспорта.
- Выполняется выборочная проверка результатов тестирования отсутствия ошибок обмена нормативно-справочной информацией критических функций (определяются Заказчиком) со смежными подсистемами. Проверка выполняется на основании отчетов о результатах тестирования, формируемых разработчиками подсистем и/или Заказчиком. В рамках тестирования оцениваются возможности автоматической сверки импортируемой/экспортируемой НСИ, сверки контрольных данных справочников в основной и в смежной подсистемах, возможности использования централизованной НСИ несколькими подсистемами и выполняется выборочная сверка импорта/экспорта НСИ (или совместного использования НСИ).
(6) Экспертиза презентационных и обучающих материалов
В рамках данного направления выполняются экспертизы презентационных и обучающих материалов, размещенных в Базе знаний ФГИС ЦС, на предмет стандартов их оформления, а также соответствия разработанным ЧТЗ, Руководствам операторов и таким критериям качества, как завершенность и самодостаточность. По результатам данного вида экспертиз должны быть сформулированы выводы о качестве презентационных и обучающих материалов, выявленные отклонения и рекомендации по оптимизации системы обучения.
(7) Экспертиза документации по результатам тестирования
В рамках данного направления выполняются следующие виды экспертиз:
- Экспертиза сценариев тестирования (контрольных примеров, протоколов).
- Экспертиза отчетов/актов о результатах тестирования и испытаний.
В рамках экспертиз выполняются следующие проверки:
- Проверка сценариев тестирования (включая детальное описание теста и критериев успешного прохождения теста). Оценивается детальный перечень проверок (тестов) по каждой автоматизированной функции, включающий методику испытаний и критерии по каждой проверке, оцениваются сценарии тестирования характеристик подсистем (в том числе нагрузочных) и интерфейсов подсистем с общим описанием каждого теста, описанием условий его прохождения, критериев его успешного прохождения, сценария (последовательности операций), и документации по оформлению его результатов (шаблона протокола, журнала регистрации и т.д.).
- Проверка отчетов о результатах тестирования и испытаний на соответствие действующему порядку приемки подсистем в эксплуатацию (описывается в ПиМИ), оцениваются виды проверок, выполняемых перед тем как передать новый релиз в эксплуатацию, оцениваются результаты опытной эксплуатации (журналы), состав участников опытной эксплуатации, проверяется оценка промежуточных результатов тестирования, наличие эксплуатационной документации на момент проведения функционального тестирования, оценивается соответствие эксплуатационной документации методике определения состава выходной эксплуатационной документации проекта и ПиМИ.
(8) Экспертиза порядка оказания услуг гарантийной поддержки и постгарантийной технической поддержки и сопровождения
В рамках данного направления выполняются следующие виды экспертиз:
- Экспертиза условий гарантийной поддержки подсистем со стороны обслуживающей организации.
- Экспертиза документирования процессов технической поддержки и сопровождения.
- Экспертиза параметров качества услуг (уровня услуг) технической поддержки и сопровождения.
В рамках экспертиз выполняются следующие проверки:
- Проверка условий и сроков гарантийной поддержки подсистем со стороны разработчика, в том числе следующие факторы:
- обеспечение консультативной поддержки от разработчика в период эксплуатации в течение определенного срока после приемки системы в эксплуатацию.
- подписание с разработчиком (до сдачи системы в эксплуатацию) регламента взаимодействия или аналогичного документа (предварительного соглашения об уровне сервиса на период гарантийной поддержки), включающего рекомендации эксплуатационной службы Заказчика по исправлению дефектов (ошибок), порядку подготовки запросов, сроки исправления, отчетность Разработчика.
- Проверка документирования процессов технической поддержки и сопровождения, в том числе учитываются следующие факторы:
- наличие единой (централизованной) службы поддержки для всех подсистем и для всех пользователей;
- порядок управления обращениями пользователей (обслуживаниям пользователей);
- порядок обновления (изменения) конфигурации подсистем;
- порядок эскалирования проблем ответственным;
- порядок обновления версий и контроля версионности программ;
- порядок обновления (изменения) состава ИТ-услуг (сервисов);
- порядок обновления (изменения) условий предоставления услуг (функции, условия предоставления, используемые ресурсы, параметры качества, и др.).
- Проверка единого регламента организации процессов сопровождения и технического обслуживания (или аналогичного документа), подробно описывающего операции (по шагам), взаимодействие, распределение ответственности по всем линиям поддержки (или фиксируется его отсутствие). Оценивается отражение в данном регламенте процессов управления инцидентами, управления релизами, управления проблемами, управления конфигурациями, управления изменениями, управления каталогом ИТ-услуг (сервисов).
- Проверка метрик, предусмотренных в порядке оказания услуг технической поддержки и сопровождения, рассчитанного на основании метрик интегрального показателя «уровень услуги» или аналогичного показателя/ей (его наличие и правильность расчета), оценивается влияние показателя/ей на сумму периодических выплат Разработчику за услуги, оценивается оптимальность параметров качества каждой услуги (режима, времени реакции, доступности, др. условий), наличие и качества описания разных уровней обслуживания (для разных групп пользователей и разных подсистем), оцениваются другие методы оптимизации (при наличии).
Состав и содержание конкретных проверок могут быть скорректированы Исполнителем по результатам предварительного анализа результатов Проекта, подлежащих экспертизе.
Дата добавления: 2018-08-06; просмотров: 207; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!