Вопросы к экзамену «Оценка эффективности программных продуктов» icon

Вопросы к экзамену «Оценка эффективности программных продуктов»



Смотрите также:
1   2   3   4   5   6   7   8   9






  1. ^ Процессы мониторинга и оценки эффективности (МЕ)

    1. Модели зрелости ИТ-процессов

Потребности бизнеса определяются Ключевыми Индикаторами Цели, чему способствует организация постоянного контроля над всеми ресурсами ИТ. Достижение необходимого уровня контроля измеряется Ключевыми Показателями Результата, которые учитывают Критические Факторы Успеха. Результаты всех этих оценок используются для определения уровня зрелости управления ИТ в целом, так и отдельных групп процессов.

Модель Зрелости используется для оценки уровня управления ИТ— от несуществующего (самый низкий уровень) до оптимизированного (самый высокий уровень).

Для достижения пятого, "оптимизированного" уровня зрелости в управлении ИТ организация должна быть на пятом уровне в домене мониторинг и как минимум на четвертом уровне моделей зрелости для всех других доменов.

Модель зрелости не является технологией или стандартом. Для нее нет формальных описаний, в ней нет жестких требований, и она не привязана к конкретным информационным технологиям.

Модели зрелости предназначены для организации эффективного управления. Они определяют ключевые действия, которые указывают, что надо сделать для достижения требуемого качества и содержат способы контроля над правильностью выполнения ключевых ИТ-процессов и методы их корректировки.

Беря за основу моделей зрелости, разработанную для каждого из 34 ИТ-процесса CobiT, руководитель может выяснить следующие сведения:

  • Текущий статус организации — оценить, на какой стадии организация находится сегодня.

  • Текущий статус лучшей практики в этой отрасли — сравнить свою организацию с лучшей организацией в этой отрасли.

  • Текущий статус международных стандартов — провести дополнительное сравнение текущего статуса организации с "лучшей практикой" или международными стандартами.

  • Статус организации после усовершенствования (реализация стратегии организации) — оценить стратегию организации, каких результатов организация хочет достичь.

В таблице 16 приведен шаблон оценки аспектов модели зрелости для каждого из процессов. Всего предлагается семь аспектов:

  1. Осведомлённость и информирование

  2. Политики, планы и процедуры

  3. Инструментарий и автоматизация

  4. Навыки и компетентность

  5. Ответственность и подотчетность

  6. Постановка целей и оценка результатов

  7. Общая оценка процесса


Таблица 16 - Соответствие процессов и ключевых областей управления




П – приоритетные,
В – второстепенные

Индекс

Процесс

Соответствие стратегии

Полезность

Управление рисками

Управление ресурсами

Оценка эффективности

PO 1

Разработка стратегического плана развития ИТ

П

 

В

В

 

PO 2

Определение информационной архитектуры

П

В

В

П

 

PO 3

Определение направления технологического развития

В

В

В

П

 

PO 4

Определение ИТ процессов, организационной структуры и взаимосвязей

В

 

П

П

 

PO 5

Управление ИТ инвестициями

В

П

 

В

В

PO 6

Информирование о целях и направлениях развития ИТ

П

 

П

 

 

PO 7

Управление персоналом

П

 

В

П

В

PO 8

Управление качеством

П

В

В

 

 

PO 9

Оценка и управление ИТ рисками

П

 

П

 

 

PO 10

Управление проектами

П

В

В

В

В

AI 1

Выбор решений по автоматизации

П

П

В

В

 

AI 2

Приобретение и поддержка программных приложений

П

П

В

 

 

AI 3

Приобретение и обсуживание технологической инфраструктуры

 

 

 

П

 

AI 4

Обеспечение выполнения операций

В

П

В

В

 

AI 5

Поставка ИТ ресурсов

 

В

 

П

 

AI 6

Упраление внесениями изменений

 

П

 

В

 

AI 7

Внедрение и приемка решений и изменений

В

П

В

В

В

DS 1

Определение и управление уровнем обслуживания

П

В

П

П

П

DS 2

Управление услугами сторонних организаций

 

П

П

В

В

DS 3

Управление производительность и мощностями

В

В

В

П

В

DS 4

Обеспечение непрерывности ИТ сервисов

В

П

П

В

В

DS 5

Обеспечение безопасности систем

 

 

 

П

 

DS 6

Определение и распределение затрат

 

В

 

П

В

DS 7

Обучение и подготовка пользователей

В

П

В

В

 

DS 8

Управление службой технической поддержки и инцидентами

 

П

 

 

В

DS 9

Управление конфигурацией

 

П

В

П

 

DS 10

Управление проблеммами (инцидентами)

 

П

В

 

В

DS 11

Управление данными

В

П

П

П

В

DS 12

Управление физической безопасностью и защитой от воздействий окружающей среды

 

 

П

В

 

DS 13

Управление операциями по эксплуатации систем

 

 

 

П

 

ME 1

Мониторинг и оценка эффективности ИТ

В

В

В

В

П

ME 2

Мониторинг и оценка систем внутреннего контроля

 

П

П

 

 

ME 3

Обеспечение соответствия внешним требованиям

П

 

П

 

 

ME 4

Обеспечение корпоративного управления ИТ

П

П

П

П

П


Модель Зрелости Управления ИТ, для бизнеса, предназначена для управления ИТ-процессами с целью увеличения эффективности работы ИТ, при соблюдении равновесия между риском и прибылью.


  1. Не существует. Полное отсутствие каких-либо процессов управления ИТ. Организация не признает существования проблем в ИТ, которые нужно решать, и, таким образом, нет никаких сведений о проблемах.




  1. Начало (Анархия). Организация признает существование проблем управления ИТ и необходимость их решения. При этом не существует никаких стандартизованных решений. Существуют случайные одномоментные решения, принимаемые кем-то персонально или от случая к случаю. Подход руководства к решению ИТ-проблем хаотичен, признание существования проблем случайно и непоследовательно.




  1. Повторение (Фольклор). Существует всеобщее осознание проблем управления ИТ. Показатели деятельности и ИТ-процессов находятся в развитии, охватывая процессы планирования, функционирования и мониторинга ИТ. Деятельность по управлению информационными технологиями описана и интегрирована в процесс управления организацией. Выбраны для улучшения и/или контроля те ИТ-процессы, которые влияют на основные бизнес-процессы предприятия. Эффективно выполняется планирование и управление инвестициями. Руководство организации регламентировало меры по управлению ИТ, а также методы управления и оценки, но процесс не был принят в организации. Не существует формализованного обучения, набора взаимосвязанных стандартных процедур управления, ответственность возложена на сотрудников. Сотрудники контролируют процессы управления с помощью проектов и ИТ-процессов. Ограниченные инструменты управления выбираются и внедряются для сбора метрик управления, но не используются в полном объеме из-за недостатков в оценке их функциональности.




  1. Описание (Стандарты). Необходимость действовать в соответствии с принципами управления ИТ понимается и принимается. Развивается базовый набор показателей управления ИТ: определена связь между результатом и показателями производительности, она зафиксирована и внедрена в стратегические процессы планирования и мониторинга. Процедуры стандартизованы и документированы, проводится обучение сотрудников по выполнению этих процедур. Показатели производительности всех видов деятельности зафиксированы и отслеживаются, что приводит к повышению эффективности работы всей организации. Процедуры не сложны, они являются формализацией существующей практики. Идеи сбалансированных карт оценки бизнеса принимаются организацией. Ответственность за обучение, выполнение и применение стандартов возложена на сотрудников организации. Анализ первопричин применяется время-от-времени. Большинство процессов управляются в соответствии с некоторыми основными метриками, и, как правило, отдельными сотрудниками, поэтому ни о каких отклонениях руководители не знают. Однако всеобщая отчетность о выполнении ключевых процессов является четкой, и руководство премирует сотрудников на основе измерения ключевых результатов.




  1. Управление (Измеряемый). Существует полное понимание проблем управления ИТ на всех уровнях организации, постоянно происходит обучение сотрудников. Определены и поддерживаются в актуальном состоянии соглашения об уровне обслуживания. Четко распределена ответственность, установлен уровень владения процессами. Процессы ИТ соответствуют бизнесу и стратегии ИТ. В первую очередь улучшения в процессах ИТ основываются на измеряемых количественных показателях. Существует возможность управлять процедурами и метриками процессов, измерять их соответствие. Все совладельцы процесса осознают риски, важность ИТ и возможности, которые они предоставляют. Руководство организации определило допустимые отклонения, при которых процессы должны работать. Если процессы не работают эффективно и продуктивно, действия предпринимаются во многих (но не всех случаях). Процессы постоянно совершенствуются, их результаты соответствуют "лучшим практикам". Формализован порядок анализа первопричин. Присутствует понимание необходимости постоянного совершенствования. Ограниченно применяются передовые технологии, основанные на современной инфраструктуре и модифицированных стандартных инструментах. Все необходимые ИТ-специалисты вовлечены в бизнес-процессы. Управление ИТ превращается в процесс уровня всей организации. Деятельность управления ИТ интегрируется в процесс управления организацией.




  1. Оптимизация (Оптимизируемый). В организации существует углубленное понимание управления ИТ, проблем и решений ИТ, а также перспектив. Обучение и коммуникация поддерживаются на должном уровне, самыми современными средствами. В результате непрерывного улучшения процессы соответствуют моделям зрелости, построенным на основании "лучшей практики". Внедрение этих процедур привело к появлению организаций, людей и процессов, максимально адаптируемых к изменяющимся условиям, а также полностью соответствующих требованиям управления ИТ. Первопричины всех проблем и отклонений тщательно анализируются, по результатам анализа выполняются результативные действия. Информационные технологии интегрированы в бизнес-процессы, полностью их автоматизируют, предоставляя возможность повышать качество и эффективность работы организации.

Модели зрелости предназначены для выбора стратегических и тактических действий по управлению ИТ, а так же для контроля текущего состояния ИТ процессов.

      ^ Модель процессов ME по Cobit 4.1



Рисунок 4 – Модель процесса


Рисунок 5- Мониторинг и оценка эффективности


Рисунок 6 – мониторинг и оценка системы внутреннего контроля



Рисунок 7 – Обеспечение соответствия внешним требованиям



Рисунок 8 – Обеспечение корпоративного управления ИТ

    1. ^ Модель процессов МЕ по ГОСТ Р ИСО/МЭК 9126

В данном разделе указаны шесть характеристик, которые с минимальным дублированием описывают качество программного обеспечения. Данные характеристики образуют основу для дальнейшего уточнения и описания качества программного обеспечения. Руководства описывают использование характеристик качества для оценки качества программного обеспечения.

Настоящий стандарт не определяет подхарактеристики (комплексные показатели) и показатели, а также методы измерения, ранжирования и оценки. Данный стандарт придерживается определения качества по ИСО 8402.

Определения характеристик и соответствующая модель процесса оценки качества, приведенные в настоящем стандарте, применимы тогда, когда определены требования для программной продукции и оценивается ее качество в процессе жизненного цикла.

Эти характеристики могут применяться к любому виду программного обеспечения, включая программы ЭВМ и данные, входящие в программно-технические средства (встроенные программы). Настоящий стандарт предназначен для характеристик, связанных с приобретением, разработкой, эксплуатацией, поддержкой, сопровождением или проверкой программного обеспечения.

Применяются следующие термины.

Оценка (assessment) - действие по применению конкретного задокументированного критерия оценки к конкретному программному модулю, пакету или продукции с целью обусловленной приемки или выпуска программного модуля, пакета или продукции.

Признаки (показатели) (features) - признаки, определяющие свойства программной продукции, которые могут быть отнесены к характеристикам качества. Примечание - Примеры признаков включают длину маршрута, модульность, структуру программы и комментарии.

Программно-аппаратные средства (firmware) - технические средства, содержащие компьютерную программу и данные, которые не могут изменяться средствами пользователя. Компьютерная программа и данные, входящие в программно-аппаратные средства, классифицируются как программное обеспечение; схемы, содержащие компьютерную программу и данные, классифицируются как технические средства.

Уровень качества функционирования (level of performance) - степень, в которой удовлетворяются потребности, представленные конкретным набором значений для характеристик качества.

Измерение (measurement) - действие по применению показателя качества программного обеспечения к конкретной программной продукции.

Качество (quality) -весь объем признаков и характеристик продукции или услуги, который относится к их способности удовлетворять установленным или предполагаемым потребностям (ИСО 8402). Примечание - В сфере контракта потребности определены, тогда как в других сферах предполагаемые потребности должны быть установлены и определены (ИСО 8402, примечание 1).

Ранжирование (рейтинг) (rating) - действие по отнесению измеренного значения к соответствующему уровню ранжирования. Используется 'для определения уровня ранжирования программного обеспечения по конкретной характеристике качества.

Уровень ранжирования (rating level) - диапазон значений в масштабе, позволяющем классифицировать (ранжировать) программное обеспечение в соответствии с установленными или предполагаемыми потребностями. Соответствующие уровни ранжирования могут быть связаны с различными представлениями о качестве, то есть для пользователей, руководителей или разработчиков. Данные уровни называются уровнями ранжирования. Примечание - Данные уровни ранжирования отличны от "классов", определенных ИСО 8402.

Программное обеспечение (software) - программы, процедуры, правила и любая соответствующая документация, относящиеся к работе вычислительной системы.

Программная продукция (software product) - программный объект, предназначенный для поставки пользователю.

Качество программного обеспечения (software quality) - весь объем признаков и характеристик программной продукции, который относится к ее способности удовлетворять установленным или предполагаемым потребностям.

Критерий оценки качества программного обеспечения (software quality assessment criteria) - набор определенных и задокументированных правил и условий, которые используются для решения о приемлемости общего качества конкретной программной продукции. Качество представляется набором установленных уровней, связанных с программной продукцией.

Характеристики качества программного обеспечения (software quality characteristics) - набор свойств (атрибутов) программной продукции, по которым ее качество описывается и оценивается. Характеристики качества программного обеспечения могут быть уточнены на множестве уровней комплексных показателей (подхарактеристик).

Метрика качества программного обеспечения (software quality metric) - количественный Масштаб и метод, которые могут быть использованы для определения значения признака, принятого для конкретной программной продукции.


^ Характеристики качества программного продукта


Качество программного обеспечения может быть оценено следующими характеристиками:


Функциональные возможности (Functionality) Набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности:

Примечания

1 Данный набор атрибутов характеризует то, что программное обеспечение выполняет для удовлетворения потребностей, тогда как другие наборы, главным образом, характеризуют, когда и как это выполняется.

2 В данной характеристике для установленных и предполагаемых потребностей учитывают примечание к определению качества (см. 3.6).


Надежность (Reliability) Набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени.

Примечания

1 Износ или старение программного обеспечения не происходит. Ограничения надежности проявляются из-за ошибок в требованиях, проекте и реализации. Отказы из-за этих ошибок зависят от способа использования программного обеспечения и ранее выбранных версий программ.

2 В определении ИСО 8402 "надежность" - "способность элемента выполнять требуемую функцию". В настоящем стандарте функциональная возможность является только одной из характеристик качества про граммного обеспечения. Поэтому определение надежности расширено до "сохранения своего уровня каче-ства функционирования" вместо "выполнения требуемой функции" (см. также 3.4).


Практичность (Usability) Набор атрибутов, относящихся к объему работ, требуемых для использования и инди-видуальной оценки такого использования определенным или предполагаемым кругом пользователей.

Примечания

1 "Пользователи" могут интерпретироваться как большинство непосредственных пользователей интерактивного программного обеспечения. Круг пользователей может включать операторов, конечных пользователей и косвенных пользователей, на которых влияет данное программное обеспечение или которые зависят от его использования. Практичность должна рассматриваться во всем разнообразии условий эксплуатации пользователем, которые могут влиять на программное обеспечение, включая подготовку к использованию и оценку результатов.

2 Практичность, определенная в данном стандарте как конкретный набор атрибутов программной продукции, отличается от определения с точки зрения эргономики, где рассматриваются как составные части практичности другие характеристики, такие как эффективность и неэффективность.


Эффективность (Efficiences) Набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях.

Примечание - Ресурсы могут включать другие программные продукты, технические средства, материалы (например бумага для печати, гибкие диски) и услуги эксплуатирующего, сопровождающего или обслуживающего персонала.


Сопровождаемость (Maintainability) Набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций).

Примечание - Изменение может включать исправления, усовершенствования или адаптацию программного обеспечения к изменениям в окружающей обстановке, требованиях и условиях функционирования.


Мобильность (Portability) Набор атрибутов, относящихся к способности программного обеспечения быть перенесенным из одного окружения в другое.

Примечание - Окружающая обстановка может включать организационное, техническое или программное окружение.

Детализация


Применяемость

Описанные характеристики применяется для установления требований к качеству программного обеспечения и оценивания (измерения, ранжирования и оценки) программных продуктов, включая:

- определение требований к качеству программной продукции:

- оценивание технических требований к программному обеспечению при контроле за тем, чтобы требования качества были удовлетворены в процессе разработки;

- описание признаков и свойств (атрибутов) внедренного программного обеспечения (например в руководствах пользователя);

- оценивание разработанного программного обеспечения перед его поставкой;

- оценивание программного обеспечения перед приемкой.

Существуют только несколько общепринятых метрик для характеристик, описанных в настоящем стандарте. Организации и группы по стандартизации могут устанавливать свои собственные модели процесса оценивания и методы формирования и проверки метрик, связанных с этими характеристиками, для охвата различных областей применения и стадий жизненного цикла. В тех случаях, когда соответствующие метрики отсутствуют и не могут быть разработаны, иногда пользуются словесными описаниями или "приблизительными методами". При использовании шести характеристик качества в целях описания и оценивания также необходимо установить уровни ранжирования и критерии конкретно для данной организации или для данного применения, или для того и другого.

Должны быть установлены метрики, уровни ранжирования и критерии применительно к оценке качества, когда обмениваются результатами оценивания.

Хотя отсутствует общепринятая система классификации программного обеспечения, имеется несколько общепринятых классов программного обеспечения. Важность каждой характеристики качества меняется в зависимости от класса программного обеспечения.

Например, надежность наиболее важна для программного обеспечения боевых критичных систем, эффективность наиболее важна для программного обеспечения критичных по времени систем реального времени, а практичность наиболее важна для программного обеспечения диалога конечного пользователя.

Важность каждой характеристики качества также меняется в зависимости от принятых точек зрения.

Представления о качестве программного обеспечения. Имеется несколько представлений о качестве, некоторые из которых обсуждаются ниже.


Представление пользователя - Определение качества по ИСО 8402 отражает представление пользователя так же, как и характеристики, определенные в настоящем стандарте.


Представление разработчика

Процесс создания требует от пользователя и разработчика использования одних и тех же характеристик качества программного обеспечения, так как они применяются для установления требований и приемки. Когда разрабатывается программное обеспечение для продажи, в требованиях качества должны быть отражены предполагаемые потребности. Так как разработчики отвечают за создание программного обеспечения, которое должно удовлетворять требованиям качества, они заинтересованы в качестве промежуточной продукции так же, как и в качестве конечной продукции. Для того, чтобы оценить качество промежуточной продукции на каждой фазе цикла разработки, разработчики должны использовать различные метрики для одних и тех же характеристик, потому что одни и те же метрики неприменимы для всех фаз жизненного цикла. Например, пользователь понимает эффективность в терминах времени реакции, тогда как разработчик использует в проектной спецификации термины длины маршрута и времени ожидания и доступа. Метрики, применяемые для внешнего интерфейса продукции, заменимы метриками, применяемыми для ее структуры. Представление пользователя должно также включать представление о характеристиках качества, требуемое тем, кто сопровождает программное обеспечение.


Представление руководителя Руководитель может быть более заинтересован в общем качестве, чем в конкретной характеристике качества, и по этой причине будет нуждаться в определении важности значений, отражающих коммерческие требования для индивидуальных характеристик. Руководителю может также потребоваться сопоставление повышения качества с критериями управляемости, такими как плановая задержка или перерасход стоимости, потому что он желает оптимизировать качество в пределах ограниченной стоимости, трудовых ресурсов и установленного времени.


Модель процесса оценивания.

Схема 1 отражает основные этапы, требуемые для оценивания качества программного обеспечения, начиная с характеристик качества, определенных в настоящем стандарте. Ряд детальных процедур, таких как анализ и проверка метрик. Процесс состоит из трех стадий: установление (определение) требований к качеству, подготовка к оцениванию и процедура оценивания. Данный процесс может применяться в любой подходящей фазе жизненного цикла для каждого компонента программной продукции,





Схема 1 – модель процесса по ГОСТ 9623


Установление требований к качеству.

Целью начальной стадии является установление требований в терминах характеристик качества и возможных комплексных показателей (подхарактеристик). Требования выражают потребности внешнего окружения для рассматриваемой программной продукции и должны быть определены до начала разработки. Так как программная продукция разделяется на основные компоненты, требования для продукции в целом могут отличаться от требований для отдельных компонентов.


Подготовка к оцениванию.

Целью второй стадии является подготовка основы для оценивания.

Выбор метрик (показателей) качества Способ, которым определялись характеристики качества, не допускает их непосредственного измерения. Существует потребность в установлении метрик (показателей), которые соотносятся с характеристиками программной продукции. Каждый количественный признак и каждое количественно оцениваемое взаимодействие программного обеспечения с его окружением, которые соотносятся с характеристикой, могут быть приняты в качестве метрики (показателя). Метрики могут по-разному зависеть от окружения и фаз процесса разработки, в которых они используются. Метрики, используемые в процессе разработки, должны быть соотнесены с соответствующими метриками пользователя, потому что метрики из представления пользователя являются решающими.

Определение уровней ранжирования Количественные признаки могут быть измерены, используя метрики качества. Результат, т. е. измеренное значение, отображается в масштабе. Данное значение не показывает уровень удовлетворения требований. Для этой цели данные шкалы должны быть разделены на диапазоны, соответствующие различным степеням удовлетворения требований (см. схему 2). Так как качество относится к конкретным потребностям, общие уровни ранжирования невозможны. Они должны определяться для каждого конкретного оценивания.


Схема 2 – Уровни ранжирования



Определение критерия оценки Для определения качества продукции результаты оценивания различных характеристик должны быть подытожены. Оценщик должен подготовить для этого процедуры, используя, например, таблицы решений или средние взвешенные. Процедура обычно включает другие аспекты, такие как время и стоимость, которые способствуют оценке качества программной продукции в конкретных условиях эксплуатации.

Процедура оценивания.

Последняя, стадия модели процесса оценивания уточняется по трем этапам, называемым "измерение", "ранжирование" и "оценка".

Измерение

Для измерения выбранные метрики применяются к программной продукции. Результатом являются значения в масштабах метрик.

Ранжирование

На этапе ранжирования устанавливается уровень ранжирования для измеренного значения (см. схему 2).

Оценка является последним этапом процесса оценивания программного обеспечения, на котором обобщается множество установленных уровней. Результатом является заключение о качестве программной продукции. Затем обобщенное качество сравнивается с другими факторами, такими, как время и стоимость. Окончательное решение руководства принимается на основе критерия управляемости. Результатом является решение руководства по приемке или отбраковке, или по выпуску или невыпуску программной продукции.





страница4/9
Дата конвертации24.10.2013
Размер2,43 Mb.
ТипВопросы к экзамену
1   2   3   4   5   6   7   8   9
Разместите кнопку на своём сайте или блоге:
rud.exdat.com


База данных защищена авторским правом ©exdat 2000-2012
При копировании материала укажите ссылку
обратиться к администрации
Документы