Вопросы к экзамену «Оценка эффективности программных продуктов» icon

Вопросы к экзамену «Оценка эффективности программных продуктов»



Смотрите также:
1   2   3   4   5   6   7   8   9

^ Комплексные показатели качества


Рассмотрим качественную модель, которая определяет характеристики из настоящего стандарта в терминах комплексных показателей (подхарактеристик). Это является необходимым этапом в определении качества с использованием модели процесса оценивания качества, описанной в настоящем стандарте. Последующие соответствующие документы будут посвящены определению комплексных показателей. Существует ряд подобных моделей качества, описанных в литературе, и применяемых на практике. Ключевым моментом в данном вопросе должна быть модель качества, по крайней мере, на уровне комплексных показателей программной продукции, необязательно в точном соответствии с формой, описанной в данном приложении.

^ Определение комплексных показателей качества


1 Функциональные возможности (Functionality)

1.1 Пригодность (Suitability)

Атрибут программного обеспечения, относящийся к наличию и соответствию набора функций конкретным задачам. Примечание - Примерами соответствия является состав функций, ориентированных на задачу, из входящих в него подфункций и объемы таблиц.

1.2 Правильность (Accuracy)

Атрибуты программного обеспечения, относящиеся к обеспечению правильности или соответствия результатов или эффектов. Примечание - Например, она включает необходимую степень точности вычисленных значений.

1.3 Способность к взаимодействию (Interoperability)

Атрибуты программного обеспечения, относящиеся к способности его взаимодействовать с конкретными системами.

Примечание - Способность к взаимодействию используется вместо совместимости для того, чтобы избежать возможной путаницы с взаимозаменяемостью (см. А.2.6.4).

1.4 Согласованность (Compliance)

Атрибуты программного обеспечения, которые заставляют программу придерживаться соответствующих стандартов или соглашений, или положений законов, или подобных рекомендаций.

1.5 Защищенность (Security)

Атрибуты программного обеспечения, относящиеся к его способности предотвращать несанкционированный доступ, случайный или преднамеренный, к программам и данным.


2 Надежность (Reliability)


2.1 Стабильность (Maturity)

Атрибуты программного обеспечения, относящиеся к частоте отказов при ошибках в программном обеспечении.

2.2 Устойчивость к ошибке (Fault tolerance)

Атрибуты программного обеспечения, относящиеся к его способности поддерживать определенный уровень качества функционирования в случаях программных ошибок или нарушения определенного интерфейса. Примечание - Определенный уровень качества функционирования включает возможность отказобезопасности.

2.3 Восстанавливаемость (Recoverability)

Атрибуты программного обеспечения, относящиеся к его возможности восстанавливать уровень качества функционирования и восстанавливать данные, непосредственно повреж-денные в случае отказа, а также к времени и усилиям, необходимым для этого.


3 Практичность (Usability)

3.1 Понятность (Understandability)

Атрибуты программного обеспечения, относящиеся к усилиям пользователя по пониманию общей логической концепции и ее применимости.

3.2 Обучаемость (Learnability)

Атрибуты программного обеспечения, относящиеся к усилиям пользователя по обучению его применению (например оперативному управлению, вводу, выводу).

3.3 Простота использования (Operability)

Атрибуты программного обеспечения, относящиеся к усилиям пользователя но эксплуатации и оперативному управлению.


4 Эффективность (Efficiency)

4.1 Характер изменения во времени (Time behavior)

Атрибуты программного обеспечения, относящиеся к временам отклика и обработки и к скоростям выполнения его функций.

4.2 Характер изменения ресурсов (Resource behavior)

Атрибуты программного обеспечения, относящиеся к объему используемых ресурсов и продолжительности такого использования при выполнении функции.


5 Сопровождаемость (Maintainability)

5.1 Анализируемость (Analysability)

Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для диагностики недостатков или случаев отказов или определения составных частей для модернизации.

5.2 Изменяемость (Changeability)

Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для модификации, устранению отказа или для изменения условий эксплуатации.

5.3 Устойчивость (Stability)

Атрибуты программного обеспечения, относящиеся к риску от непредвиденных эффектов модификации.

5.4 Тестируемость (Testability)

Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для проверки модифицированного программного обеспечения. Примечание - Значения этой подхарактеристики могут быть изменены рассматриваемыми модификациями.


6 Мобильность (Portability)

6.1 Адаптируемость (Adaptability)

Атрибуты программного обеспечения, относящиеся к удобству его адаптации к различным конкретным условиям эксплуатации, без применения других действий или способов, кроме тех, что предназначены для этого в рассматриваемом программное обеспечении.

6.2 Простота внедрения (Installability)

Атрибуты программного обеспечения, относящиеся к усилиям, необходимым для внедрения программного обеспечения в конкретное окружение.

6.3 Соответствие (Conformance)

Атрибуты программного обеспечения, которые заставляют программу подчиняться стандартам или соглашениям, относящимся к мобильности.

6.4 Взаимозаменяемость (Replaceabilily)

Атрибуты программного обеспечения, относящиеся к простоте и трудоемкости его применения вместо другого конкретного программного средства в среде этого средства.


Взаимозаменяемость используется вместо совместимости для того, чтобы избежать возможной путаницы со способностью к взаимодействию (см. А.2.1.3). Взаимозаменяемость с конкретным программным средством не предполагает, что данное средство заменимо рассматриваемым программным средством. Взаимозаменяемость может включать атрибуты простоты внедрения и адаптируемости. Понятие было введено в качестве отдельной подхарактеристики из-за его важности.



    1. ^ Экономическая эффективность

Положения данного раздела соответствуют ГОСТ 24.702-85 «Эффективность автоматизированных систем управления. Основные положения» и распространяются на автоматизированные системы управления (АСУ) всех видов и назначений и их части, вводимые в эксплуатацию для всех уровней управления, кроме общегосударственного, и устанавливает основные положе­ния по определению эффективности АСУ и принципы оценки экономической эффективности АСУ.

Для каждой конкретной АСУ цель ее создания состоит в обеспечении наиболее полного использования потенциальных возможностей объекта управления для решения поставленных перед ним задач.

Эффективность АСУ определяют сопоставлением резуль­татов от функционирования АСУ и затрат всех видов ресурсов, необходимых для ее создания и развития.

Критерий эффективности АСУ определяют на множестве (системе) показателей, каждый из которых описывает одну из сторон рассматриваемой системы. В зависимости от использу­емого математического аппарата критерий может быть выражен в виде целевой функции или порядковой меры, устанавливающей упорядоченную последовательность сочетаний показателей.

При определении результатов от функционирования АСУ задают универсальную систему обобщенных показателей, таких, как оперативность (своевременность), устойчивость, качество управления и др. Используемые показатели должны быть раз­вернуты применительно к характеристикам конкретной АСУ (например:    оперативность-вероятностно-временные   харак­теристики элементов   процесса управления;  устойчивость-показатели надежности, помехозащищенности и т. п.).

К показателям затрат ресурсов относят материальные, людские, финансовые, временные и др. затраты.

Оценку эффективности АСУ проводят при:

формировании требований, предъявляемых к АСУ;

анализе создаваемых и функционирующих АСУ на соответст­вие заданным требованиям;

выборе наилучшего варианта создания, функционирования и развития АСУ;

синтезе (формировании) наиболее целесообразного варианта построения АСУ по критерию «эффективность-затраты».

Целесообразные варианты построения АСУ выбирают пу­тем балансирования показателей приращения эффективности^ Э, получаемой за счет создания или совершенствования АСУ, и затрат Q.

Математически эту задачу формируют в виде:

max Э при Q = const

или в виде обратной задачи:

min Q при Э = const.

В тех случаях, когда приращение эффекта представлено в денежном выражении, определяют экономическую эффективность АСУ.

      1. ^ Принципы оценки экономической эффективности

Оценку (определение) экономической эффективности АСУ проводят для:

анализа и обоснования целесообразности создания функцио­нирования и развития АСУ;

установления основных направлений применения АСУ;

выбора наиболее экономически эффективного варианта раз­работки и внедрения АСУ;

отражения показателей экономической эффективности АСУ в нормах, нормативах и планах предприятий, объединений, ми­нистерств;

формирования соответствующих показателей статистической отчетности;

определения размеров отчислений в фонды экономического стимулирования за создание АСУ.

Выбор наиболее экономически эффективного варианта создания АСУ проводят по максимуму народнохозяйственного экономического эффекта, представляющего собой разность между результатами деятельности и затратами за установленный для данного мероприятия расчетный период, с учетом народно­хозяйственных экономических нормативов и других (социальных, экологических и пр.) установленных ограничений. В качестве начала расчетного периода, в пределах которого учитывают затраты, принимают год начала разработки АСУ. Конец расчет­ного периода определяют в соответствии со сроком морального старения технических средств и проектных решений АСУ.

Интегральные  затраты З на создание АСУ определяют по формуле

,

где Тt  -длительность расчетного периода;

Иt -текущие издержки (себестоимость), включая затраты на эксплуатацию АСУ в году t;

Кt-все виды единовременных затрат на создание АСУ в году I;

Лt-остаточная стоимость выбывающих в год t основных фондов (при невозможности их использования - их ликвидационная стоимость);

-коэффициент, используемый для приведения разновре­менных результатов и затрат к базисному году.

Экономический эффект ^ Э при тождественности конечных результатов по сравниваемым вариан­там определяют по формуле

Э=З1-З2,

где З1, З2- общие интегральные затраты предприятия в производстве и потреблении по базовому и новому вариантам на весь объем производимой продукции (работы) соответственно.

При нетождественности сравниваемых вариантов по результатам, которые могут быть приведены к стоимостной форме, изменение этих результатов должно быть дополнительно учтено в расчетах экономического эф­фекта в виде дополнительных экономических результатов.

За базу сравнения при определении экономической эф­фективности АСУ принимают:

  • при расчете экономического эффекта на этапе выбора наилучшего варианта – технико-экономические показатели наиболее прогрессивных способов производства про­дукции (работ) в действующем производстве или по имеющимся проектам;

  • при расчете показателей годовой экономической эффектив­ности – технико-экономические показатели заменяемых способов производства продукции (работ). При этом за базовый вариант принимают:

  • плановые показатели производственно-хозяйственной деятель­ности объекта внедрения (без учета результатов функционирова­ния АСУ) на год, следующий за годом ввода АСУ в промышлен­ную эксплуатацию, если внедрение происходит на действующем объекте. В случае отсутствия названных плановых данных, принимаемых в качестве базового варианта, показатели пос­леднего года перед внедрением АСУ приводят на год расчета с учетом их изменения за счет текущего совершенствования деятельности объекта применения в условиях отсутствия АСУ;

  • проектные технико-экономические показатели, если АСУ создают на строящемся объекте, в проекте которого не было предусмотрено ее применение;

  • фактические показатели объекта-аналога с лучшими показа­телями хозяйственной деятельности и наименьшей величиной потерь и упущений, если мероприятия по внедрению АСУ раз­рабатывают для проектируемого объекта.

Если заменяемый вариант исчерпал свои ресурсные возмож­ности по совершенствованию объекта управления, то за базо­вый вариант принимают технико-экономические показатели других (помимо АСУ) технологически равноценных направлений достиже­ния цели.

Обязательным условием определения экономической эф­фективности АСУ является следующая сопоставимость всех показателей:

  • во времени;

  • по ценам и тарифным ставкам заработной платы;

  • по элементам затрат;

  • по объемам производства и номенклатуре выпускаемой про­дукции или услуг;

  • по сокращению ручного труда за счет автоматизации;

  • по методам исчисления стоимостных показателей.

Оптовые цены, тарифы и ставки заработной платы определяют на основе действующих на момент расчета.

Источниками экономической эффективности являются сокращение потерь и реализация резервов улучшения деятель­ности объекта в результате создания, функционирования и раз­вития АСУ.

Под факторами экономической эффективности АСУ по­нимают средства реализации источников эффективности. К ним относят совершенствование перспективного, годового, текущего планирования и оперативного регулирования, совершенствование управления технологическими процессами, повышение производительности труда работников предприятия.

В целях планирования, учета, отчетности и материального стимулирования мероприятий по созданию АСУ используют показатели годовой экономической эффективности.

Расчеты экономической эффективности АСУ выполняют на стадиях, определенных соответствующими государственными стандартами, и утверждают на предприятии (в организации) заказчика АСУ.

      1. Основные показатели экономической эффективности

3.1. При оценке экономической эффективности АСУ используют обобщающие и частные показатели.

3.1.1. Основные обобщающие показатели экономической эф­фективности АСУ следующие:

годовой экономический эффект;

расчетный коэффициент эффективности капитальных затрат на разработку и внедрение АСУ;

срок окупаемости капитальных затрат на разработку и внедре­ние АСУ.

3.1.2. К основным частным показателям, характеризующим экономическую эффективность АСУ, относят:

годовую экономию (годовой прирост прибыли);

снижение издержек производственно-хозяйственной деятель­ности на объекте управления в результате разработки и внедре­ния АСУ;

повышение производительности труда;

экономию по видам ресурсов;

высвобождение работающих;

повышение качества выпускаемой продукции.

3.2. Годовой экономический эффект от разработки и внедрения АСУ, определяемый как разность между расчетной годовой экономией и расчетными приведенными затратами на разработку и внедрение АСУ, представляет собой расчетный годовой экономи­ческий эффект.

3.3. Годовой экономический эффект от разработки и внедре­ния АСУ, определяемый как разность между годовой экономией (годовым приростом прибыли) и приведенными единовременными затратами на разработку и внедрение АСУ, утвержденный в уста­новленном порядке и зафиксированный в акте приемки в про­мышленную эксплуатацию, подтвержденный заказчиком (пользователем системы) на основе фактических данных опытной эксплуатации, представляет собой фактический годовой эконо­мический эффект.

3.4. Расчетный коэффициент экономической эффективности капитальных затрат на разработку и внедрение АСУ представ­ляет собой отношение расчетной годовой экономии (годового прироста прибыли) к капитальным затратам на разработку и внедрение АСУ.

3.5. Срок окупаемости представляет собой отношение капи­тальных затрат на разработку и внедрение АСУ к годовой эконо­мии (к годовому приросту прибыли).

3.6. Годовая экономия (годовой прирост прибыли) от раз­работки и внедрения АСУ включает в себя:

годовой прирост прибыли, вызванный увеличением объема хозяйственной деятельности (производства, услуг или работ) при разработке и внедрении АСУ;

годовой прирост прибыли за счет сокращения сроков строитель­ства, а также ускорения освоения новой продукции (услуг) в результате разработки и внедрения АСУ;

экономию, текущих затрат на производство продукции, услуг или работ в условиях функционирования АСУ;

экономию прочих затрат, не входящих в себестоимость производства или работ, обеспечиваемую функционированием АСУ как непосредственно на объекте внедрения, так и в сопряженных сферах и отраслях.

3.7. Единовременные затраты на разработку и внедрение АСУ включают в себя:

затраты на разработку АСУ (предпроизводственные затраты);

капитальные затраты на приобретение (изготовление), тран­спортирование, монтаж и наладку вычислительной техники, пери­ферийных устройств, средств связи, программных средств, вспомогательного оборудования, оргтехники, производственно-хозяйственного инвентаря;

затраты на строительство (реконструкцию) зданий, сооруже­ний, необходимых для функционирования АСУ;

изменение оборотных средств в связи с разработкой и внедре­нием АСУ;

затраты на подготовку (переподготовку) кадров.

Если автоматизированные системы управления или от­дельные их элементы поставляют как продукцию производственно-технического назначения, то затраты на их разработку и приобретение определяют, исходя из действующих прейскурантных и договорных цен.

    1. ^ Система показателей эффективности и результативности


Оценка эффективности является частью управления сферой ИТ. Оценка эффективности рассматривается в COBIT и включает в себя постановку и контроль целей (достижение которых поддается оценке), которые определяют результаты ИТ процессов и путь достижения этих результатов (потенциал процесса и эффективность).

Для оценки эффективности выделяют 5 ключевых областей управления ИТ: соответствие стратегии, полезность, управление ресурсами, управление рисками, оценка эффективности

  • Соответствие стратегии делает акцент на связи между планами бизнеса и ИТ; выявлении, поддержке и контроле за ценностным предложением ИТ; а также на соответствии ИТ и бизнес операций.

  • Полезность представляет собой реализацию ценностного предложения, контроль за тем, чтобы ИТ обеспечивали определенные стратегией преимущества, сосредоточение на оптимизации затрат и подтверждение подлинной ценности ИТ.

  • Управление ресурсами посвящено вопросам, связанным с управлением критичными ИТ ресурсами, а именно, оптимизацией инвестиций и должному руководству приложениями, информацией, инфраструктурой и персоналом. Ключевые вопросы касаются оптимизации знаний и инфраструктуры.

  • Управление рисками требует осведомленности высшего руководства в области рисков, четкого понимания корпоративного подхода в их отношении, соответствия требованиям прозрачности в отношении существенных рисков, включения функции управления рисками в практику организации.

  • Оценка эффективности представляет собой контроль за реализацией стратегии, результатами проектов, использованием ресурсов, эффективностью процессов и сервисным обслуживанием. Для этого применяются, в частности, системы сбалансированных показателей, которые преобразуют стратегию в последовательность действий, результаты которых измеряются иными, по сравнению с бухгалтерским учетом, методами.

В приложении E выведен список соответствия процессов и ключевых областей управления. Для отдельно взятого процесса область может быть приоритетной, второстепенной или незначимой. Матрицу можно использовать для отбора значимых процессов при оптимизации работы той или иной области управления. С другой стороны, руководитель может ориентироваться на данную таблицу при оценки процессов соответствия моделям зрелость.

В приложении D, о котором говорилось ранее, приведена значимость критериев оценки информации в каждом процессе. Так, в процессе «Разработка стратегического плана развития ИТ» значимыми являются параметры «Результативность» и «Эффективность». При этом первый критерий является приоритетным, а второй второстепенным. Матрица «Критерии оценки информации в процессах» определяет критерии информации на которые нужно ориентироваться при оценке выбранного процесса.

Другим фактором для оценки модели зрелости являются показатели результативности (KGI) и показатели эффективности (KPI).

Показатель результативности говорит о том, достигнуты ли определенные цели. Эти показатели могут быть измерены только после совершения факта и, поэтому, называются «индикаторами задержки».

Показатели эффективности говорит о том, вероятно ли вообще достижение цели. Эти показатели могут быть измерены до получения результата и, поэтому, называются «индикаторами опережения».

Показатели KPI и KGI можно разделить на три уровня: уровень бизнес целей, уровень ИТ процесса, уровень действий. На первом уровне показатели эффективности ИТ определяют, что является вкладом ИТ в достижение бизнес целей и как это измерить. На втором уровне показатели эффективности ИТ процесса демонстрируют, что является вкладом ИТ процесса в достижение ИТ целей и как это измерить. На последнем уровне показатель эффективности отдельных видов деятельности (действий) определяет что должно произойти внутри ИТ процесса для достижения требуемой эффективности и как это измерить. Показатели для всех уровней и процессов представлены в таблице 17.

Для оценки выбранных процессов используются критерии эффективности и результативности. В приложении F заявлены все показатели оценки представленные в CobiT, а так же даны меры их измерения и желаемые результаты. По способам расчеты критерии можно сгруппировать в несколько типов

    1. Тип «Доля» (%). Доля представляет собой отношение количества измеряемого атрибута, указанного в наименовании критерия, и общего количества данного свойства. Атрибутами могут выступать инвестиции, денеги, рабочие часы или дни, число сотрудников, заинтересованные стороны, должности, проекты, простои и др. Вычисленное значение умножается на сто, таким образом получается процентное выражение показателя.

    2. Тип «Число» (шт, денежные единицы, часы/дни/недели). Количественный показатель, который определяет простым подсчетом необходимого атрибута. Например, число обращений, число подразделений. Иногда такие показатели так же могут быть измерены в процентах по принципу вычисления «Долей».

    3. Тип «Оценка». Это показатели, для которых единицами измерения выступаю баллы от 0 до 5. Принцип подсчета таких показателей взят по аналогии с моделями зрелости. Каждому из баллов соответствует значения, представленные в таблице 8.


Таблица 17 – Значение оценки при измерении коэффициента в баллах от 0 до 5

нет данных

Несуществующий

очень низкая

Начальный

низкая

Интуитивный

средняя

Определенный

выше среднего

Управляемый и измеряемый

высокая

Оптимизированный




страница5/9
Дата конвертации24.10.2013
Размер2,43 Mb.
ТипВопросы к экзамену
1   2   3   4   5   6   7   8   9
Разместите кнопку на своём сайте или блоге:
rud.exdat.com


База данных защищена авторским правом ©exdat 2000-2012
При копировании материала укажите ссылку
обратиться к администрации
Документы