Информационная система университета (стр. 14 из 16)

Если обозначить через N неизвестное количество ошибок, присутствовавших в программе до начала тестирования, то можно эффективность тестирования каждой из групп определить как:

; . (61)

Предполагая, что возможность обнаружения всех ошибок одинакова для обеих групп, можно допустить, что, если первая группа обнаружила определенное количество всех ошибок, она могла бы определить то же количество любого случайным образом выбранного подмножества. В частности, можно допустить, что:

. (62)

Из формулы (25) N₂ = Е₂N, подставив в (26), получим:

, (63)

или

. (64)

Значение N12 известно, а E₁ и E₂ можно определить как N₁₂/N₁ и N₁₂/N₁. Развивая эту модель и опираясь на предположение, что обе группы, проводящие тестирование, имеют равную вероятность обнаружения "общих" ошибок, ее можно рассчитать по следующей формуле:

, (65)

где Р(N₁₂) — вероятность обнаружения N₁₂ "общих" ошибок тестирования программы двумя независимыми группами.

Модель Коркорэна. Модель Коркорэна относится к статическим моделям надежности ПС, так как в ней не используются параметры времени тестирования и учитывается только результат N испытаний, в которых выявлено N1 ошибок i-го типа. Модель использует изменяющиеся вероятности отказов для различных типов сшибок.

В отличие от двух рассмотренных выше статических моделей, где оценивалось количество первоначальных ошибок в программе, а также их количество, оставшееся после некоторого периода тестирования, по модели Коркорэна оценивается вероятность безотказного выполнения программы на момент оценки.

, (66)

где N₀ — число безотказных выполнений программы;

N — общее число прогонов;

К — априориорно известное число типов

a_i, если N_i>0;

Y_i= (67)

0, если N_i = 0;

a_i — вероятность выявления при тестировании ошибки 1-го типа.

В этой модели вероятность a_i, должна оцениваться на основании априорной информации или данных предшествующего периода функционирования однотипных программных средств. Наиболее часто встречающиеся ошибки и вероятности их выявлений при тестировании ПС прикладного назначения приводятся в таблице 13 (пример).

Таблица 13 - Ошибки программы по категориям и вероятности их появления

Тип ошибки	Вероятность появления ошибки
Ошибки вычислений	0,09
Логические ошибки	0,26
Ошибки ввода-вывода	0,16
Ошибки манипулирования данными	0,18
Ошибки сопряжения	0,17
Ошибки определения данных	0,08
Ошибки в БД	0,06

Модель Нельсона. Данная модель была создана в фирме TRW (аэрокосмическая компания США), при расчете надежности ПС учитывает вероятность выбора определенного тестового набора для очередного выполнения программы.

Предполагается, что область данных, необходимых для выполнения тестирования программного средства, разделяется на К взаимоисключающих подобластей Z_i, i= 1,2, .... k. Пусть Р_i - вероятность того, что набор данных Z_i будет выбран для очередного выполнения программы. Предполагая, что к моменту оценки надежности было выполнено N_i прогонов программы на Z_i наборе данных и из них n_i, количество прогонов закончилось отказом, надежность ПС в этом случае равна:

. (68)

На практике вероятность выбора очередного набора данных для прогона (Р_i) определяется путем разбиения всего множества значений входных данных на подмножества и нахождения вероятностей того, что выбранный для очередного прогона набор данных будет принадлежать конкретному подмножеству. Определение этих вероятностей основано на эмпирической оценке вероятности появления тех или иных входов в реальных условиях функционирования.

10.4. Эмпирические модели надежности

Эмпирические модели в основном базируются на анализе структурных особенностей программного средства (или программы). Как указывалось ранее, эмпирические модели часто не дают конечных результатов показателей надежности, однако их использование на этапе проектирования ПС полезно для прогнозирования требующихся ресурсов тестирования, уточнения плановых сроков завершения проекта и т.д.

Модель сложности. В литературе неоднократно подчеркивается тесная взаимосвязь между сложностью и надежностью ПС. Если придерживаться упрощенного понимания сложности ПС, то она может быть описана такими характеристиками, как размер ПС (количество программных модулей), количество и сложность межмодульных интерфейсов.

Под программным модулем в данном случае следует понимать программную единицу, выполняющую определенную функцию (ввод, вывод, вычисление и т.д.) и взаимосвязанную с другими модулями ПС.

Некоторые базовые понятия для определения характеристик сложности даны в таблице 14.

Сложность модуля ПС может быть описана, если рассматривать структуру программы как последовательность узлов, дуг и петель в виде направленного графа.

Таблица 14 - Определение характеристик сложности

Связь	Для модуля	Для ПС (многомодульная программа)
Узел	Точка ветвления модуля	Модуль, имеющий более одного выхода
Дуга	Последовательные участки модуля	Последовательность нескольких модулей, имеющих один выход
Петля	Циклические участки модуля	Циклические участки, состоящие из нескольких модулей

В качестве структурных характеристик модуля ПС используются:

1) отношение действительного числа дуг к максимально возможному числу дуг, получаемому искусственным соединением каждого узла с любым другим узлом дугой;

2) отношение числа узлов к числу дуг;

3) отношение числа петель к общему числу дуг.

Для сложных модулей и для больших многомодульных программ составляется имитационная модель, программа которой "засоряется" ошибками и тестируется по случайным входам. Оценка надежности осуществляется по модели Миллса.

При проведении тестирования известна структура программы, имитирующей действия основной, но не известен конкретный путь, который будет выполняться при вводе определенного тестового входа. Кроме того, выбор очередного тестового набора из множества тест-входов случаен, т.е. в процессе тестирования не обосновывается выбор очередного тестового входа. Эти условия вполне соответствуют реальным условиям тестирования больших программ.

Полученные данные анализируются, проводится расчет показателей надежности по модели Миллса (или любой другой из описанных выше), и считается, что реальное ПС, выполняющее аналогичные функции, с подобными характеристиками и в реальных условиях должно вести себя аналогичным или похожим образом.

Преимущества оценки показателей надежности по имитационной модели, создаваемой на основе анализа структуры будущего реального ПС, заключаются в следующем:

- модель позволяет на этапе проектирования ПС принимать оптимальные проектные решения, опираясь на характеристики ошибок, оцениваемые с помощью имитационной модели;

- позволяет прогнозировать требуемые ресурсы тестирования;

- дает возможность определить меру сложности программ и предсказать возможное число ошибок и т.д.

К недостаткам можно отнести высокую стоимость метода, так как он требует дополнительных затрат на составление имитационной модели, и приблизительный характер получаемых показателей.

Модель, определяющая время доводки программ. Эта модель используется для ПС, которые имеют иерархическую структуру, т.е. ПС как система может содержать подсистемы, которые состоят из компонентов, а те, в свою очередь, состоят из V модулей. Таким образом, ПС может иметь V различных уровней композиции. На любом уровне иерархии возможна взаимная зависимость между любыми парами объектов системы. Все взаимозависимости рассматриваются в терминах зависимости между парами модулей.

Анализ модульных связей строится на том, что каждая пара модулей имеет конечную (возможно, нулевую) вероятность, что изменения в одном модуле вызовут изменения в другом модуле.

Пусть ПС состоит из n модулей.

Р_ij есть вероятность того, что изменения в модуле вызовут необходимость внесения изменений в модуль;.

Для ПС, состоящего из n модулей, будет n^e таких парных отношений.

Р - матрица размерностью n * т с элементами Р_ij. Допустим, что при тестовой сборке ПС в i-м модуле выявлено А_i, ошибок, или в модуле i должно быть сделано А_i изменений.

Обозначим через А вектор размерностью n с элементами А_i,. Тогда А - общее число изменений, требуемых при интеграции модулей в систему на нулевом шаге.

Общее число изменений на первом шаге, требуемых в результате изменений, сделанных на нулевом шаге, будет равно А * Р.