Методы организации сложных экспертиз компьютерных систем (стр. 3 из 8)
1.3 Тест ICOMP 2.0 для оценки эффективности микропроцессоров INTEL
Корпорация Intel разработала тест iCOMP, ранжирующий по эффективности микропроцессоры различных семейств Intel-подобной архитектуры.
Тест iCOMP ориентирован только на выбор микропроцессоров для ПЭВМ. Тест не может служить интегральным показателем качества любых типов микропроцессоров, ПЭВМ или рабочих станций в целом, так как на общую эффективность влияют различия в аппаратных средствах и конфигурации программного обеспечения.
Со временем тест iCOMP был модифицирован и назван iCOMP 2.0. В нем отражены основные тенденции в формировании требований к оценке микропроцессоров: учет современных профилей прикладных программ, определяемых как соотношение времени выполнения регистровых операций ЦПУ, обмена с памятью и ввода-вывода; переход на 32-разрядные операционные системы и прикладные программы, включая Windows 95, NT, OS/2 и UNIX; быстрое увеличение объема мультимедийных, сетевых средств и средств обработки трехмерной графики.
Уникальные для основных прикладных программ смеси операций, определяющие их профили, показаны на рис. 3.1.
Оценка процессоров производится по взвешенному времени выполнения тестовой смеси, нормированному по эффективности базового процессора, в соответствии с формулой
где BMi- время выполненияi-го теста;
Рi- весi-го теста;
Base_BMi - эффективность базового процессора на i-м тесте.
Из приведенной формулы следует, что индекс iCOMP 2.0 вычисляется как мультипликативная свертка времени работы процессора на каждом из эталонных тестов смеси.
Рис. 3.1 Профили типовых прикладных программ
Состав тестовой смеси выбран так, чтобы охватить различные категории прикладных программ и объемы загрузки процессора. Перечень категорий прикладных программ, состав тестовой смеси (BMi) и веса тестов (Pi), используемые для расчета индекса iCOMP 2.0 (табл. 3.3), определены исходя из анализа рыночного спроса программ различного типа.
Таблица 3.3 Категории программ и веса тестов iCOMP 2.0
| Категория программ | Состав тестовой смеси (ВМi) | Вес тестов |
| Инженерные программы типа Autocad | Norton S132 | 15 |
| Программы типа Microsoft Office | CPUmark32 | 40 |
| Программы, оперирующие данными целого типа | SPECint_base95 | 20 |
| Программы, оперирующие данными с плавающей точкой | SPECfp_base95 | 5 |
| Программымультимедиа | Intel Media Benchmark | 20 |
За базовый процессор принят Pentium- 120МГц, имеющий оценку, равную 100 ед.
Эффективность базового процессора (Base_BMi), определенная по различным тестам, представлена ниже.
Перечень микропроцессоров, отранжированных по индексу iCOMP 2.0, приведен ниже.
Оценки, основанные на iCOMP 2.0, не могут сравниваться с оценками, основанными на iCOMP, так как они получены из различного набораэталонных тестов с различными весами и нормированы на различный базовый процессор.
В тесте iCOMP за базовый процессор принят процессор Intel486SX, 25МГц.
1.4 МЕТОДИКА AIM
Сравнение и оценка производительности вычислительных систем применительно к конкретному приложению и планируемому использованию проводятся по методикам независимой компании AIMTechnology, основанной в 1981 г. Предлагаемые AIMTechnology методики и тестовые смеси ориентированы на получение интегральных оценок по всем компонентам UNIX-систем в многопользовательском и многозадачном режимах. Разработанные методики позволяют получить более комплексную оценку тестируемой архитектуры, чем тесты SPEC и iCOMP 2.0. Результаты тестовых испытаний систем можно получить на сервере www.ideas.com.au/bench/aim/aim.htm.
В методике AIM при проверке учитываются следующие критерии:
• пиковая производительность (AIMPerformanceRating) -максимальная производительность в режиме наиболее оптимального использования центрального процессора, процессора работы с вещественными числами и кэш-памяти;
• максимальная нагрузка (MaximumUserLoad) - максимально возможное число заданий при работе наибольшего числа пользователей, которое может выполнить система за минуту. Данный показатель используется при выборе серверов;
• обработка утилит Unix(UtilitiesIndexedили Milestone) -оценка возможностей по выполнению 40 утилит ОС Unix. Данный показатель используется при выборе инструментального компьютера, предназначенного для интенсивной работы с утилитами типа grepили make;
• пропускная способность (ThroughputGraph) - показатель производительности (число работ в минуту) в зависимости от степени загрузки системы;
• цена (Price) - стоимость тестируемой компьютерной системы.
Производительность при выполнении Unix-утилит идентифицирует системы, наиболее эффективно выполняющие утилиты ОС Unix за одну минуту. Основным набором оценки собственно компьютерной системы, без вывода на терминалы, учета производительности при работе с XWindow и в составе сети, является AIMSystemBenchmark (Suitelit).
Набор состоит из шести так называемых моделей: обмены с оперативной памятью (20 %), работа с вещественными числами двойной и одинарной точности (10 %), операции работы с целыми числами (20 %), обмены данными между процессорами (10 %), вызовы функций на языке Си с 0, 1, 2 и 15 параметрами (20 %), ввод-вывод на диск (20 %). Ниже приведены результаты сравнения компьютерных систем, полученные фирмой AIM.
Полный отчет по компьютерной системе включает данные тестирования по набору тестов AIMSubsystemBenchmark (SuiteIII). Проверка по данному набору производится при работе компьютера в однозадачном режиме и включает следующие оценки производительности:
• при работе с диском. Измеряется в килобайтах в секунду для двух вариантов: при использовании кэширования и без него. Оценка применяется при выборе систем для работы с базами данных, файловых серверов и рабочих мест разработчика программного обеспечения;
• при выполнении операций над вещественными числами. Измеряется в тысячах операций в секунду отдельно для сложения, умножения и деления, с двойной н одинарной точностью. Оценка используется при выборе систем для работы в научных и физических приложениях;
• при работе с целыми числами. Измеряется в тысячах операций в секунду отдельно для сложения, умножения и деления чисел в длинном (long) и коротком (shortint) форматах. Оценка используется при выборе систем для работы в финансовых приложениях;
• для операций чтения/записи в память. Измеряется в килобайтах в секунду отдельно при чтении и записи целых чисел в длинном и коротком форматах, а также символов. Оценка используется при выборе компьютеров для работы с издательскими системами и в финансовых приложениях;
• для операций копирования в памяти. Измеряется в килобайтах в секунду при пересылке целых чисел в длинном и коротком форматах, а также символов;
• для операций в памяти над массивами ссылок. Измеряется в тысячах ссылок в секунду для целых чисел в длинном и коротком форматах;
• при вызове системных функций. Измеряется количеством обращений в секунду к таким функциям Unix, как create/close, fork, signal и unmask;
• при вызове функций в прикладной задаче. Измеряется количеством вызовов в секунду для функций без аргументов, функций с одним, двумя и пятнадцатью параметрами типа int.
Компания AIMTechnology разработала также специальные наборы тестовых смесей, характеризующие использование вычислительной системы в следующих прикладных областях: GeneralWorkstationMix - среда разработки программного обеспечения; MechanicalCADMix - среда автоматизации проектирования в машиностроении (с использованием трехмерной графики); GISMix - среда геоинформационных приложений; GeneralBusiness -среда стандартных офисных приложений (электронные таблицы, почта, тестовые процессоры); Shared/MultiuserMix - многопользовательская среда; ComputerServerMix - среда центрального сервера для большого объема вычислений; FileServerMix - среда файлового сервера; RBMSMix -среда обработки транзакций реляционной базы данных.
1.5МЕТОДИКА ОЦЕНКИ СКОРОСТИ ОБРАБОТКИ ТРАНЗАКЦИЙ
Коммерческие приложения требуют эффективной работы с внешней памятью в распределенной сети при обработке транзакций.
До недавнего времени все производители рабочих станций и разработчики систем управления базами данных (СУБД) предлагали свои собственные способы оценки. В 1988 г. пять ведущих фирм, среди которых были IBM, ControlData и Hewllett-Packard, организовали Совет по проведению оценки скорости выполнения транзакций ТРС (TransactionProcessingPerformanceCouncil), положивший конец "войне транзакций" и установивший единые правила измерения и оформления отчетов по их результатам. Методики тестирования ТРС основаны на том, что эффективность систем, предназначенных для решения задач оперативной аналитической обработки данных - OLTP (On-lineTransactionProcessing), в том числе для работы с базами данных, характеризуется числом транзакций, выполняемых в единицу времени.
Любая компания и фирма может стать членом ТРС, а результаты тестовых испытаний общедоступны на WWW-сервере www.ideas.com.au/bench/spec/spec.httn.
Понятие "транзакция" традиционно связывается с реляционными базами данных, однако применительно к OLTP имеет более общий смысл. Под транзакцией понимается последовательность операций ввода-вывода, во время проведения которых база данных остается неизменной. Практически транзакция представляет собой атомарную неделимую операцию, все изменения в результате выполнения которой становятся видны сразу после ее выполнения или отсутствуют до тех пор, пока операция не завершится.