Тестирование производительности бенчмарк, стоит ли доверять на 100%

Проведя множество тестов своего ПК различными программами у меня назрел такой вопрос: «А всегда ли тестирование производительности с помощью программ является верным? И можно ли 100% положиться на этот результат?». Вот и хотелось бы сегодня это рассмотреть. Ну и вместе с вами попытаться разобраться в данном вопросе.

Всегда ли результат тестирования верен?

Сразу и ответим — Да, но полученный результат не подходит ни для какого сравнения, если относить это к бытовым или офисным ПК. Почему же так происходит?

От чего зависит результат тестирования:

  1. Версия программы тестирования(бенчмарков и подобных);
  2. Количество запущенных приложений и программ;
  3. Версия установленной операционной системы;
  4. Наличие и версия драйверов;
  5. Установлены или нет обновления операционной системы;
  6. Работоспособность самой ОС и наличие ошибок в ее работе;
  7. Комплектация компьютера;
  8. SSD или HDD;
  9. И многое другое…

То есть делая тест допустим Geekbench или CINEBENCH мы получаем не точный результат, а именно результат, который программе получилось выжать именно в данный момент времени. Приведу пример.

Тестирование Geekbench 3

Провожу тест Geekbench 3 получаем результат 10471, думаете это точный результат? А вот и нет. Вот скрин вчерашнего теста:

GeekBench mac OS Sierra 10.12.4

Что мы видим, а то что одна и та же программа показала два разных результата, которые отличаются на 81 бал. И если учесть, что общий результат не миллионы, а 10500. Так же проведя еще несколько экспериментов у меня получились и другие результаты, которые были выше и ниже. Так например при проведении нескольких тестов подряд — результат снижался, а вот после очистки кэша увеличивался. При этом если чистить кэш после каждого теста, то результат постоянно получается разный. Такой же результат и при запуске программ и приложений — запуск одних ни каких значительных изменений не несет, а вот запуск того же ITunes или видео в Safari могут повлиять более значительно.

А вот к вашему вниманию тестирование тем же GeekBench, но уже 4 версией.


И что мы видим, что производительность моего ПК стала ниже еще практически на 10%. А ведь кроме версии программы ничего не изменилось. И как такие показатели можно сравнивать со сделанными ранее? Неужели пока я скачал новую версию мой процессор стал на 10% хуже работать?

В тестах CINEBENCH результаты действительно практически одинаковы. Тестировал в 3 версиях Mac OS(Mavericks, El Capitan, Sierra) с результатами можете ознакомиться в статье. И в данном случае тестируется именно производительность процессора и видеокарты.

А теперь давайте подумаем логически. Для чего в основном проводят тестирование производительности? Для сравнения с какими то уже полученными ранее кем — то показателями. Так при тестировании моей модели процессора, на одном из сайтов представлен результат 11500, а вот мои до этого не дотягивают. Процессор бракованный, да нет просто у нас разные условия тестирования: версия, система и тд.

Я не просто так привел пример именно GeekBench, на данный момент это одна из самых популярных программ для тестирования, которые используются. Особенно часто ее приводят в пример при продаже или же на Youtube.

А вы когда нибудь читали список того, что проводится при тестировании? Уверен, что не все.

При тестировании просчитывается:

  1. Сжатие и разжатие JPG, PNG, TIFF, RAW и тд.;
  2. Сжатие и распаковка архивов;
  3. Рендер PDF;
  4. Какой то неизвестный показатель Camera;
  5. Memory Copy — копирование;
  6. HDR;
  7. Определение лиц и многое другое…

Это далеко не полный список, того что учитывается при тестировании. А теперь сделаем вывод насколько верно это тестирование на различных комплектациях:

Сжатие и разжатие JPG, PNG, TIFF, RAW, HDR, Zip и тд — напрямую зависит от объема ОЗУ и скорости памяти, HDD и SSD. То есть показатель при наличии SSD или более высоко частотной ОЗУ может быть на порядок выше. А такой ли это важный аргумент в бытовом использовании. Вы целыми днями пережимаете форматы изображений или архивы.

Рендер PDF — сколько раз за день вы открываете файлы в PDF формате, что бы это как то могло существенно повлиять? Для сравнения начиная с версии OS X Mavericks PDF открывается намного быстрее, то есть и результат в итоге будет выше. Но достигнуто это именно доработкой операционной системы, а никак ни от производительности одного и того же процессора.

Memory Copy — копирование и другие результаты тестирования памяти напрямую зависят от скорости ОЗУ и жесткого диска, если у вас характеристики разные, то и результаты будут тоже разными.

Определение лиц — я вообще не понимаю, как это может относится к чему то бытовому.

Не спорю есть много тестов, которые относятся именно к игровой индустрии и они могут быть показателями, но все же конечный результат — это средний показатель и поэтому сравнение не совсем верно. Сильно много проводится различных тестов функций, которые в реальности не используются или же это происходит очень редко.

Так же результаты двух 8-ми ядерных процессоров,  один из которых с гипертрейдингом, а другой без будут значительно отличаться. Но на практике 16 потоков быстрее справляются с видео, 3D и 2D графикой, распаковке и сжатии, но могут проигрывать во многих играх, потому что далеко не все современные игры поддерживают эту технологию.

Это больше напоминает тестирование Windows, но в нем все намного проще да и показатель берется по низшему результату. Так мой ПК всегда оценивался 5.9 из за того что так оценивался HDD, а все остальные показатели были на максимуме.

Выводы делать вам. Но как по мне, то тестирование на бытовых ПК можно применять только для получения какой то средней оценки работоспособности оборудования и операционной системы в целом. К результатам тестирования никак нельзя относится, как к реальным показателям производительности железа. Относиться к этим результатом надо так же, как и к показателям оценки Windows — исключительно, как к рекомендации. Что бы понимать что вам стоит докупить или заменить для повышения общей производительности.

Вас могут заинтересовать:

@DDR5.RU

@DDR5.RU

Комментарии не относящиеся к тематикам страниц, вводящие в заблуждение пользователей нашего ресурса, носящие рекламный и провокационный характер будут беспощадно удаляться!!! С уважением, администрация DDR5.RU...

1 комментарий

  1. Harder:

    Статья похожа на нытьё глупого школьника, пытающегося умничать.
    Тестирование производительности любым бенчмакром дает показатели лишь текущей системы, даже экземпляра винды.

    Когда я сравнивал видеокарты — всё, кроме видеокарт и их дров оставалось неизменно.
    Это дало картину конкретно под это железо.
    Когда я стал сравнивать поведение одной и той же видеокарты на разных системах — получил точки отправления.
    Потом тестировал на железе с самым большим показателем несколько видеокарт — фаворитов.
    Их показатели различались не пропорционально, т.к. есть еще такой показатель, как РАСКРЫТИЕ видеокарты процессором.
    Иными словами, на одноядерном железе gtx660Ti и gtx1060 показали почти одинаковый результат.
    А вот на другой конфигурации с i5 — результат отличался вдвое.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *