전격 공개! 벤치마크 수치를 최대로 끌어올리기 [3]

중앙일보

입력

일반적으로 벤치마크 사이트와 같은 전문가 그룹에서 실시하는 벤치마크의 이해를 돕기 위해 Viper II라는 그래픽카드의 성능을 벤치마크하는 예를 하나 만들었다.(왜 이 카드를 사용했을까? 필자가 이 카드를 좋아하기 때문이다. 당연한거 아닌가?) 이 예를 보면서 실제적인 벤치마크 테스터들이 수행하는 테스트 과정에 대해 알아보는 것도 재미있을 것이다.

주의

이 글을 읽기전 주의사항

벤치마크의 방법은 테스터의 취향에 따라 약간씩 차이를 보일 수 있습니다. 특히 사용하는 벤치마크 툴이나 드라이버 설치 순서와 같은 것은 큰 차이를 보일 수 있다는 것을 미리 염두에 두시길 당부 드립니다.

일단 메인보드에 1GHz CPU와 128MB 메모리, Viper II 카드를 장착하고 BIOS를 최적화하였다.

여기에서 중요한 것은 CPU를 1GHz로 사용했다는 것이다. 그래픽카드의 벤치마크에서는 CPU의 영향이 큰 편인데 어느정도 수준까지 CPU가 빨라지면 그래픽카드의 성능 향상도 커지게 된다. 그러나 어느 지점에 이르면 성능 향상이 줄어들게 되고 거의 일정한 수준으로 유지된다. 최근의 그래픽카드는 높은 CPU를 요구하는 경우가 많으므로 너무 낮은 CPU를 사용할 경우 실제적인 성능과 차이를 보이게 된다. K6-2 300MHz와 같은 CPU를 사용하면서 Viper II가 Voodoo 3 3000보다 못하다고 욕하지 말지어다. Pentium III 700MHz에서는 Voodoo 3 3000은 Viper II보다 훨씬 떨어지게 된다. 단순히 그래픽카드가 아니더라도 테스트 머신의 사양에 따라 성능이 크게 차이를 보이는 경우는 많이 있다.

Tip

핵심 포인트

테스트 머신 자체의 전체적인 성능도 중요하다. 너무 낮은 사양의 테스트 머신에서는 벤치마크를 할 대상의 성능이 원래의 성능보다 훨씬 낮게 나올 수 있다. 정상적인 성능 체크를 위해서는 테스트 머신의 사양이 적정 수준 이상을 유지하여야 한다.

이 시스템의 하드디스크를 새로 포맷하고 운영체제로 Windows 98 SE를 설치하였다.

하드디스크를 포맷하고 운영체제를 새로 설치한 이유는 앞장에서 설명했듯이 최적의 운영체제 환경을 유지하기 위해서이다. 이러한 상태에서 정상적인 수치에 가까운 벤치마크 수치가 얻어질 수 있다. 운영체제가 Windows 98 SE인 이유는 Viper II라는 카드가 전문용 카드가 아닌 가정용 범용 그래픽카드라는데 있다. 게임용 그래픽카드를 서버용 운영체제에서 벤치마크하거나 서버용 운영체가가 필요한 듀얼 메인보드를 듀얼 CPU가 지원되지 않는 Windows 98에서 테스트하는것은 문제가 있다. 대부분의 경우 벤치마크를 할 제품의 용도는 알고 있기 때문에 이에 맞는 운영체제 선택은 어렵지 않을 것이다.

Tip

핵심 포인트

벤치마크에 사용되는 운영체제는 최대한 깨끗한 상태로 만들어주어야 한다. 또한 벤치마크 대상 제품의 특성에 맞는 운영체제를 선택해줄 필요가 있다.

운영체제를 설치한 직후 메인보드 패치를 하고나서 Viper II의 드라이버를 설치하였다. 마지막으로 DirectX 7.0A를 설치하였다.

만일 운영체제에 메인보드의 AGP, 하드디스크 드라이버가 포함되지 않았거나 최적화되지 않은 드라이버가 포함된 경우에는 반드시 메인보드 칩셋 제조사에서 제공한 최신 버전의 메인보드 칩셋 패치를 최대한 먼저 해주어야 한다. AGP 그래픽카드 설치에 근간이 되는 이 패치는 다른 드라이버나 패치에 비해 우선순위에 들어간다. 나머지 드라이버나 패치는 이후 필요에 따라 설치하며 맨 마지막에 DirectX를 설치한다. 꼭 이대로 설치하지 않아도 되긴 하지만 가급적 이 방식을 따르는 것을 필자는 권장한다.

Tip

핵심 포인트

드라이버 설치에도 순서가 있다.

메인보드 패치->그래픽카드 드라이버->기타 드라이버->DirectX

그래픽카드 성능 테스트를 위해 3DMark 2001을 이용하여 각 해상도, 색상별로 3회씩 테스트하였으며 Quake 3와 3D WinBench 99도 같은 방식으로 3회 반복하였다.

정확한 결과 도출을 위해서는 단 하나의 벤치마크 소프트웨어에 의존하는 것은 좋지 못하다. 경우에 따라 어떤 벤치마크 소프트웨어는 특정 기술에 최적화되어 그 기술을 사용하는 하드웨어나 소프트웨어에서 평상시보다 훨씬 높은 수치를 기록하는 경우도 있는데 이런 결과가 나왔다고 해서 실제로 항상 그 성능이 나온다고 할 수 있는것은 아니기 때문에 이러한 결과를 보정하기 위해서 다양한 소프트웨어를 이용할 필요가 있다. 또한 3번 테스트한 이유는 공정성 확보 때문인데 값이 지나치게 좋게 나오거나 나쁘게 나와 잘못된 결과를 도출하지 않도록 여러회 테스트를 반복하는 것이다. 이들의 평균값을 내는 방법을 사용할수도 있고 반복 횟수가 많다면 이중에서 최상값과 최하값을 버리고 점수를 평균하는 방법으로 평균 스코어를 계산할 수 있다. 수학에서 통계쪽을 보신 분이라면 이해를 하실 수 있을 것이다.

Tip

핵심 포인트

정확한 테스트를 위해 벤치마크 소프트웨어는 다양하게 사용하고 각 테스트는 여러회 반복하여 결과값에서의 오차를 줄이도록 한다.

Viper II의 성능이 어느정도인지 확인하기 위해 GeForce 2 MX와 Voodoo 4 4500을 Viper II와 같은 조건의 테스트 머신에서 운영체제를 재설치하고 동일한 소프트웨어와 반복횟수로 벤치마크하였다.

단순히 ''이 제품의 벤치마크 수치는 XXXX입니다.''라는걸 말하고자 하는게 아니고 실제적인 제품의 등급까지 매기고자 할 경우에는 비슷한 비교 대상을 이용하여 비교 벤치마크를 수행할 필요가 있다. 이 벤치마크 예의 경우 그래픽카드 자체의 성능 테스트만을 하고자 하기 때문에 그래픽카드 이외의 다른 모든 부분의 변경이 있어서는 안된다. 물론 드라이버와 같은 것은 바뀌겠지만 꼭 바뀔 필요가 없는것은 그대로 두어야 제대로된 값을 얻을 수 있다. 불필요하게 변경이 생기는 부분이 늘어날수록 오차는 점점 커진다.

Tip

핵심 포인트

비교 벤치마크를 할 때에는 비교 대상 제품도 원래의 벤치마크 대상과 동일한 환경에서, 동일한 벤치마크 프로그램을 이용하여 테스트를 진행하여야 한다.

앞에서 소개한 벤치마크 테스트의 원칙을 알고 그에 맞게 테스트를 진행한다면 동일한 환경에서 가장 좋은, 또한 가장 정확한 벤치마크 수치 데이터를 얻을 수 있다. 물론 이러한 환경을 꾸미는 것도, 실제로 테스트를 수행하는 것도 쉬운일은 아님엔 분명하다. 그러나 그렇게 하지 않고 정확한 데이터를 얻는다는 것은 어려운 일이다. 고생 없이 쉽게 얻어지는건 보통 존재하지 않는다. 진정으로 자신에게도, 남에게도 유익한 정보를 만들고자 한다면 그만큼의 노력은 필요하다.

이것으로 벤치마크와 관련된 강좌를 마치고자 한다. 마치기전에 여러분들께 드리고 싶은 말이 있다. 아무리 벤치마크 자체가 공정해지고 최적화된 수치가 나온다 해도 그 수치 자체가 목적은 될 수 없다는 것이다. 벤치마크는 사람이 체감할 수 있는 속도를 수치로 바꾼 것에서 그 이상도 그 이하도 되지 못한다. 벤치마크 수치가 어떻게 나오더라도 체감속도에 문제만 없다면 그것으로 충분하다. 벤치마크 수치를 올리기 위해 벤치마크를 수행하고 하드웨어/소프트웨어를 업그레이드를 하는 모순에 빠지지 말기를 벤치마크를 수행하는 모든 분께 바라는 바이다.

김준연
자료제공:pcBee(http://www.pcbee.co.kr)