자연과학에서 수학의 비합리적 효율성

박권 고등과학원 물리학부 교수

고등학교 동창 2명이 오랜만에 만나 대화를 나누고 있다. 한 사람은 고등학교를 졸업한 후 통계학자가 되어 현재 인구 변화를 예측하는 일을 하고 있다. 이 사람은 친구에게 ‘가우시안 분포’(Gaussian distribution)라는 공식을 이용하면 인구 변화를 잘 예측할 수 있다고 설명한다. 친구는 묻는다. “혹시 이 공식에 들어있는 ‘π’는 원주율이니?” 통계학자는 맞다고 대답한다. 친구는 이상해한다. “도대체 원과 인구가 무슨 상관이지?”

원주율과 인구변화

앞선 내용은 노벨 물리학상을 수상한 이론물리학자 유진 위그너가 1960년 ‘순수 및 응용 수학 통신’이라는 학술저널에 실린 논문 ‘자연과학에서 수학의 비합리적 효율성’에서 제시한 농담이다. 그렇다면 원주율이 들어가는 공식은 어떻게 인구 변화를 잘 예측할 수 있는 것일까? 조금 더 일반적으로, 수학은 어떻게 우주 삼라만상을 잘 기술할 수 있는 것일까? 자연과학의 도구로서 수학은 우리가 합리적으로 기대할 수 있는 범위를 넘어 너무 효율적이다. 그동안 수많은 과학자·수학자 그리고 철학자들은 이러한 수학의 비합리적 효율성의 근원에 대해 궁금해 해왔다.

인간 수학은 사실 우주 작동 원리
수학 효율성, 생존 위한 진화 결과
허수, 존재 않는 상상의 수이지만
허수 없인 우주도 설명할 수 없어

여러 가능한 근원 중의 하나는 진화론이다. 진화론에 따르면, 주어진 자연환경에 가장 잘 적응할 수 있는 생명체만이 생존할 수 있다. 우주의 작동 원리를 정확히 이해하는 것은 자연환경에 적응하는 데에 도움이 된다. 돌연변이를 통해 우주의 작동 원리를 조금 더 정확히 이해할 수 있게 된 생명체는 진화론적 우위를 차지한다. 진화의 정점에 선 인간은 우주의 작동 원리를 가장 정확히 이해할 수 있는 생명체다. 즉, 인간이 수학이라고 생각하는 것은 사실 우주의 작동 원리다. 정리하면, 수학의 효율성은 생존을 위한 진화의 결과다. 그럴듯한 설명이다. 그런데 여기 약간의 문제가 있다. 우주의 가장 근본적인 작동 원리가 언뜻 보면 생존에 별 도움이 안 되는, 실제로 존재하지 않는 상상의 수로 기술되기 때문이다.

허수와 양자역학

지구에서 약 3000만광년 떨어진 ‘메시에74’은하. 우리 은하처럼 나선형이다. 미국 제임스웹 우주망원경(JWST)이 찍었다. [로이터=연합뉴스]

물건을 하나둘 셀 수 있는 기술은 선사시대부터 생존을 위해 매우 유용했을 것이다. 당연한 말 같지만, 물건의 개수는 자연수로 표현된다. 자연수는 덧셈과 곱셈에 대해 닫혀 있다. 다시 말해, 임의의 두 자연수를 더하거나 곱한 결과는 여전히 자연수다. 하지만 자연수는 뺄셈에 대해서는 닫혀 있지 않다. 작은 자연수에서 큰 자연수를 빼면 음수가 나오기 때문이다. 음수는 실제로 존재하는 수인가? 고대 그리스 수학자들은 음의 개수를 가지는 물건은 손에 쥘 수 없으므로 음수는 실제로 존재하는 수가 아니라고 생각했다. 하지만 음수는 무엇을 빚지는 상황을 기술할 수 있는 매우 유용한 개념이다.

비슷하게, 자연수는 나눗셈에 대해 닫혀 있지 않다. 한 자연수를 다른 자연수로 나누면 일반적으로 분수가 나오기 때문이다. 분수는 무엇을 여러 조각으로 나누는 상황을 기술할 수 있는 매우 유용한 개념이다. 분수는 다른 말로 유리수다. 다만, 그 무엇과 조각의 비율이 반드시 분수로 딱 떨어질 필요는 없다. 분수로 딱 떨어지지 않는 비율을 무리수라고 부른다. 무리수의 대표적인 예는 원주율과 2의 제곱근이다. 무리수는 소수점 아래로 아무런 규칙 없이 무한히 이어진다. 우주의 모든 것이 자연수의 비율로 이루어진다고 믿었던 피타고라스학파는 무리수의 존재를 믿지 않았다. 전설에 따르면, 피타고라스 학파는 2의 제곱근이 무리수라는 사실을 숨기기 위해 그 사실을 처음 발견한 히파수스를 죽였다. 물론 무리수는 실제로 존재한다. 잘 알다시피 자연수·유리수·무리수, 그리고 그것들의 음수 값들을 모두 묶어 실수라고 부른다. 실수는 ‘실제로 존재하는 수’를 뜻한다.

문제는 실수와 대비되는 허수라는 개념이다. 허수는 제곱한 값이 음수가 되는 수다. 허수는 문자 그대로 ‘실제로 존재하지 않는 상상의 수’를 뜻한다. 잠깐, 수학자들은 도대체 왜 상상의 수, 허수를 만들었을까? 간단하게 말해, 허수는 2차 이상의 방정식의 해가 일반적으로 존재하도록 수의 개념을 확장하는 과정에서 만들어졌다. 수학자들은 실수와 허수를 아우르는 개념인 복소수를 통해 수많은 아름다운 발견을 이루어냈다. 허수는 실제로 존재하지 않을지 몰라도 매우 아름답고 유용한 수학적 도구임이 틀림없다. 그런데, 놀랍게도 우주의 가장 근본적인 작동 원리인 양자역학은 허수가 실제로 존재할 수밖에 없다고 강변한다. 양자역학에 따르면, 우주의 모든 것은 파동이다. 이 파동을 기술하는 슈뢰딩거 방정식은 반드시 허수를 필요로 한다. 즉, 만약 허수가 존재하지 않는다면 우리가 아는 우주도 존재할 수 없다.

‘당연함’과 ‘과분’ 사이

허수는 자연과학에서 수학의 비합리적 효율성에 관한 한 예에 불과하다. 다시 한번, 이러한 수학의 비합리적 효율성의 근원은 무엇일까? 물리학자 맥스 테그마크는 책 『맥스 테그마크의 유니버스』에서 우주는 본질적으로 추상적 수학 구조 그 자체라고 주장한다. 따라서 자연과학에서 수학이 효율적인 이유는 우리가 물리적 우주를 수학적으로 기술하는 것이 아니라 수학적 우주를 수학적으로 기술하기 때문이다. 결국, 수학의 효율성은 당연한 것이다. 반면, 위그너는 앞선 논문을 다음과 같이 끝맺는다. ‘우리에게 수학의 효율성이라는 기적은 이해 불가능하며 과분하다. 이 기적에 감사하며 앞으로도 이 기적이 계속되기를 바랄 뿐이다.’

박권 고등과학원 물리학부 교수