‘수포자’ 에셔의 그림, 수학자 일깨워 노벨상 원동력 됐다

중앙선데이

입력

업데이트

[영감의 원천] 불가능한 무한 계단

M.C. 에셔의 ‘올라가기와 내려가기’(1960). [사진 위키피디아]

노벨 수학상은 존재하지 않지만 노벨상을 타는 수학자들은 존재한다. 게임이론을 발전시킨 공로로 1994년 노벨 경제학상을 수상한 미국의 존 내시(1928~2015), 블랙홀이 현실에 존재할 수 있음을 증명한 공로로 지난해 노벨 물리학상을 수상한 영국의 로저 펜로즈(89)가 대표적이다.

펜로즈, 석판화 ‘상대성’에 충격 #불가능한 삼각 형태 구조물 그려 #훗날 블랙홀 존재 증명에 밑거름 #에셔도 힌트 얻어 대표작 창작 #서로 영감 주고받으며 오랜 교류 #SF 영화 ‘인셉션’에도 영향 줘

블랙홀은 별이 스스로의 중력을 이기지 못해 극단적으로 수축돼 빛조차 탈출하지 못하게 된 상태인데, 그 안에서는 시공간도 휘어진다고 한다. 100여 년 전 물리학자 아인슈타인이 파격적 중력 이론인 일반상대성이론을 발표한 후에, 이 이론을 바탕으로 블랙홀의 수학적 솔루션이 나왔다. 그 후 블랙홀이 수학적으로뿐만 아니라 현실적으로 존재할 수 있느냐를 놓고 학자들 간에 갑론을박이 벌어졌다. 재미있는 것은 아인슈타인조차 블랙홀은 아주 특수한 조건에서만 가능해서 현실성이 없다고 주장했다는 것이다.

불가능한 3차원 세계, 2차원 지면에 표현

영화 ‘인셉션’(2010)의 한 장면.

그러나 64년 펜로즈는 일반상대성이론이 적용되는 우주에서 특수한 조건이 아니라도 블랙홀이 필연적으로 생긴다는 것을 밝혀냈다. 다른 학자들처럼 복잡한 수식 계산을 하는 대신, ‘형상과 위치의 학문’이라는 위상수학(topology)을 이용해 시공간의 기하학적 구조를 그려봄으로써 말이다. 그는 평소에 불가능한 도형을 그리는 취미가 있었는데, 덕분에 블랙홀 연구에서 그런 참신한 접근법을 쓸 수 있었을 것이다. 그 취미의 원동력은 흔히 ‘M. C. 에셔’라 불리는 네덜란드의 화가 마우리츠 코르넬리스 에셔(1898~1972)다.

펜로즈가 에셔의 작품을 처음 본 건 54년 케임브리지 대학원생으로서 수학 학회에 참석하기 위해 암스테르담에 갔을 때였다. 그곳 미술관에서 열린 에셔의 개인전을 보고 펜로즈는 “그 독창성, 예술적 기교, 수학적 이해, 정확성에 충격을 받았다”고 회고한다. 특히 그의 눈길을 사로잡은 것은 에셔의 석판화 ‘상대성’(1953)이었다.

이 작품 속에는 같은 계단을 걷고 있는 두 사람이 나오는데, 놀랍게도 서로에게 90도 직각을 이루면서 계단의 서로 다른 면으로 걷고 있다. 함께 있지만 다른 세계에 살고 있는 것처럼 중력이 다르게 작용하는 것이다. 이 그림에는 3개의 중력 세계가 겹쳐져 교묘하게 연결돼 있다. 현실적으로 불가능한 세계이지만, 현실의 비유처럼 느껴지기도 한다. 사람들이 서로 다른 사고방식의 바닥을 딛고 서 있고, 어느 바닥이 진짜 바닥인지 쉽게 알 수 없는 현실 말이다.

에셔의 ‘구체에 비친 자화상’(1935). [사진 위키피디아]

이 그림에 감동한 펜로즈는 “나도 뭔가 불가능한 것을 그려보고 싶다”고 생각했다고 한다. “전체적으로 보면 불가능한 방식으로 맞물려 있지만 부분적으로 보면 정상인 것을 그려보려고 애썼어요. 하지만 잘 되지 않았죠. 결국 단순하게 해야겠다고 생각하고, 불가능한 삼각 형태의 구조물을 그렸습니다.”

이것이 바로 3차원 공간에서는 불가능하지만 2차원 평면에서는 가능해 보이는 ‘펜로즈 삼각형(Penrose Triangle)’이다. 펜로즈는 이것을 저명한 정신과 의사인 아버지에게 보여주었고 아들 못지않게 재미를 느낀 아버지는 이 삼각형을 바탕으로 계단 등을 그려냈다. 그리고는 부자가 함께 이에 관한 논문을 써서 학술지에 발표했다. 그들은 논문에서 에셔를 언급했고, 논문 카피를 에셔에게 보냈다. 그러자 에셔는 그의 신작을 보내 답례했고, 펜로즈 부자와 전화로 교류를 시작했다. 펜로즈 삼각형에 영감을 받은 에셔는 또 다른 대표작 ‘올라가기와 내려가기’(1960)를 창작했다.

이 석판화에서 한 줄의 수도사들은 계단을 올라가고 다른 한 줄은 내려간다…. 아니, 그런 것 같지만 사실은 아니다! 그들은 일정한 방향으로 가는 것 같지만 끝없이 원점으로 돌아오고 있는 것이다.

물론 현실의 3차원 공간에서는 불가능한 모습이다. 3차원의 세계를 2차원 지면에 표현하면서 사물의 비례를 정교하게 비틀어 착시를 일으키는 에셔의 솜씨 덕분에 이 불가능한 세계가 얼핏 현실적으로 보이게 되었다. 이처럼 펜로즈와 에셔는 서로에게 영감을 주고받았다. 마치 에셔의 ‘그리는 손’(1948)처럼 서로가 서로를 창조하는 상황이라고 할까.

과학자·철학자·영화 감독 등에게 영감 줘

로저 펜로즈가 고안한 ‘펜로즈 삼각형’. [사진 위키미디아 카몬스]

종이에서 튀어나와 서로를 그리고 있는 두 개의 손을 나타낸 ‘그리는 손’은 민음사의 호르헤 보르헤스 단편집 『픽션들』의 표지에도 등장한다. 철학적 소설가 보르헤스의 작품세계, 특히 단편 ‘원형의 폐허들’에 잘 어울린다. 이 단편 소설에서 불의 사제는 정교한 꿈을 꾸어 제자를 창조한다. 마치 디지털 가상세계 속에 인공지능 캐릭터를 창조하듯. 사제는 사랑하는 제자가 스스로 진짜 인간이 아닌 환영임을 깨닫고 절망할까 봐 걱정한다. 하지만 막판에는 자기 자신도 누군가의 꿈에서 창조된 존재임을 알게 된다. 이러한 보르헤스 단편과 펜로즈 삼각형, 에셔의 ‘올라가기와 내려가기’로부터 영감을 받은 영화가 크리스토퍼 놀란의 유명한 SF ‘인셉션’(2010)이다.

이처럼 에셔에게 열광한 이들은 동료 예술가나 미술 평론가보다 수학자, 과학자, 영화감독들이었다. 그중에 인지 과학자 더글러스 호프스태터가 있다. 그는 명저 『괴델, 에셔, 바흐』(1979)에서 에셔의 판화를 통해 ‘이상한 고리(strange loop)’라는 개념을 설명했다. ‘이상한 고리’는 마치 에셔의 ‘올라가기와 내려가기’처럼 어느 한 방향으로 계속 진행하는 것 같지만 다시 제자리로 돌아오는 것, 부분 부분 볼 때는 이상하지 않지만 전체로 볼 때는 이상한 모순인 것을 가리킨다. 유명한 ‘거짓말쟁이 역설’대로 크레타인이 “모든 크레타인은 거짓말쟁이다”라고 말할 때, 그 명제가 참인지 거짓인지 결론 내려면 끝없이 순환하며 모순에 빠지게 되는 것도 ‘이상한 고리’다.

호프스태터는 인간의 뇌에서 자아 혹은 ‘나’라는 정체성이 형성되는 것에 인식의 ‘이상한 고리’가 작용한다고 보았고, 같은 원리로 인공지능이 탄생할 수 있다고 보았다. 에셔야말로 ‘이상한 고리’ 개념을 “시각적으로 가장 아름답고 강력하게 실현한 사람”이라고 호프스태터가 책에 쓴 게 과연 틀린 말이 아니다.

2015년 BBC 다큐멘터리에서 에셔의 ‘상대성’ (1953)을 설명하는 로저 펜로즈. [사진 유튜브 캡처]

에셔는 자신의 작품에 대해 이렇게 말한 적이 있다. “열린 감각으로 우리를 둘러싼 세계의 퍼즐을 바라보고 내가 본 것들을 분석하는 과정에서 수학이라는 분야를 접하게 됐다. 과학에 대한 엄밀한 지식은 없지만, 종종 수학자들이 동료 미술가들보다 가깝게 느껴진다.”

에셔는 본래 건축을 공부했고 이탈리아와 스페인의 건축으로부터 영감을 받았다. 또 다른 중요한 연작 ‘테셀레이션(tessellation)’은 알함브라에서 영향을 받았다. 테셀레이션이란 한 가지나 몇 가지의 도형을 보도블록처럼 반복적으로 사용하면서 빈틈없이 맞물려 공간을 가득 채우는 것을 말한다. 에셔는 중세 이슬람 궁전 알함브라의테셀레이션을 보고 깊은 감명을 받았다고 한다. 그리고 로저 펜로즈와 교류하며 새로운 테셀레이션을 함께 고안하기도 했다.

놀랍게도 에셔는 학교 다닐 때 거의 ‘수포자(수학 포기자)’였다고 한다. 펜로즈는 이렇게 말했다. “에셔가 말하길 자신은 학교 다닐 때 수학 실력이 좋지 않은 학생이었다고 한다. 하지만 그의 기하학적 이해는 분명히 매우 깊다. 그가 학창 시절에 자신의 재능을 깨닫지 못한 것은, 아마도 많은 학교가 생각 없는 방식으로 수학을 가르치기 때문일 것이다.” 수많은 ‘수포자’를 양산하고 있는 한국에서도 새겨들어야할 말 아닐까.

문소영 코리아중앙데일리 문화부장 symoon@joongang.co.kr
미술전문기자. 서울대 경제학부 학·석사, 런던대 골드스미스컬리지 문화학 석사, 홍익대 예술학과 박사 과정 중. 저서로 『그림 속 경제학』(2014), 『명화독서』(2018), 『광대하고 게으르게』(2019) 등이 있다.