[테크M = 신정수 인성정보 공동창업자·사외이사]

세상 모든 비밀을 푸는 수학

이창옥 , 한상근, 엄상일 지음 | 사이언스북스 펴냄 | 2만2000원

이 책은 IT기술의 급성장과 맞물려 빅 데이터 시대가 오면서 크게 발전하고 있는 전산/정보 수학에 관한 카이스트의 세 수리과학과 교수들의 강의록이다.

2014년 말부터 ‘수학으로 IT 세상을 풀어라’라는 제목으로 동아사이언스에서 주최했던 명 강의들이 드디어 책으로 엮어진 것이다.

계산수학(수치해석), 암호론(정수론), 그래프이론(이산수학) 등 세 분야의 석학 교수들이 각각 세 차례씩의 강의를 맡아 진행 했던 바, 그 분야에서의 수학 이론과 더불어 다양한 산업에서의 구체적인 활용 사례들이 꽤나 자세히 소개되고 있다.

이 책의 첫 강의자인 이창옥 교수는 수치해석 전공의 계산수학 전문 수학자이다. 이 분의 강의를 따라가다 보면 수학의 역할이 증대되고 있는 현실 인식과 더불어 응용수학자의 삶이 꽤나 매력적으로 보인다.

또한 수학자도 인적 네트워크와 더불어 인문, 예술 등 폭넓은 소양이 필요하다는 이 교수의 주장에 대해서 저절로 공감을 하게 된다.

계산수학이란 정보기술을 이용하여 방정식의 해를 찾는 방법론을 주로 연구하는 수학이다. 세상의 많은 현상들은 일종의 방정식으로 표현할 수 있는데, 과거 수학만으로는 해법을 찾기 어려운 경우가 많았다. 하지만 이제 IT 기술을 적극 이용하여 그 해법을 혁신적으로 찾아내곤 한다.

이 교수는 이와 관련된 수학 방법론의 이론과 사례들을 정말 알기 쉽게 체계적으로 잘 설명하고 있다. 먼저 컴퓨터 발달사와 프로그램 원리부터 시작한다. 그리고 수학적 알고리즘의 3대 철학 즉, 오차를 제어하는 ‘안정성’, 해에 근접하는 ‘수렴성’, 알고리즘 계산양의 ‘복잡성’ 등에 대해 자세히 소개한다.

이어 전산을 이용한 수학 문제 해결의 4단계 즉, 수리적 모델링, 수학적 분석, 수치적 분석, 수치 실험 등에 대해서도 단계적으로 안내한다. 문제의 타당성, 해의 존재성을 수학적으로 분석할 때는 실변수함수론, 함수해석학, 편미분방정식, 미분기하, 위상수학 등 의외로 많은 영역의 수학들이 사용되는 모양이다.

그럼 이런 계산수학 방법론을 이 현실에서는 어떤 곳에 활용한다는 것일까? 이 교수는 날씨, 자연재해 예측은 물론 항공기, 요트 설계, 영화, 음향 같은 엔터테인먼트 산업에 이르기까지 소위 산업수학이 활용되는 여러 사례들을 매우 구체적으로 재미있게 설명한다.

두 번째 강의자 한상근 교수는 정수론 전공의 암호 수학자이다. 암호론은 수학 분야 중에서도 정수론과 통계학이 주로 사용된다. 하지만 이 분의 강의는 암호론 관련 수학공식이나 관련 이론 설명은 거의 등장하지 않는다. 그 대신 암호와 관련된 현실 세계의 재미있는 이야기들을 풍부하게 다루고 있다.

암호 해독이란 남들이 보기에는 아무 규칙성이 없어 보이는 대상에서 의미 있는 규칙을 찾아내는 행위라고 말할 수 있다. 암호 분야는 아니지만 이런 측면에서 수학 교수 출신 제임스 사이먼스의 ‘르네상스 테크놀로지‘라는 펀드사를 소개했다.

이 회사는 주식시장을 일종의 불규칙한 난류로 보며 짧은 시간 동안의 일정한 흐름 패턴을 수학적으로 찾아내는 데 성공했다. 이 회사는 단타 매매에서의 성과를 자랑하며 현재 65억 달러의 자산을 운용하고 있다.

그 밖에도 암호론 강의에서는 암호의 발전사에 해당하는 다양한 방법론 즉, 글자의 위치 바꾸기, 난수표 같은 것을 써서 글자 자체를 바꾸기, 그리고 이들을 합성하여 난이도 높이기, 공개 키/비밀 키 같은 비대칭 키, 온라인 지문격인 해시함수 등의 개념들과 그 역사적 에피소드들을 재미있게 소개한다.

그런데 양자컴퓨터 개발이 암호 기술에 큰 영향을 주고 있는 점이 흥미롭다. 미국 국가안보국(NSA)은 2015년 빠른 시일 내 현존하는 모든 공개키 암호를 표준에서 제외시키겠다고 발표했다. 그 이유는 양자컴퓨터의 놀라운 해독 능력 때문이다.

양자 계산 이론은 오류발생 가능성을 극도로 줄이는 양자컴퓨터의 핵심원리로 이미 세계 암호학회에 엄청난 충격을 던진 바 있다. 따라서 양자컴퓨터가 개발되어도 보안이 지켜질 차세대 암호를 공모 중인데, 고차원 격자점, 고차원 부호, 다변수 2차방정식, 해시함수 등이 그 후보로 오르고 있다고 한다.

마지막으로는 일반인에게는 좀 생소한 분야인 그래프 이론으로 프린스턴 대학에서 박사학위를 받은 엄상일 교수의 그래프/최적화 이론 강의가 실렸다. 사실 이산수학, 그래프이론은 20세기 후반부터 해석학, 대수학, 위상수학 같은 수학의 주류로 등극하며 세상의 어려운 문제들을 수학적으로 푸는 데 크게 기여하고 있다.

우선, 모두를 만족하는 짝 찾기, 안정적인 짝 찾기 등의 경우처럼 짝을 서로 매칭 시키는 이론들을 소개하며, 그래프 이론이 왜 필요한지를 일깨워준다. 이 이론을 활용한 미국 병원과 레지던트 짝 짓기나 뉴욕 고등학교 배정, 장기 이식 알고리즘, 사용자별 광고 노출 정책 등 다양한 사례들이 흥미롭게 소개된다.

짝짓기에는 게일과 샤플리 방법, 텃-베지 공식 등의 수학 이론들이 기반이 되는 데 그 개념 자체를 이해하기가 쉬운 편은 아니어서 그래프 이론의 난이도를 살짝 짐작하게 한다. 그리고 저 유명한 4색 문제의 해결 히스토리를 매우 흥미진진하게 소개하고 있다.

4색 문제란 평면 지도에서 서로 이웃한 나라는 다른 색으로 칠한다고 할 때 4개 색깔이면 어떤 지도 모양도 문제없이 다 칠할 수 있겠느냐는 것이다. 1852년에 어느 학생에 의해 처음 제기된 이 문제는 우여곡절을 거쳐 결국 1976년에 이르러서야 컴퓨터를 이용하여 그 증명이 완결된다. 이 증명법은 인간 수학자가 컴퓨터 없이는 최종 확인할 수 없는데 이것을 증명이라고 해도 되느냐에 대한 철학적 논의까지 불러일으켰다.

그런데 페르마의 마지막 정리처럼 그 활용성 측면에서는 다소 의문스러운 이 4색 문제 이론이 의외로 비행기 노선과 신호주기 문제, 주파수 할당법 등과 연관되어 있음에 놀라지 않을 수 없다.

엄 교수의 마지막 강의에서는 그래프이론 중 최적화 이론을 자세히 소개하고 있다. 이는 환전 전략, VLSI 생산법, 집배원 문제 등에 활용되는 사례를 보여주고 있다. 최적화 이론에서 선형계획법 문제 해결에 유용한 심플렉스 방법을 개발한 조지 단치히의 일화도 소개한다. 그가 대학원 시절, 강의에 늦게 들어갔다가 칠판에 적힌 오랜 미해결 문제를 보고 숙제로 오인하여 이를 풀어냈다는 전설적 이야기이다.

마지막 부분에는 ‘현대수학이 어떻게 사회를 바꾸고 있는가’에 대한 주제로 과학동아 김상연 전편집장 사회의 좌담 스케치가 나온다. 여기에서는 이 책의 세 공동 저자들이 참여하여 수학자의 역할 확대와 수학자들의 폭넓은 인터페이스와 인문학적 소양의 필요성, 그리고 현대 수학과 IT의 커다란 상호 견인적 역할 등에 대해 진솔한 의견들을 나눈다.

이 책을 통하여 산업수학과 관련된 여러 이론들의 명쾌한 이해까지는 어렵다 하더라도 정보산업의 발전과 동행하는 응용수학의 다양한 활용성에 대해 새롭게 눈을 뜨는 계기가 될 수 있을 것이다. 세상을 이해하고 세상 문제를 푸는 데 수학자들의 역할이 점점 커지고 있는 시대임이 분명하다.