기원전 5세기 스파르타, 한 장군이 전령에게서 가죽끈 하나를 건네받는다. 끈 위에는 글자들이 아무렇게나 흩어져 아무 뜻도 읽히지 않는다. 그가 허리춤의 나무 막대에 끈을 비스듬히 감아 올리자, 흩어졌던 낱글자들이 나선을 따라 줄을 맞추며 문장이 된다. 똑같은 굵기의 막대를 가진 사람만 읽을 수 있는 명령. 역사에 기록된 가장 오래된 군사 암호 장치, 스키테일(scytale)이다. 그런데 여기에 첫 번째 반전이 있다. 오늘날 적지 않은 고전학자들은 이 물건이 과연 '암호'이기는 했는지조차 의심한다. 그리고 그 의심이야말로, 암호의 역사가 실은 수학의 역사가 아니라는 사실로 우리를 데려간다.

감추는 자가 곧 명령하는 자였다

스키테일 이야기를 전해준 것은 플루타르코스와 아울루스 겔리우스인데, 둘 다 이 장치가 쓰였다는 시대로부터 수백 년 뒤의 사람들이다. 실물은 하나도 남아 있지 않다. 그래서 고전학자 토머스 켈리는 아예 '스키테일의 신화'라는 논문에서, 이것이 뜻을 숨기는 진짜 암호였다기보다 발신자가 진짜임을 증명하는 인증 도구—같은 막대를 가진 자만이 보낸 진품 명령서라는 표식—에 가까웠으리라고 본다. 흔히 스키테일을 '최초의 전치 암호'라 부르지만, 사실 그것이 무엇을 감췄는지는 아무도 증명하지 못했다.

어느 쪽이 맞든 핵심은 하나다. 이 물건은 지휘관의 손에 있었다. 로마로 건너가도 그림은 같다. 수에토니우스는 율리우스 카이사르가 편지에서 알파벳을 세 칸씩 밀어(A를 D로) 적었다고 기록한다. 그의 종손 아우구스투스는 한 칸을 밀었는데, 알파벳 끝에 이르면 처음으로 돌아가지 않고 Z를 AA로 적었다고 한다.

그 시절 암호는 수학이 아니었다. 문해력 자체가 희귀하던 세계에서, 세 칸을 미는 그 사소한 장치는 통치자와 장군의 전유물이었다. 읽을 수 있는 자와 읽어도 모르는 자 사이의 간극, 그 간극을 만들고 소유하는 능력이 곧 권력이었다.

암호의 첫 얼굴은 정교한 수식이 아니라 위계였다. 무엇을 감출 수 있느냐가, 누가 명령할 수 있느냐를 갈랐다.

바그다드가 저울을 뒤집다

감추는 자가 언제까지나 우위일 수는 없었다. 균형을 처음 뒤집은 곳은 흔히 짐작하는 르네상스 유럽이 아니다. 9세기 바그다드다. 아바스 왕조의 학자 알킨디는 850년 무렵 '암호 해독에 관하여'라는 논고를 썼고, 여기에 인류 최초로 기록된 빈도분석이 담겨 있다.

원리는 서늘할 만큼 단순하다. 모든 언어에는 글자마다 고정된 출현 빈도가 있다. 아랍어 학자들은 쿠란의 본문을 통계적으로 분석하며 어떤 글자가 얼마나 자주 나오는지 이미 알고 있었다. 그렇다면 암호문에서 가장 자주 등장하는 기호는 평문에서 가장 흔한 글자일 가능성이 높다. 이 한 걸음으로 카이사르식 치환 암호는 통째로 무력해졌다. 세 칸을 밀든 열 칸을 밀든, 글자를 다른 기호로 통째로 바꾸든, 밀린 뒤에도 빈도의 지문은 지워지지 않기 때문이다. 한국어로 치자면 어떤 글자를 다른 글자로 바꿔치기해도 조사 '이'나 '를'이 반복되는 리듬은 남는 것과 같다. 열쇠를 몰라도, 문장이 충분히 길기만 하면 언어 그 자체가 배신자가 된다.

여기서 힘은 감추는 자에게서 뚫는 자에게로 넘어간다. 그리고 그 힘의 원천이 한 천재의 영감이 아니라 '지혜의 집'이라는 번역·연구 기관, 즉 제도였다는 점이 중요하다. 알킨디의 원고는 이후 천 년 넘게 종적을 감췄다가 1987년에야 이스탄불의 한 문서고에서 발견되었다. 통념은 빈도분석을 유럽의 발명으로 기억하지만, 그 통념 자체가 누가 기록을 소유했는가의 문제였던 셈이다.

'해독 불가능'이라는 이름의 자만

빈도분석에 맞선 감추는 자의 응수는 여러 알파벳을 번갈아 쓰는 다중 치환이었다. 오늘날 '비즈네르 암호'로 불리는 방식이다. 그런데 이름부터 오귀속이다. 이 방식을 먼저 기술한 사람은 1553년의 조반니 벨라소였고, 블레즈 드 비즈네르가 1586년에 실제로 기여한 것은 열쇠가 스스로를 늘려가는 오토키 방식이었다. 이름은 엉뚱한 사람에게 붙었지만, 위력만은 진짜여서 이 암호는 '해독 불가능한 암호(le chiffre indéchiffrable)'라 불리며 약 3세기 동안 무적으로 군림했다. 비결은 같은 평문 글자를 열쇳말의 위치에 따라 매번 다른 글자로 바꿔버리는 데 있었다. 첫 번째 A와 열 번째 A가 서로 다른 기호로 나오니, 알킨디가 벼려낸 빈도의 칼날이 무뎌졌다. 하나의 지문 대신 여러 지문이 겹쳐 뭉개진 셈이다.

무적 신화를 깬 것은 두 사람이다. 찰스 배비지는 1854년에 이미 이 암호를 풀었지만 발표하지 않았고, 프로이센 장교 프리드리히 카시스키가 1863년에 먼저 공개 해법을 내놓았다. 배비지가 왜 침묵했는지에 대해서는, 마침 크림전쟁 중이라 영국 정보 당국이 이 성과를 함구시켰으리라는 추측이 있다. 다만 이는 문서로 확인된 사실이 아니라 사이먼 싱 같은 저술가가 제기한 해석임을 분명히 해두자.

배비지의 침묵이 사실이든 아니든, 여기서 암호 전쟁의 새로운 무기가 모습을 드러낸다. 바로 '깼다는 사실 자체를 감추는 것'이다. 상대의 암호를 풀었다는 것을 들키지 않으면, 상대는 여전히 안전하다 믿으며 비밀을 계속 털어놓는다. 해독은 이제 단순한 기술이 아니라 신뢰를 조작하는 정치가 되었다.

적이 자기 암호를 계속 믿게 내버려 두는 것—그것이야말로 가장 값진 해독이었다.

기계가 전쟁을 암호로 감싸다

20세기, 암호는 기계의 몸을 얻는다. 에니그마다. 그리고 여기에 가장 질긴 통념이 붙어 있다. "앨런 튜링이 홀로 에니그마를 깼다."

실상은 다르다. 에니그마의 벽에 처음 균열을 낸 사람은 1932년의 폴란드 수학자 마리안 레예프스키였다. 언어학자가 아니라 수학자가, 순열군 이론을 무기로 나섰다는 점부터가 시대의 전환이었다. 그는 독일군이 메시지 키를 두 번 반복해 앞머리에 붙이던 절차의 허점을 파고들어, 만져본 적도 없는 기계의 내부 배선을 재구성했다. 여기엔 프랑스 정보장교 귀스타브 베르트랑이 독일 스파이 한스틸로 슈미트에게서 빼내 폴란드에 넘긴 매뉴얼과 일일 키가 결정적으로 작용했다.

그러나 폴란드가 다 끝냈다고 말하면 옛 신화를 새 신화로 바꾸는 것일 뿐이다. 1938년 12월 15일 독일이 로터 두 개를 추가하자 배열 경우의 수가 6배로 뛰었고, 폴란드는 이를 감당할 자원이 없었다. 1939년 폴란드는 자신들의 성과를 영국과 프랑스에 넘겼다. 1940년 5월 10일, 독일이 그 반복 키 절차마저 폐기하면서 폴란드식 해법의 토대는 무너진다. 블레츨리 파크의 봄브(bombe)는 폴란드의 봄바를 개량한 물건이 아니라, 짐작 평문(crib)에 기대는 전혀 다른 원리에 고든 웰치먼의 대각 배선판을 더한 새 기계였다.

여기서 진짜 반전이 드러난다. '튜링 단독'이라는 통념도, '빈도분석은 유럽의 발명'이라는 통념도, 결국 기록을 통제한 권력이 남긴 그림자다. 블레츨리의 존재는 1974년까지 기밀이었고, 폴란드는 철의 장막 뒤에 갇혀 있었다. 누가 공로를 기억하느냐는, 누가 서사를 소유하느냐의 문제였다.

자물쇠를 광장 한복판에 걸다

고대의 스키테일부터 에니그마까지, 모든 암호에는 같은 급소가 있었다. 열쇠를 어떻게 상대에게 건네느냐다. 전령이 잡히면 끝이고, 열쇠를 먼저 나눠야만 대화를 시작할 수 있었다. 신뢰의 병목이었다.

이 병목을 1976년에 휘트필드 디피와 마틴 헬먼이 부순다. 논문 '암호학의 새로운 방향'은 "우리는 암호의 혁명 앞에 서 있다"는 문장으로 시작한다. 자물쇠는 누구나 볼 수 있게 광장에 걸어두되, 그 자물쇠를 여는 열쇠는 오직 나만 갖는다는 발상—공개키 암호다. 누구든 열린 자물쇠를 가져다 편지를 채워 보낼 수 있지만, 채워진 자물쇠를 다시 여는 것은 열쇠 주인뿐이다. 열쇠를 미리 나눠 가질 필요가 사라졌으니, 스키테일 이래 모든 암호를 옭아매던 그 병목이 통째로 사라진 것이다. 여기서도 공은 온전히 나뉘지 않았다. 랠프 머클의 기여가 커서, 헬먼 자신이 이 방식을 '디피-헬먼-머클'로 부르자고 했을 정도다.

1977년 리베스트·샤미르·에이들먼의 RSA가 이 발상을 실체로 만든다. 아주 큰 두 소수를 곱하기는 쉽지만, 그 곱을 되돌려 소인수로 쪼개기는 사실상 불가능하다는 수학적 비대칭에 기댄 것이다. 마틴 가드너가 1977년 8월 사이언티픽 아메리칸 칼럼에서 이를 대중에 폭로하며, 국가의 전유물이던 강력한 암호가 처음으로 담장을 넘었다.

이것이 권력 이동의 절정이다. 무언가를 감출 수 있는 능력이 지휘관에게서 학문 기관으로, 다시 국가로 옮겨왔고, 마침내 노트북 한 대를 가진 개인의 손에 떨어졌다. 국가급 비밀이 민주화된 것이다. 미국 정부가 한동안 강력한 암호를 무기와 같은 '군수품'으로 묶어 수출을 규제하려 했던 것도 이 이동이 두려웠기 때문이다.

이미 그곳에 있던 비밀

그런데 마지막 반전이 남아 있다. 공개키는 디피와 헬먼이 세상에 내놓기 전에 이미 발명되어 있었다. 영국 정보기관 GCHQ 안에서다. 제임스 엘리스가 1969년 무렵 '비밀 아닌 암호화'라는 개념을 떠올렸고, 클리퍼드 콕스가 1973년 입사 첫 주에 스물두 살의 나이로 RSA와 사실상 같은 방식을 구현했으며, 맬컴 윌리엄슨이 1974년 디피-헬먼과 등가인 열쇠 교환을 완성했다. 세 발명 모두 국가 기밀로 봉인되었고, 1997년에야 공개되었다. 엘리스는 공개를 한 달 앞두고 세상을 떠났다.

곱씹어볼 대목은 이것이다. 훗날 개인에게 국가에 맞설 비밀의 힘을 쥐여준 바로 그 발명을, 국가는 몇 년 먼저 손에 넣고도 세상에 없는 것으로 묻어두었다. 지식을 소유한다는 것은, 그것을 존재하지 않는 것으로 만들 수 있다는 뜻이기도 했다. 감추는 자와 뚫는 자의 전쟁에서, 진짜 최전선은 늘 '누가 그 능력의 존재 자체를 통제하는가'였다.

오늘 우리는 시그널과 왓츠앱의 종단 간 암호화로, 카이사르도 어떤 제국도 갖지 못한 수준의 비밀을 주머니 속에 넣고 다닌다. 그러자 각국 정부는 다시 백도어를 요구한다. 감추려는 자와 뚫으려는 자의 오랜 전쟁은 형태만 바꿔 지금도 진행 중이다. 그리고 언젠가 양자컴퓨터가 RSA의 소인수분해 장벽을 무너뜨리는 날, 오늘 안전하다 믿고 주고받은 모든 비밀이 소급해 열릴 수도 있다. 다음번 저울이 기우는 순간, 과연 누가 무엇을 감출 수 있게 될 것인가. 암호의 역사가 처음부터 던져온 진짜 질문은 '얼마나 풀기 어려운가'가 아니라, 언제나 '누가 그 힘을 쥐는가'였다.