. 

. 

<인포메이션> 제임스 글릭. 박래선, 김태훈 옮김. 2017. 동아시아. 제10장. pp.439-479.

.

.

.

프롤로그 

제1장 말하는 북 ―코드가 아닌 코드 

제2장 말의 지속성 ―마음에는 사전이 없다 

제3장 두 개의 단어집 ―글의 불확실성, 철자의 비일관성 

제4장 생각의 힘을 기어 장치에 ―보라, 황홀경에 빠진 산술가를! 

제5장 지구의 신경계 ―몇 가닥 초라한 전선에서 무엇을 기대할 수 있겠는가? 

제6장 새로운 전선, 새로운 논리 ―다른 어떤 것도 이보다 미지에 싸인 것은 없다 

제7장 정보이론 ―내가 추구하는 것은 평범한 두뇌일 뿐입니다 

제8장 정보로의 전환 ―지성을 구축하는 기본 요소 

제9장 엔트로피와 그 도깨비들 ―섞인 것을 휘저어 나눌 수 없어요 

제10장 생명의 고유 코드 ―유기체의 완전한 설명서는 이미 알에 적혀 있습니다

제11장 밈 풀 속으로 ―당신은 나의 두뇌를 감염시킨다

제13장 정보는 물리적이다 ―비트에서 존재로

제14장 홍수 이후 ―바벨의 거대한 앨범 

제15장 매일 새로운 뉴스 ―그리고 비슷한 뉴스 

에필로그 ―의미의 귀환

.

.

.

p.445.  무작위성은 질서라는 측면에서 정의할 수 있다. 말하자면 무작위성은 질서가 없는 것이다.

.

p.443.  무지는 주관적이다. 무지는 관찰자의 속성이다. 무작위성은 (만약 존재한다면) 사물 자체의 속성일 것이다. 인간을 배제하면 사건, 선택, 분포, 게임, 혹은 가장 간단하게 수는 무작위적이라고 말하고 싶을 것이다.

.

p.446.  무작위성을 예측하고 인식하는 일 모두에서 인간의 직관은 쓸모없다는 것을 연구자들이 입증한 바 있다. 인간은 무심결에 패턴을 향해 흘러간다.

.

◎   ◉   ◎

.

p.447.  섀넌은 정보이론을 처음 확립하면서 메시지를 통계적으로 다루었다. 메시지를 모든 가능한 메시지 전체에서 선택된 것으로 본 것이다. 하지만 섀넌은 동시에 메시지 내의 잉여성, 즉 메시지를 압축할 수 있게 만드는 패턴, 규칙성, 질서도 고려했다. 메시지의 규칙성이 클수록 예측성이 높아진다. 예측성이 높을수록 잉여성은 커진다. 잉여성이 클수록 포함하는 정보는 줄어드는 것이다.

.

◎   ◉   ◎

p.448-449.  체이틴(Gregory Chaitin. 1947-)의 머리를 떠나지 않았던 것은 튜링기계였다. 무한한 테이프를 따라 앞뒤로 왔다 갔다 하면서 기호를 읽고 쓰는 튜링기계는 이른바 명쾌한 추상화의 극치였다. ... 폰 노이만 역시 계속 튜링기계로 되돌아왔다. ... 튜링의 U는 초월적 힘을 지녔다. 범용 튜링기계는 다른 디지털 컴퓨터를 모사할 수 있었던 것이다.

.

.

.

p.449.  벨연구소에서 MIT로 옮긴 클로드 섀넌은 1956년 튜링기계를 재분석했다. 튜링기계를 최대한 단순화시킨 섀넌은 범용 컴퓨터를 두 개의 내부 상태만으로 구축할 수 있음을 증명한다. 0과 1이라는 단 두개의 기호 혹은 공백과 비공백만으로 범용 컴퓨터를 만들 수 있음을 증명한 것이다.

.

p.450-451.  체이틴은 패턴과 질서가 연산 가능성을 표현한다고 말했다. 알고리즘은 패턴을 생성한다. 따라서 우리는 '알고리즘의 크기'를 통해 연산 가능성을 가늠할 수 있다. 주어진 수에 대해 우리는 "이 수를 생성할 가장 짧은 프로그램의 길이는 무엇인가?"라고 물을 수 있다. 튜링기계의 언어를 활용하면 이 질문은 비트로 측정되는 명확한 답을 가질 수 있다.

.

무작위성을 알고리즘으로 정의한 체이틴의 방식을 보면 정보를 알고리즘으로 정의할 수 있다. 알고리즘의 크기는 주어진 수열이 얼마나 많은 정보를 담는지 말해준다.

.

p.452.  체이틴은 논문을 『연산기계학회 저널』로 보냈다. 편집진은 논문을 흔쾌히 출판하려고 했지만, 소련에서 비슷한 논문이 나왔다는 소문을 접한 한 심사위원의 말을 듣게 된다. .... 1966년 초 『정보 전달의 문제』 첫 호...에는 안드레이 니콜라예비치 콜모고로프(Andrei Nikolaevich Kolmogorov. 1903-1987)가 쓴 「'정보량' 개념의 정의에 대한 세 가지 접근법」이라는 제목의 논문이 실려 있었다.

.

◎   ◉   ◎

.

p.456.  콜모고로프는 조합론적 접근법, 확률론적 접근법, 알고리즘적 접근법이라는 세 가지 접근법을 설명한다. 첫 번째와 두 번째는 섀넌의 접근법을 다음은 것이었다. ... 이를테면 가능한 메시지 집합에서 어떤 특정 메시지가 선택될 확률에 초점을 맞춘 것이다.

.

p.456-457.  정보를 측정하는 세 번째 접근법인 알고리즘적 접근법은 가능한 대상의 총체에서 출발해야 하는 난점을 없앴다. 이 접근법은 대상 자체에 초점을 맞췄다. 콜모고로프는 ... 새로운 단어를 제안한다. 바로 '복잡성'(complexity)이다. ... 대상이 단순할수록 담고 있는 정보도 적다. 복잡성이 높을수록 담고 있는 정보도 많다. 아울러 콜모고로프는 그레고리 체이틴과 마찬가지로 알고리즘을 토대로 복잡성을 계산함으로써 이 개념을 확고한 수학적 토대 위에 놓았다. 

.

p.457-458.  어떤 대상의 콜모고로프 복잡성은 그 대상을 생성하는 데 필요한 가장 짧은 알고리즘의 비트 단위 크기이다. 이는 또한 정보량이기도 하다. 아울러 무작위성의 정도이기도 하다. ... 정보, 무작위성, 복잡성, 이 세가지는 근본적으로 동일하다.

.

p.458.  콜코고로프가 보기에 이런 개념은 확률론뿐만 아니라 물리학에도 속했다. ... 다시 한 번 엔트로피가 핵심이었다. ... 콜모고로프는 1970년대에 일어난 카오스 이론 르네상스의 토대를 놓고 있었다. 카오스 이론은 엔트로피와 정보 차원(information dimensioin)에 따라 동역학계를 분석했다. 이제는 동역학계가 정보를 생성한다는 말을 이해할 수 있었다. 동역학계를 예측할 수 없다면, 이는 엄청난 정보를 생성한다는 말이었다.

.

◎   ◉   ◎

p.460-461.  체이틴과 콜모고로프는 알고리즘적 정보이론을 만드면서 베리의 역설(Berry paradox)되살렸다. 알고리즘은 수를 명명한다. ... "베리의 역설은 원래 영어에 대해 이야기하지만, 이는 너무 모호하다. 나는 대신 컴퓨터 프로그래밍 언어를 선택한다." 당연히 체이틴이 선택한 것은 범용 튜링기계의 언어였다.

.

p.464-465.  양자물리학에서, 그리고 나중에 나온 카오스 이론에서 과학자들은 지식의 한계를 발견했다. ... 이들의 교훈 중 몇 가지를 보자.

.

.

◎   ◉   ◎

p.466-467.  섀넌이 보기에 압축이 핵심이었다. .... 레이 솔로모노프는 1950년대 초반 섀넌의 논문을 접하고는 섀넌이 정보 패킹 문제라 말한 것에 천착 ... 이 문제는 주어진 수의 비트에 얼마나 많은 정보를 '담을' 수 있는지 혹은 반대로 어떤 정보가 주어졌을 때 가능한 한 가장 적은 비트에 어떻게 담을 것인지를 다루었다.

.

솔로모노프는 ... 자신이 '귀납'의 문제에 초점을 맞추고 있음을 깨달았다. ... 이론을 만들려면 일반화를 해야 하고, 언제나 무작위성과 잡음에 의해 영향받는 데이터에서 패턴을 찾아야 한다. 기계가 이 일을 하게 만들 수 있을까? 다시 말해 컴퓨터가 경험을 통해 배우도록 만들 수 있을까?

.

p.468.  솔로모노프는 이렇게 썼다. "발견된 과학 법칙은 우주에 대한 수많은 경험적 데이터를 간략하게 요약한 것으로 볼 수 있다. 각 법칙은 현재의 맥락 안에서 그 법칙의 토대가 되는 경험적 데이터를 긴밀하게 코딩하는 수단으로 전환될 수 있다."

.

솔로모노프, 콜모고로프, 체이틴은 세 가지 다른 문제와 씨름했고, 같은 해답을 제시했다. 솔로모노프의 관심은 귀납적 추론. 콜모고로프는 무작위성을 수학적으로 정의하는 방법. 체이틴은 튜링과 섀넌을 거쳐 괴델의 불완전성에 이르는 난해한 길을 찾고 있었다.

.

이들 모두는 최소 프로그램 크기에 이르렀다. 또한 결국 이들은 복잡성에 대해 논하게 된다.

.

p.469.  메시지에서 무작위적이지 않은 모든 것은 압축할 수 있다는 사실을 처음 보여준 것은 섀넌이었다.

.

p.469-470.  무작위적 수열은 '정규적'이다. 정규적이라는 전문용어는, 각 수는 평균적으로 결국에는 다른 수와 똑같이 나온다는 뜻이다. ... 특정한 수의 어떤 수열도 같은 길이의 다른 수열보다 등장할 확률이 높지 않다. ... 진정한 무작위적 수열은 정규적이어야 하지만 그 역이 반드시 성립하지는 않는다.

.

p.471-472.  회선의 양쪽 끝이 지식을 공유한다는 문제는 상황을 복잡하게 한다. ... 우리는 외계인들에게 무엇을 말할 수 있을까? 무엇을 말해야 할까? 수학 법칙은 보편적이므로 우리는 파이(?)가 모든 지적 종족이 인식할 수 있는 메시지일 것이라고 생각하는 경향이 있다.

.

p.472.  다시 말하지만, 메시지는 알고리즘이다. 또한 수신자는 기계이다. 즉, 창의성도 없고 불확실성도 없으며, 기계 안에 내장된 '지식' 외에는 아무런 지식도 없다. 1960년대가 되자 디지털 컴퓨터는 이미 지시문을 비트로 측정되는 형식으로 받기 시작 ... 따라서 어떤 알고리즘에 얼마나 많은 정보가 포함됐는지 생각하는 것이 당연했다.

.

◎   ◉   ◎

p.477.  따라서 최소 프로그램 크기로 복잡성을 정의하는 것이 완벽해 보인다. ... 하지만 달리 보면 여전히 불만족스럽다. 특히 예술, 생물학, 지성과 같은 거대 질문에 대해서는 더욱 그렇다.

.

우리가 중요하게 생각하는 모든 것은 패턴과 무작위성이 얽히는 곳 중간 어딘가에 존재한다. ... 찰스 베넷(Charles Bennett. 1943-)은 논리적 깊이'(logical depth)라는 새로운 가치 척도 연구를 진행했다. ... 깊이는 메시지의 유용성을 포착한다는 것을 의미.

.

p.478.  메시지에서 순전히 무작위성과 예측 불가능성만 있는 부분에는 논리적 깊이가 없다. 명백한 잉여성, 즉 평범한 반복과 복제만 있는 부분에도 논리적 깊이가 없다. ... 메시지의 가치는 "묻혀 있는 잉여성으로 부를 수 있는 것, 즉 어렵게 예측할 수 있는 부분, 원칙적으로 수신자가 말을 듣지 않고도 파악할 수 있지만 돈이나 시간 혹은 연산 측면에서 상당한 비용을 치러야만 하는 것"에 있다(베넷).

.

p.478-479.  베넷은 논리적 깊이 개념을 자기 조직화의 문제, 즉 자연에서 복잡한 구조가 어떻게 발달하는지에 대한 질문에 적용한다. 진화는 단순한 초기조건에서 시작 ... 이를 기반으로 복잡성이 발생한다.

.

(제12장 끝.)