[책새벽 10회 - 발췌] 인포메이션. pp.279-305.
모임 정리
책새벽
작성자
neomay33
작성일
2022-11-09 07:37
조회
1297
책새벽 10회. 2022년 10월 31일
.
<인포메이션> 제임스 글릭. 박래선, 김태훈 옮김. 2017. 동아시아. pp.279~305.
.
.
녹색아카데미에서는 매주 월요일 아침 6-7시에 온라인 책읽기 모임 '책새벽'을 합니다. 현재는 제임스 글릭의 <인포메이션>을 읽고 있습니다. 지난 시간에 읽은 내용 중 핵심적이라고 생각하는 부분을 발췌해서 옮기고, 중요한 이미지를 넣고 주요 인물에 링크를 걸어두었습니다. 질문이나 토론거리, 함께 보면 좋을 자료들이 있으시면 부담없이 공유해주세요.
.
.
『인포메이션』 목차
.
프롤로그
제1장 말하는 북 ―코드가 아닌 코드
제2장 말의 지속성 ―마음에는 사전이 없다
제3장 두 개의 단어집 ―글의 불확실성, 철자의 비일관성
제4장 생각의 힘을 기어 장치에 ―보라, 황홀경에 빠진 산술가를!
제5장 지구의 신경계 ―몇 가닥 초라한 전선에서 무엇을 기대할 수 있겠는가?
제6장 새로운 전선, 새로운 논리 ―다른 어떤 것도 이보다 미지에 싸인 것은 없다
제7장 정보이론 ―내가 추구하는 것은 평범한 두뇌일 뿐입니다
제8장 정보로의 전환 ―지성을 구축하는 기본 요소
제9장 엔트로피와 그 도깨비들 ―섞인 것을 휘저어 나눌 수 없어요
제10장 생명의 고유 코드 ―유기체의 완전한 설명서는 이미 알에 적혀 있습니다
제11장 밈 풀 속으로 ―당신은 나의 두뇌를 감염시킨다
제12장 무작위성의 감각 ―죄악의 상태에 빠져
제13장 정보는 물리적이다 ―비트에서 존재로
제14장 홍수 이후 ―바벨의 거대한 앨범
제15장 매일 새로운 뉴스 ―그리고 비슷한 뉴스
에필로그 ―의미의 귀환
.
.
.
제7장. 정보이론 - 내가 추구하는 것은 평범한 두뇌일 뿐이다
.
.
p.281. 제2차 세계대전이 한창이던 1943년 초, ... 클로드 섀넌과 앨런 튜링은 매일 휴식시간에 벨연구소에서 만났다. ... 암호에 대한 이야기는 없었지만, 튜링은 섀넌에게 7년 전에 쓴 「연산 가능한 수에 대하여」(On Computable Numbers)라는 논문을 보여 준다. 논문은 이상적인 연산기계의 능력과 한계를 다루고 있었다.
.
p.281-282. 기계가 생각하는 것을 배울 수 있을까? 섀넌이 전자두뇌에 음악 같은 "문화적인 것"을 입력하는 것을 제안하자, ... 튜링은 이렇게 외친 바 있다. "'강력한' 두뇌를 개발하는 일에는 관심이 없습니다. 제가 추구하는 것은 AT&T 회장처럼 '평범한' 두뇌일 뿐입니다."
.
p.282. 섀넌과 튜링이 함께 생각했던 것은 전자공학과 아무 관련이 없었다. 그건 논리에 대한 것이었다. '기계가 생각할 수 있을까?'... 튜링은 정신의 세계에서 상상 속에서나 가능한 이상적 힘을 가진 기계를 구상하고 이 기계가 '할 수 없는' 것이 무엇인지 증명했다. 튜링기계는 ... 단지 사고실험이었을 뿐이다.
.
p.282-283. 기계가 할 수 있는 일에 대한 문제는 이런 물음과 함께 제기되었다. '기계적인'(mechanical) 일은 무엇인가. ... 지적인 연구대상에서 기계적이라고 부를 수 있는 것으로는 알고리즘이 있다. ... 배비지와 러브레이스는 알고리즘이라는 단어를 쓰지는 않았지만 알고리즘에 대한 의견을 서로 교환했다. 20세기가 되자 알고리즘은 중심에 서게 된다.
.
p.283. ... 1936년 튜링은 자신의 지도교수에게 연산가능한 수에 대한 논문을 제출한다. .. 논문의 전체 제목은 「결정 문제에 응용한 연산 가능한 수에 대하여」(On Computable Numbers with an Application to the 'Entscheidungsproblem')였다. "결정 문제"는 1928년 다비드 힐베르트(David Hilbert)가 국제수학자회의에서 내놓은 문제였다.
.
힐베르트는 이렇게 주장했다. "수학에는 알 수 없는 것이 없다." 물론 수학에는 풀리지 않은 문제들이 많았다. ... 하지만 대부분의 사람들은 '아직' 증명되지 않았을 뿐이라고 생각했다. ... '결정문제'는 특별한 연역 추론의 형식 언어에 따라 증명을 자동으로 수행할 수 있는 엄밀한 절차를 찾는 것이다. ... 이 문제를 질문 형식으로 제기하긴 했지만, 힐베르트는 ... 자신이 답을 안다고 생각했던 것이다.
.
p.283-284. 수학과 논리학이 갈림길에 섰던 바로 그때 괴델이 불완전성 정리를 내놓는다. 적어도 불완전성 정리는 러셀과 힐베르트의 낙관주의에 대한 완벽한 해독제였다. 하지만 사실 괴델은 '결정 문제'에 대해 답을 내놓지는 않았다.
.
p.284. 힐베르트는 다음과 같이 세 가지 질문을 던졌다.
수학은 완전한가?
수학은 모순이 없는가?
수학은 결정 가능한가?
.
p.284-285. 앨런 튜링은 완전히 다른 질문을 제기했다. "모든 수는 연산 가능한가?" ... 이것이 의미하는 바는 뭘까? 튜링은 한정된 수단으로 그 수의 십진 표기를 계산할 수 있는 수를 연산 가능한 수라고 정의한다. .... 튜링은 '계산'을 기계적인 절차, 즉 알고리즘으로 정의했다. ... 튜링은 말로 표현할 수 없는 것들을 제거해야 했다. 말 그대로 기계가 무엇을 할 수 있는지를 질문했던 것이다.
.
p.285-286. 튜링은 ... 극도로 순수하고 단순한 다른 종류의 기계를 상상했다. .... 튜링이 자신의 기계에 반드시 필요한 최소 항목으로 열거한 것은 ... 테이프, 기호, 상태(state). '테이프'는 타자기의 종이에 해당한다. ... '기호'는 한 칸에 하나씩 테이프에 표시된다.
.
p.286-287. 튜링은 단어들이 개별적인 기호처럼 작용한다는 사실을 알았다. ... 튜링은 최소주의 정신에 입각해 만들어진 기계와 어울리도록 절대 최소치인 두 개의 기호를 생각했다. 바로 0과 1로 모든 수를 표현하는 이진법이었다. .... 튜링은 테이프에 기록된 기호를 읽는 일에 "스캔"이라는 표현을 썼다.
.
p.287. '상태'는 더 많은 설명이 필요하다. 여기서 튜링은 '구성'(configuration)이라는 단어를 썼는데, ... 기계는 한정 수의 상태를 가진다. 특정한 상태에서 기계는 현재의 기호에 따라 하나 이상의 동작을 한다. ... 특정한 계산에 사용되는 다양한 상태들은 표에 저장됐다. ... 상태표는 사실상 기계의 지시서에 해당했다. 이것이 전부였다.
.
튜링은 자신의 기계를 '프로그래밍'(아직까지는 이 단어를 쓰지는 않았다.)하고 있었다. 이동, 인쇄, 삭제, 상태 변환, 멈춤 같은 원시적인 동작으로 더 큰 프로세스가 구축되었다. ..."기록된 기호의 일부는 ... 단지 '기억을 보조하는' 간략한 메모이다."
.
p.288. 튜링은 기계가 할 수 있는 일과 특정한 과업을 수행하는 방법을 파악하기 위해 상당한 시간을 들였다. 튜링은 이 짧은 프로그램이 사람이 수를 연산하면서 하는 모든 일을 담고 있음을 증명했다.
.
튜링은 괴델이 기호논리학 언어를 코드화했듯이 자신의 기계를 코드화했다. 이 작업은 데이터와 명령 사이의 구분을 없앴다. 결국 두 가지 모두 숫자였다.
.
튜링은 가능한 모든 기계를 모사하는 기계를 (여전히 머릿속에서) 만들었다. 튜링은 이 기계에 "범용"(universal)을 뜻하는 'U'라는 이름을 붙였는데, 지금도 수학자들은 이 용어를 쓰고 있다.
.
p.289-290. 튜링은 일부 수(사실 상 대부분의 수)가 연산 불가능하다는 사실을 증명했다. 또한 모든 수는 수학과 논리학의 코드화된 명제와 일치하기 때문에 튜링은 모든 명제가 결정 가능한지에 대한 힐베르트의 의문도 해결한 셈이었다. '결정 문제'에는 답이 있는데, 그 답은 '아니요'라는 것을 증명한 것이다. 사실상 연산 불가능한 수는 결정 불가능한 명제이다.
.
p.290. 튜링은 형식 체계의 보편 개념을 정의함으로써 괴델에서 한 걸음 더 나아갔다. 공식을 생성하기 위한 모든 기계적 절차는 본질적으로 튜링기계이다. 따라서 '모든' 형식 체계는 결정 불가능한 명제를 가질 수밖에 없다. 수학은 결정 불가능하다. 이 불완전성은 연산 불가능성에서 나온다.
.
기계 자체의 운동을 숫자로 코드화할 때 다시 한 번 역설이 고개를 든다. 재귀적 순환의 필연적 등장이었다. 인식되는 대상은 인식하는 대상과 운명적으로 얽힌다. ... 베르너 하이젠베르크(Werner Heisenberg)의 불확정성원리...를 접한 튜링은 이를 자기참조(self-reference) 개념으로 표현했다.
.
p.291. 튜링은 에이다 러브레이스처럼 자신의 마음속 논리 단계를 밟아나가는 프로그래머였다. 튜링은 자신을 계산기로 상상했다. 튜링은 정신적 과정을 정제해 정보처리의 원자인 최소 구성요소를 정제해냈다.
.
.
◎ ◉ ◎
.
.
p.291. 앨런 튜링과 클로드 섀넌 사이에는 코드라는 공통점이 있었다. 튜링은 지시서를 숫자로, 십진수를 0과 1로 코드화했다. 섀넌은 유전자와 염색체, 릴레이와 스위치를 나타내는 코드를 만들었다. ... 이런 코드화는 숨기기 위한 것이 아니라 밝히기 위한 것이었다. 전쟁은 ... 암호의 세계로 두 사람을 이끌었다.
.
p.292. 전쟁이 임박하자 독일군의 유무선 교신... 메시지를 해독하는 업무는 ... 정부암호연구소 소관으로 넘어간다. 애초 연구소에는 언어학자, 사무원, 타자수만 있었지 수학자는 없었다. 튜링이 이 연구소에 들어간 건 1938년 여름이었다.
.
에니그마로 불리는 독일의 시스템은 자판과 지시등이 달린 서류 가방 크기의 로터 기계로 다표식 암호를 생성 ... 이 암호의 원형은 찰스 배비지가 1854년 해독하기 전까지, 해독 불가능하다고 여겨졌던 유명한 비제네르 암호에서 진화한 것이었다.
.
p.293. ... 연구소에서 튜링은 암호해독을 이론적으로 주도했고, 암호를 수학적으로 또 물리적으로 풀어냈다. ... 튜링의 첫 번째 기계가 가상의 테이프로 돌아가는 상상의 산물이었다면 "봄베"(bombe)라 불리는 이 기계는 2.5세제곱미터의 크기에 수많은 전선과 기름칠한 금속으로 만들었으며, 전자회로에 독일 암호생성기의 로터들을 효과적으로 사상한 것이었다. ... 전쟁 말기 튜링의 봄베는 매일 군이 도청한 수천 건의 암호를 해독하면서 유례없는 규모의 정보를 처리했다.
.
... 이런 모든 정보를 어떻게 평가할 것인지에 대한 튜링의 생각 ... 튜링은 여기서 수학적으로 측정해야 할 것이 있다고 생각했다. ... 튜링은 확률을 '바꾸는' 데이터 ... 튜링은 자신이 '밴'(ban)이라 이름 붙인 단위를 발명했다. ... 밑을 10으로 하는 1밴은 사실의 확률을 10배로 높이는 데 필요한 증거의 무게(증거의 상대적 신뢰성-옮긴이)였다.
.
p.294. 섀넌도 비슷한 개념을 생각하고 있었다. 구웨스트빌리지 본부에서 일하던 섀넌은 암호학의 이론적 개념들을 다듬고 있었다. ... 바로 "소식의 전달을 위한 일반적인 시스템의 근본 속성을 분석하는 것"
.
섀넌은 튜링이 실제 도청 자료와 커다란 하드웨어로 공략하던 암호 시스템을 순수하게 수학적으로 다뤘다. 이를테면 "사용되는 시스템을 적이 알 때" 비제네르 암호는 안전한가라는 구체적인 질문을 수학적으로 다룬 것이다. 섀넌은 이른바 "이산 정보"(한정된 집합에서 선택된 기호의 순서)를 모두 포함하는 가장 일반적인 사례들을 살폈다.
.
p.294-295. 데이터 흐름은 확률론적 혹은 무작위적으로 보이지만 ... 만약 정말로 무작위적이라면 신호를 파악할 수 없을 것이다. 암호는 패턴이 있는 것을 패턴이 없어 보이는 것으로 바꿔야 한다.
.
섀넌은 패턴이 잉여성과 같다고 보았다. 일상 언어에서 잉여성은 이해를 돕는 역할을 한다. 암호분석에서는 바로 그 잉여성이 아킬레스건이다. ... 섀넌은 영어가 약 50퍼센트의 잉여성을 가졌다고 추정했다.
.
p.296. 새넌의 추정은 정확한 것으로 증명됐다. ... 가장 단순한 초기의 대치 암호에서 이런 잉여성은 첫 번째 약점이었다. ... 더 영리한 암호는 대치 글자를 계속 바꿔서 모든 글자가 많은 대치 글자를 갖게 함으로써 약점을 극복했다. ... 하지만 ... 패턴의 흔적이 남는 한 이론적으로 수학자는 파고들 틈을 찾을 수 있다.
.
모든 암호체계의 공통점은 키를 사용한다는 것이었다. 키는 코드 단어, 문구, 책 혹은 더 복잡한 것일 수 있는데, ... 독일의 에니그마 시스템에서 키는 하드웨어에 내재되어 매일 바뀌었다.
.
p.296-297. 한편 섀넌은 가장 동떨어져 있고, 보편적이며, 이론적으로 유리한 관점으로 옮겨갔다. 암호체계는 유한한 수의 가능한 메시지와 암호, 그리고 중간에서 하나를 다른 하나로 전환하는 키로 구성됐으며, 각 요소는 확률과 결부되어 있었다.
.
p.297. 적과 수신자는 모두 같은 목표에 도달하려 한다. 바로 메시지다. ... 섀넌은 물질적 세부사항으로부터 메시지라는 개념을 완전히 추상화시켜 뽑아냈다. ... 섀넌은 대수적 해법과 정리 그리고 증명의 체계를 구축했고, ... 모든 암호체계의 보안성을 평가하는 엄밀한 방식 ... 암호학의 과학적 원칙들을 수립했다.
.
p.298. (섀넌은) 완벽한 암호가 가능하다는 사실을 증명했다. ... 도청한 메시지가 제아무리 길어도 암호해독자에게 하등 쓸모가 없다는 것. ... 하지만 섀넌은 병도 주고 약도 주었다. 완벽한 암호는 요건이 너무나 까다로워서 사실상 쓸모가 없다는 것을 증명했기 때문이다. ... 비밀 보고서(「암호의 수학적 이론」(A Mathematical Theory of Cryptography. 1945)에서 섀넌은 거의 지나가는 내용으로 전에는 한번도 쓴 적이 없는 말을 사용한다. 바로 '정보이론'이었다.
.
.
◎ ◉ ◎
.
.
p.298. 먼저 섀넌은 '의미'를 제거해야 했다. ... "메시지의 '의미'는 대체로 아무 상관이 없다." ... 이론을 만들기 위해서는 '정보'라는 단어를 납치해야 했다. ... "여기서 말하는 '정보'는 일상적인 의미와 관련이 있기는 하지만 그것과 혼동해서는 안 된다."(섀넌)
.
p.298-299. 하지만 정보에서 의미론적 콘텐츠를 제거하면 무엇이 남을까? ... 정보는 불확실성, 의외성, 어려움, 엔트로피였다.
.
p.300-301. 『벨시스템 기술저널』을 비치한 도서관이 드물었기 때문에 연구자들은 ... 입소문을 통해 「통신의 수학적 이론」에 대해 들었고, 저자에게 직접 편지를 써는 전통적 방식으로 사본을 요청했다. ... (사본을 요청하는) 엽서들은 갈수록 늘어났다. 모두가 논문의 내용을 이해한 것은 아니었다.
.
p.301. 업타운에 있는 록펠러재단의 자연과학 디렉터인 워런 위버(Waren Weaver)는 ... 이사장에게 통신이론에 대한 섀넌의 기여가 "물리화학에 기여한 깁스(Gibbs)"에 필적한다고 말했(다). 전시에 정부 산하의 응용수학 연구단을 이끌었던 위버는 대공포제어 프로젝트와 초기 형태의 전자계산기 개발을 관장했다.
.
1949년 위버는 『사이언티픽 아메리칸』에 그리 전문적이지 않은 내용으로 섀넌의 이론을 소개하는 글을 실었다. 그해 말 섀넌의 원문과 위버의 해설문이 함께 묶여 『통신의 수학적 이론』(The Mathematical Theory of Communication)이라는 ... 제목으로 출간됐다.
.
p.302-303. "통신의 근본 문제는 한 지점에서 선택된 메시지를 다른 지점에 정확하게 혹은 비슷하게 재현하는 데 있다."(섀넌) ... '지점'(point)은 신중하게 선택된 단어였다. 메시지의 출발지점과 도달지점은 시간적, 공간적으로 분리되어 있었다. ... 메시지는 만드는 것이 아니라 고르는 것 ... 하나의 선택(이다).
.
p.302. "흔히 그 메시지는 '의미'를 갖는다. 말하자면 메시지는 어떤 체계에 따라 특정한 물리적 혹은 개념적 실체를 나타내거나 상관관계를 보여 준다. 통신의 이러한 의미론적 측면은 공학적 문제와 무관하다."(섀넌) ... 이런 시각은 모든 것을 포괄... "... 사실상 인간의 모든 행동"까지 아우르는 것이다. ... 기계라고 해서 메시지를 보내지 못할 이유가 있을까?
.
p.303. 통신 시스템은 다음과 같은 요소들을 포함해야 한다. 정보 소스, 송신기, 채널, 수신기, 목적지. ... 일상적인 대화의 경우 이런 요소들은 말하는 사람의 뇌, 성대, 공기, 듣는 이의 귀, 듣는 이의 뇌이다.
.
p.303-304. 섀넌의 도표(p.302의 그림)에서 ... 두드러지는 요소는 "잡음 소스"라는 상자였다. ... 잡음은 항상 다루기가 힘들었다. 섀넌은 연속적 시스템과 이산적 시스템이라는 두 가지 다른 유형의 시스템으로 잡음을 다룬다.
.
p.304. 섀넌은 신호를 이산적 기호의 연속으로 바라봄으로써 이 문제(멀리 보낼 때 신호를 증폭할수록 잡음이 심해지는 문제)를 피해갔다. 발신자는 이제 출력을 높이는 대신 오류 정정을 위한 기호를 추가함으로써 잡음을 극복할 수 있다. 이는 마치 아프리카의 북꾼들이 북을 더 세게 치는 것이 아니라 이야기를 장황하게 늘림으로써 멀리 의사를 전달하는 것과 같은 이치였다.
.
그리하여 섀넌은 다시 전신으로 돌아갔다. ... 실제로 전신수들은 점과 선 말고도 서로 구별되는 두 개의 공백도 활용했다. ... 이 네 가지 기호(점, 선, 글자 간 공백, 더 긴 단어 간 공백)는 다른 위상과 확률을 지닌다.
.
p.305. 가령 점이나 선은 어떤 기호 뒤에도 나올 수 있지만 공백은 절대 공백 뒤에 나올 수 없다. 섀넌은 이를 '상태' 개념으로 표현했다. (p.305의 그림)
.
이 구조는 단순한 이진 인코딩 체계와 많이 달랐다. 그럼에도 불구하고 섀넌은 정보량과 채널 용량을 구하는 정확한 공식을 유도하는 방식을 보여 준다. 더 중요한 것은 섀넌이 메시지를 구성하는 언어의 통계적 구조가 미치는 영향에 초점을 맞췄다는 것이다. 바로 이 구조가 존재하기 때문에 시간이나 채널 용량을 절약할 수 있다.
.
(10회 끝.)
전체 0
댓글을 남기려면 로그인하세요.
전체 388
번호 | 제목 | 작성자 | 작성일 | 추천 | 조회 |
공지사항 |
[자료] 자연철학이야기 대담 녹취록, 세미나 녹취록, 카툰 등 링크 모음입니다.
neomay33
|
2023.10.24
|
추천 0
|
조회 2520
|
neomay33 | 2023.10.24 | 0 | 2520 |
373 |
[책꼽문] 책새벽-화/금. 『세계철학사 3』 6장. 기학의 표현주의
neomay33
|
2024.12.09
|
추천 0
|
조회 20
|
neomay33 | 2024.12.09 | 0 | 20 |
372 |
[책꼽문] 책새벽-화/금. 『세계철학사 3』 5장. 표현주의의 두 길.
neomay33
|
2024.11.28
|
추천 0
|
조회 57
|
neomay33 | 2024.11.28 | 0 | 57 |
371 |
<슈뢰딩거의 자연철학 강의> 서평 올립니다. (2)
박 용국
|
2024.11.15
|
추천 1
|
조회 152
|
박 용국 | 2024.11.15 | 1 | 152 |
Re:<슈뢰딩거의 자연철학 강의> 서평 올립니다.
자연사랑
|
2024.11.21
|
추천 1
|
조회 60
|
자연사랑 | 2024.11.21 | 1 | 60 | |
Re:Re:<슈뢰딩거의 자연철학 강의> 서평 올립니다.
박 용국
|
2024.11.23
|
추천 0
|
조회 51
|
박 용국 | 2024.11.23 | 0 | 51 | |
370 |
[책꼽문] 책새벽-화/금. 『세계철학사 3』 4장.환원에서 표현으로. (1)
neomay33
|
2024.11.07
|
추천 0
|
조회 81
|
neomay33 | 2024.11.07 | 0 | 81 |
369 |
[자료 모음] 책새벽-월-시즌5 : 『사피엔스』
neomay33
|
2024.10.28
|
추천 0
|
조회 58
|
neomay33 | 2024.10.28 | 0 | 58 |
368 |
[책꼽문] 책새벽-화/금. 『세계철학사 3』 3장.과학혁명의 전개 (1)
neomay33
|
2024.10.24
|
추천 0
|
조회 81
|
neomay33 | 2024.10.24 | 0 | 81 |
367 |
[자료] 『사피엔스』 비평글 모음 / 순서가 바뀐 그림('우리 사촌들의 얼굴') (1)
neomay33
|
2024.10.20
|
추천 0
|
조회 105
|
neomay33 | 2024.10.20 | 0 | 105 |
Re:[자료] 『사피엔스』 비평글 모음 (2)
자연사랑
|
2024.10.21
|
추천 2
|
조회 118
|
자연사랑 | 2024.10.21 | 2 | 118 | |
366 |
[책꼽문] 책새벽-화/금. 『세계철학사 3』 2장.근대적 합리성의 탄생 (p.75-114) (1)
neomay33
|
2024.10.17
|
추천 0
|
조회 90
|
neomay33 | 2024.10.17 | 0 | 90 |
365 |
[책꼽문] 책새벽-화/금. 『세계철학사 3』 1장 - 2절. ‘외물’에의 지향 (p.44-74)
neomay33
|
2024.10.17
|
추천 0
|
조회 86
|
neomay33 | 2024.10.17 | 0 | 86 |
364 |
장회익 저작 읽기 - 소감과 앞으로 공부 계획 (1)
neomay33
|
2024.10.13
|
추천 0
|
조회 150
|
neomay33 | 2024.10.13 | 0 | 150 |