[책새벽 11회 - 발췌] 인포메이션 pp.306-315.
모임 정리
책새벽
작성자
neomay33
작성일
2022-11-13 14:41
조회
1209
책새벽 11회. 2022년 11월 7일
.
<인포메이션> 제임스 글릭. 박래선, 김태훈 옮김. 2017. 동아시아. pp.306~315.
.
녹색아카데미에서는 매주 월요일 아침 6-7시에 온라인 책읽기 모임 '책새벽'을 합니다. 현재는 제임스 글릭의 <인포메이션>을 읽고 있습니다. 지난 시간에 읽은 내용 중 핵심적이라고 생각하는 부분을 발췌해서 옮겼습니다. 질문이나 토론거리, 함께 보면 좋을 자료들이 있으시면 부담없이 공유해주세요.
.
* 11회 책새벽에서 p.337:1까지 읽었고 이 발췌글은 p.315까지만 했습니다.
그동안 매주 읽은 부분을 발췌해서 올렸는데요. 앞으로는 챕터별로 정리해서 올리려고 합니다. 이렇게 하면 지난 주 읽는 내용을 상기하는 데 발췌글을 이용하지 못하는 경우가 생길텐데요. 그래도 챕터별로 정리하는 게 전체적인 내용을 이해하는 데 더 도움이 될 것 같아 이렇게 해보려고 합니다. ^^
.
.
.
.
.
『인포메이션』 목차
.
프롤로그
제1장 말하는 북 ―코드가 아닌 코드
제2장 말의 지속성 ―마음에는 사전이 없다
제3장 두 개의 단어집 ―글의 불확실성, 철자의 비일관성
제4장 생각의 힘을 기어 장치에 ―보라, 황홀경에 빠진 산술가를!
제5장 지구의 신경계 ―몇 가닥 초라한 전선에서 무엇을 기대할 수 있겠는가?
제6장 새로운 전선, 새로운 논리 ―다른 어떤 것도 이보다 미지에 싸인 것은 없다
제7장 정보이론 ―내가 추구하는 것은 평범한 두뇌일 뿐입니다
제8장 정보로의 전환 ―지성을 구축하는 기본 요소
제9장 엔트로피와 그 도깨비들 ―섞인 것을 휘저어 나눌 수 없어요
제10장 생명의 고유 코드 ―유기체의 완전한 설명서는 이미 알에 적혀 있습니다
제11장 밈 풀 속으로 ―당신은 나의 두뇌를 감염시킨다
제12장 무작위성의 감각 ―죄악의 상태에 빠져
제13장 정보는 물리적이다 ―비트에서 존재로
제14장 홍수 이후 ―바벨의 거대한 앨범
제15장 매일 새로운 뉴스 ―그리고 비슷한 뉴스
에필로그 ―의미의 귀환
.
.
제7장 정보이론 ―내가 추구하는 것은 평범한 두뇌일 뿐입니다 (계속)
.
.
p.306. 메시지의 구조를 밝히기 위해 섀넌은 브라운 운동에서 천체물리학에 이르기까지 확률과정을 다루는 물리학 방법론과 언어에 의지한다. 확률과정은 결정론적이지도, 무작위적이지도 않다. ... 여기서 '사건'을 '기호'로 대체하면 영어나 중국어 같은 자연적 문어도 확률과정이 된다. 디지털화된 말이나 텔레비전 신호도 마찬가지이다.
.
... 섀넌은 메시지가 다음 기호의 확률에 미치는 영향과 관련한 통계적 구조를 분석했다. ... 아무 영향이 없을 수도 있었다. 다시 말해 각 기호는 고유한 확률을 지니며 이전 기호에 좌우되지 않을 수 있다. 이것이 1차 사례. 2차 사례의 경우 각 기호의 확률은 직전 기호에만 좌우될 뿐 다른 모든 기호와는 무관하다. 그러하면 두 기호로 이루어진 각 조합이 고유한 확률은 지닌다.
.
p.307. 섀넌은 차수에 따른 구조 사이의 차이를 밝히기 위해 영어 텍스트를 대상으로 일련의 "근삿값"을 기록(말 그대로 계산)했다. ... 미리 제시된 무작위적 수를 활용한다고 해도 기호열을 만들어내는 일은 어려웠다. 본보기로 제시된 텍스트는 아래와 같았다.
.
p.307-308.
- "0차 근삿값" : 각 글자가 아무 구조나 상관관계 없이 무작위로 나열. : XFOML RXKHRJFFJUJ ZLPWCFWKCYJ
- 1차 : 각 글자는 서로의 영향을 받지 않지만 통계적 빈도를 따름. 'z'와 'j' 보다 'e'와 't'가 더 많이 나오며 , 단어의 길이도 현실적으로 보임. : OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA
- 2차 : 각 글자와 두 글자의 조합이 통계적 빈도를 따름. : ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN
- 3차 : 세 글자 조합 구조 : IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID
- 1차 단어 근삿값 : REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN
- 2차 단어 근삿값 : 단어의 쌍이 예상 빈도로 나타남. THE HEAD AND IN FRONTAL ATTACK ON A ENGLISH
.
p.309. 섀넌은 추가 근삿값을 만들 수 있었지만, 여기에는 엄청나게 많은 시간이 필요했다. 요점은 메시지를 이산적 확률로 사건을 발생시키는 프로세스의 결과로 나타내는 것. 그렇다면 정보량 혹은 정보 생성률에 대해 무엇을 말할 수 있을까?
.
섀넌은 'H'로 표기되는 정보의 척도를 "사건에 '선택'이 얼마나 개입하는지 혹은 결과가 얼마나 불확실한지" 말해주는 불확실성의 척도로 정의하려 했다.
.
p.309-310. 섀넌은 확률함수로 정보를 측정하는 명쾌한 해결책을 내놓는다. 바로 로그 가중치를 둔 확률의 합을 구하는 공식. 이는 메시지의 불가능성을 보여주는 평균로그, 사실상 의외성의 척도였다.
.
H = −∑pi log2 pi 여기서 pi 는 각 메시지의 확률.
.
p.310. 섀넌은 ... 이 공식의 값은 "정보이론에서 정보, 선택, 불확실성의 척도로서 중심적인 역할을 한다"라고 주장했다. 실제로 H는 어디에나 존재하며, 통상적으로 메시지의 엔트로피, 혹은 섀넌 엔트로피 아니면 간단히 정보로 불렸다.
.
측정의 새로운 단위가 필요했다. "결과로 나온 단위는 이진수 혹은 더 간단하게 '비트'(bit)로 부를 수 있다."(섀넌) ... 동전 던지기(의 경우) p1과 p2는 각각 2분의 1이며, 밑이 2인 2분의 1의 로그는 −1이다. 따라서 H는 1비트이다.
.
이 지점에서 자연어의 통계적 구조가 다시 개입된다. ... 섀넌은 여덟 자까지의 상관관계를 살펴서 영어에 약 50퍼센트의 잉여성이 내재해 있다고 추정했다.
.
p.310-311. 섀넌은 통계적 효과의 범위를 문장과 단락 수준까지 더 길게 고려해 추정치를 75퍼센트로 높였다. 하지만 이 추정치는 "더 불규칙하고 불확실하며, 텍스트의 유형에 크게 좌우된다"라는 경고를 덧붙였다.
.
p.311. 잉여성을 측정하는 한 가지 방법은 투박할 정도로 경험적이었다. 바로 사람을 대상으로 실행하는 심리실험. ... 섀넌은 실제로 아내인 베티를 대상으로 실험했다. 책장에서 책을 꺼내 무작위로 짧은 문장을 손가락으로 가린 다음 한 글자씩 추정하게 했다.
.
p.311-312. 이전에 나온 것을 토대로 추측할 수 있는 글자는 잉여성이 있으며, 잉여성이 있는 한 새로운 정보는 없다. ... 역설적으로 들리지만 무작위적 메시지가 '더 많은' 정보를 전달한다. 이는 전송이나 저장을 위해 자연어 텍스트를 더 효율적으로 인코딩할 수 있다는 것을 의미한다.
.
p.312. 섀넌은 각각 다른 기호들의 상이한 확률을 이용한 알고리즘으로 이것을 보여준다. ... 그중 하나는 모든 통신채널의 절대적인 제한 속도(섀넌 한계), 즉 채널 용량을 구하는 공식 ... 다른 하나는 이 한계 안에서 언제나 모든 수준의 잡음을 극복하는 오류정정 체계를 고안할 수 있다는 사실을 밝힌 것.
.
효율성을 높이기 위해 잉여성을 제거하든 혹은 오류 정정을 위해 잉여성을 더하든 간에 인코딩은 언어의 통계적 구조에 대한 지식에 좌우된다. 정보는 확률과 분리될 수 없다.
.
p.313. ... 어느 날 섀넌은 벨연구소 동료인 30대의 물리학자 윌리엄 쇼클리(William Shockley)의 사무실에 들른다. ... 쇼클리의 책상 위에는 반도체 결정으로 만든 작은 시제품(고체 증폭기)이 놓여 있었다. ... 당시까지 이 장치는 이름이 없었다.
.
◎ ◉ ◎
.
p.313-315. 『통신의 수학적 이론』의 출간을 앞둔 1949년 어느 여름날 ... 섀넌은 공책 위에서 아래까지 수직선을 긋고 100에서 1013까지 칸을 나눴다(p.314 그림. 비트 저장용량). ... 섀넌은 이 선에 용량별로 정보를 "저장"할 수 있는 대상들을 나열하기 시작했다.
.
3비트 : 탁상용 가산기에 들어가는 숫자바퀴
103 : 천공카드
104 : 한 줄 간격으로 작성된 페이지
105 : 인간의 유전적 구조
...
.
이는 당대의 과학적 사고에 전례가 없는 것이었다. DNA 구조의 발견은 몇 년 후의 일이었다. 섀넌은 게놈이 비트로 측정할 수 있는 정보 저장소라는 개념을 처음 제시했다.
.
("7장. 정보이론" 끝.)
전체 0
댓글을 남기려면 로그인하세요.
전체 403
| 번호 | 제목 | 작성자 | 작성일 | 추천 | 조회 |
| 공지사항 |
[자료] 자연철학이야기 대담 녹취록, 세미나 녹취록, 카툰 등 링크 모음입니다.
neomay33
|
2023.10.24
|
추천 0
|
조회 3309
|
neomay33 | 2023.10.24 | 0 | 3309 |
| 387 |
브루노 라투르 "Facing Gaia" - 기포드 강연 보기 (1)
neomay33
|
2025.05.10
|
추천 0
|
조회 72
|
neomay33 | 2025.05.10 | 0 | 72 |
| 386 |
6월 모임 준비 - 라투르의 책 세 권을 다룬 논문 소개 (6)
neomay33
|
2025.05.10
|
추천 0
|
조회 84
|
neomay33 | 2025.05.10 | 0 | 84 |
| 385 |
온생명 이론의 의의에 대한 한 생각 (말미 미완) (1)
시인처럼
|
2025.05.09
|
추천 0
|
조회 51
|
시인처럼 | 2025.05.09 | 0 | 51 |
Re: [질문] 낱생명, 개인, 개체, 자유주의의 문제
자연사랑
|
2025.05.09
|
추천 0
|
조회 51
|
자연사랑 | 2025.05.09 | 0 | 51 | |
| 384 |
어제 모임의 토론에 이어 (1)
박 용국
|
2025.04.11
|
추천 2
|
조회 85
|
박 용국 | 2025.04.11 | 2 | 85 |
| 383 |
녹색문명공부모임- 숙제 (4)
kyeongaelim
|
2025.04.10
|
추천 1
|
조회 76
|
kyeongaelim | 2025.04.10 | 1 | 76 |
| 382 |
민주주의와 온생명 (2)
박 용국
|
2025.04.06
|
추천 1
|
조회 138
|
박 용국 | 2025.04.06 | 1 | 138 |
| 381 |
한강의 생명과 장회익의 생명 (2)
박 용국
|
2025.02.01
|
추천 3
|
조회 276
|
박 용국 | 2025.02.01 | 3 | 276 |
| 380 |
[자료] 책새벽-목-문예사1 : 선사시대 관련 책
neomay33
|
2025.01.16
|
추천 0
|
조회 236
|
neomay33 | 2025.01.16 | 0 | 236 |
| 379 |
[자료] 『Cosmos』 읽으면서 초반에 알아두면 도움되는 내용
neomay33
|
2025.01.09
|
추천 0
|
조회 354
|
neomay33 | 2025.01.09 | 0 | 354 |
| 378 |
[자료] 「Cosmos」 다큐(2014, 1980) 영상보기 링크
neomay33
|
2024.12.31
|
추천 0
|
조회 2181
|
neomay33 | 2024.12.31 | 0 | 2181 |
