Какой объем информации содержится в сообщении о дне и месяце рождения
Пример 1. На шахматной доске в одной из клеток произвольным образом поставлена фигура. Априори все положения фигуры на доске одинаково вероятны. Определить информацию, получаемую от сообщения, в какой именно клетке находится фигура.
Решение. Энтропия системы с равновероятными состояниями равна ; в данном случае
(дв. ед.),
т. е. сообщение содержит 6 двоичных единиц информации. Так как все состояния системы равновероятны, то ту же информацию несет и любое конкретное сообщение типа: фигура находится в квадрате е2.
Пример 2. В условиях примера 1 определить частную информацию от сообщения, что фигура находится в одной из угловых клеток доски.
Решение. Априорная вероятность состояния, о котором сообщается, равна
.
Частная информация равна
(дв. ед.).
Пример 3. Определить частную информацию, содержащуюся в сообщении впервые встреченного лица : «сегодня мой день рождения».
Решение. Априори все дни в году с одинаковой вероятностью могут быть днями рождения лица . Вероятность полученного сообщения . Частная информация от данного сообщения
(дв. ед.).
Пример 4. В условиях примера 3 определить полную информацию от сообщения, выясняющего, является ли сегодняшний день днем рождения впервые встреченного лица .
Решение. Система, состояние которой выясняется, имеет два возможных состояния: — день рождения и — не день рождения. Вероятности этих состояний ; .
Полная информация равна:
(дв. ед.).
Пример 5. По цели может быть произведено независимых выстрелов; вероятность поражения цели при каждом выстреле равна . После -го выстрела производится разведка, сообщающая, поражена или не поражена цель; если она поражена, стрельба по ней прекращается. Определить из того условия, чтобы количество информации, доставляемое разведкой, было максимально.
Решение. Рассмотрим физическую систему — цель после -го выстрела. Возможные состояния системы будут
— цель поражена;
— цель не поражена.
Вероятности состояний даны в таблице:
Очевидно, информация, доставляемая выяснением состояния системы , будет максимальна, когда оба состояния и равновероятны:
,
откуда
,
где — знак двоичного логарифма.
Например, при получаем (округляя до ближайшего целого числа)
.
Пример 6.Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.
Решение.Информационный объем сообщения переведем в биты:
I=1,25 Кбайт = 10 240 бит
Определим количество бит, приходящееся на один символ сообщения:
10240/2048 = 5 бит
Определим количество символов в алфавите:
N = 2I= 25= 32
Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование, а именно: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» или «нет», с помощью которых можно приобрести ту же информацию. Действительно, рассмотрим систему с двумя состояниями:
Чтобы выяснить состояние этой системы, достаточно задать один вопрос, например: находится ли система в состоянии ? Ответ «да» или «нет» на этот вопрос доставляет некоторую информацию, которая достигает своего максимального значения 1, когда оба состояния априори равновероятны: . Таким образом, максимальная информация, даваемая ответом «да» или «нет», равна одной двоичной единице.
Если информация от какого-то сообщения равна двоичным единицам, то она равносильна информации, даваемой ответами «да» или «нет» на вопросы, поставленные так, что «да» и «нет» одинаково вероятны.
В некоторых простейших случаях для выяснения содержания сообщения действительно удается поставить несколько вопросов так, чтобы ответы «да» и «нет» на эти вопросы были равновероятны. В таких случаях полученная информация фактически измеряется числом таких вопросов.
Если же поставить вопросы точно таким образом не удается, можно утверждать только, что минимальное число вопросов, необходимое для выяснения содержания данного сообщения, не меньше, чем информация, заключенная в сообщении. Чтобы число вопросов было минимальным, нужно формулировать их так, чтобы вероятности ответов «да» и «нет» были как можно ближе к .
Пример 7. Некто задумал любое целое число от единицы до восьми
,
а нам предлагается угадать его, поставив минимальное число вопросов, на каждый из которых дается ответ «да» или «нет».
Решение. Определяем информацию, заключенную в сообщении, какое число задумано. Априори все значения от 1 до 8 одинаково вероятны: , и формула (18.5.2) дает
.
Минимальное число вопросов, которые нужно поставить для выяснения задуманного числа, не меньше трех.
В данном случае можно, действительно, обойтись тремя вопросами, если сформулировать их так, чтобы вероятности ответов «да» и «нет» были равны.
Пусть, например, задумано число «пять», мы этого не знаем и задаем вопросы:
Вопрос 1. Число меньше пяти?
Ответ. Нет. (Вывод: — одно из чисел 5, 6, 7, 8.)
Вопрос 2. Число меньше семи?
Ответ. Да. (Вывод: — одно из чисел 5, 6.)
Вопрос 3. Число меньше шести?
Ответ. Да. (Вывод: число равно пяти.)
Легко убедиться, что тремя такими (или аналогичными) вопросами можно установить любое задуманное число от 1 до 8.
Задания для самостоятельного выполнения.
1. Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?
| 2. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8, после первого хода первого игрока, играющего крестиками? |
3.В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?
4.Происходит выбор одной карты из колоды в 32 карты. Какое количество информации мы получаем в зрительном сообщении о выборе определенной карты?
5.Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке хранятся:
а) 25 белых, 25 красных, 25 синих и 25 зеленых шариков;
б) 30 белых, 30 красных, 30 синих и 10 зеленых шариков.
6.Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения?
7.Заполнить пропуски числами:
а) 5 Кбайт = __ байт = __ бит,
б) __ Кбайт = __ байт = 12288 бит;
в) __ Кбайт = __ байт = 213 бит;
г) __Гбайт =1536 Мбайт = __ Кбайт;
д) 512 Кбайт = 2__байт = 2__ бит.
8.Найти x из следующих соотношений:
а) 16x бит = 32 Мбайт;
б) 8x Кбайт = 16 Гбайт.
9. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта.
10.Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере равна 256. Какое количество информации в байтах может ввести пользователь в компьютер за 1 минуту.
11.Система оптического распознавания символов позволяет преобразовывать отсканированные изображения страниц документа в текстовый формат со скоростью 4 страницы в минуту и использует алфавит мощностью 65536 символов. Какое количество информации будет нести текстовый документ после 5 минут работы приложения, страницы которого содержат 40 строк по 50 символов.
Ответы
1. 3 бита.
2. 6 бит.
3. 7 бит.
4. 5 бит.
5. а) 2 бита;
б) » 1,9 бит.
6. 9 (5 для определения числа и 4 для определения месяца).
7. а) 5 Кбайт = 5120 байт = 40 960 бит;
б) 1,5 Кбайт = 1 536 байт = 12288 бит;
в) 1 Кбайт = 210 байт = 213 бит;
г) 1,5 Гбайт = 1536 Мбайт = 1 572 864 Кбайт;
д) 512 Кбайт = 219 байт = 222 бит.
8. а) х = 7;
б) х = 8.
9. 256 символов.
10.8 бит x 100 » 100 байт
11. 16 бит x 50 x 40 x 5 x 4 » 78 Кбайт
Читайте также:
Рекомендуемые страницы:
©2015-2020 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-12-29
Нарушение авторских прав и Нарушение персональных данных
Инфоурок
›
Информатика
›Презентации›Презентация по информатике по теме» Определение количества информации»
Описание презентации по отдельным слайдам:
1 слайд
Описание слайда:
Единицы измерения информации. Подходы к определению количества информации
2 слайд
Описание слайда:
ИНФОРМАЦИЯ Понятие «информация» является общенаучным, используется в информатике, физике, кибернетике, биологии и др. науках Физика Рассматривается мера сложности и упорядоченности системы Биология Связывается с целесообразным поведением животных Используется в связи с исследованиями механизмов наследственности Кибернетика Связано с процессами управления в сложных системах (живых организмах или технических устройствах)
3 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Вероятностный подход Алфавитный подход ИНФОРМАЦИЯ Подходы к измерению информации по отношению к человеку по отношению к техническим устройствам Знания Последовательность символов, сигналов Через неопределенность знаний с учетом вероятности событий Через количество символов с учетом информационного веса символов
4 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ: вероятностный подход Информация для человека — это знания знание ЗНАНИЕ Информация, которую получает человек, приводит к уменьшению неопределенности знаний незнание
5 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Информация, которую получает человек, приводит к уменьшению неопределенности знаний Сообщение о результате приводит в уменьшению неопределенности наших знаний в 2 раза. Возможные события. Они равновероятны Произошедшее событие
6 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Сколько равновероятных событий может произойти при бросании равносторонней четырехгранной пирамидки, шестигранного куба? ? ? Во сколько раз уменьшится неопределенность наших знаний при наступлении этих событий?
7 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Единицей количества информации является 1 бит – величина, уменьшающая неопределенность в два раза. Какое количество информации получено при наступлении события?
8 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ 1 байт = 23 бит = 8 бит 1 Кбайт = 210 байт = 1024 байт 1 Мбайт = 210 Кбайт = 1024 Кбайт 1 Гбайт = 210 Мбайт = 1024 Мбайт 1 Тбайт=210 Гбайт = 1024 Гбайт 1 PB (петабайт) = 210 Tбайт 1 EB (эксабайт) = 210 Пбайт 1 ZB (зеттабайт) = 210 Эбайт 1 YB (йоттабайт) = 210 Збайт
9 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ Какова связь между количеством возможных событий и количеством полученной информации? 1 бит – величина, уменьшающая неопределенность в два раза Количество возможных событий Количество полученной информации
10 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ: содержательный (вероятностный) подход Для равновероятных событий: N = 2I где N – количество возможных событий, I – количество информации Для событий с различными вероятностями (формула Шеннона): где N – количество возможных событий, I – количество информации, pi – вероятность i-го события
11 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет? N = 2I 8 = 2I Ответ: 3 бита
12 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8 после первого хода первого игрока, играющего крестиками? N = 2I 64 = 2I Ответ: 6 бит
13 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ Сообщение о том, что ваш друг живет на десятом этаже несет в себе 4 бита информации. Сколько этажей в доме? N = 2I N = 24 Ответ: 16
14 слайд
Описание слайда:
Пример: После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегося A, который выучил лишь половину билетов, и сообщение об оценке учащегося B, который выучил все билеты.
15 слайд
Описание слайда:
Решение Для учащегося A все четыре оценки (события) равновероятны тогда количество информации, которое несет сообщение об оценке находим по формуле: I = log24 = 2 бит Для учащегося B наиболее вероятной оценкой является «5» (p1 = 1/2), вероятность оценки «4» в два раза меньше (p2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p3 = p4 = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой: I = -(1/2log21/2 + 1/4log21/4 + 1/8log21/8 + 1/8log21/8) бит = 1,75 бит Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.
16 слайд
Описание слайда:
Задача В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.
17 слайд
Описание слайда:
Решение Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков: Рб = 0,1; Рк = 0,2; Рс = 0,3; Рз = 0,4 События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой: I = -(0,1log2 0,1+ 0,2log2 0,2 + 0,3log2 0,3 + 0,4log2 0,4) бит = 1,85 бит
18 слайд
Описание слайда:
Задача Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?
19 слайд
Описание слайда:
Решение Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).
20 слайд
Описание слайда:
Решение Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое — ответу «Нет». Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).
21 слайд
Описание слайда:
Решение По формуле получаем: I = log212 3,6 бит Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.
22 слайд
Описание слайда:
Пример1 Сколько бит информации несет сообщение о том, из колоды в 32 карты достали даму пик?
23 слайд
Описание слайда:
Решение N = 2i N=32 — число карт в колоде. i — количество информации в сообщении о результате вытаскивания одной карты (дамы пик), то имеем уравнение: 2i=32. 2i=25, т.к. 32=25, то, i = 5бит.
24 слайд
Описание слайда:
Пример 2 Сколько информации несет сообщение о том, что из колоды карт достали карту красной масти? Решение. N = 2i N = 2 2=2i I =1 Ответ: (1 бит, так как красных и черных карт одинаковое количество).
25 слайд
Описание слайда:
Пример 3 Сколько информации несет сообщение о том, что из колоды карт достали карту бубновой масти? Решение. N = 2i N = 4 22=2i I =2 Ответ: (2 бита, так как всего в колоде 4 масти и количество карт в них равные).
26 слайд
Описание слайда:
Пример4 Проводится две лотереи: «4 из 32» и «5 из 64». Сообщение о результатах какой из лотерей несет больше информации?
27 слайд
Описание слайда:
Решение Выбор 1-го шара производится из 32 шаров в барабане. 2i = 32. 2i = 25 . Результат i=5 бит информации. 2-й шар будет выбираться уже из 31 номера, 2i = 31, i = 4,95420 бит. 3-й — из 30 номеров, 2i = 30; i = 4,90689 бит 4-й — из 29, 2i = 29; i = 4,85798 бит. Cумма S=5 + 4,95420 + 4,90689 + 4,85798 = 19,71907 бит. Ответ: второе сообщение несет больше информации, чем первое
28 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ 1. В рулетке общее количество лунок равно 128. Какое количество информации мы получим при остановке шарика в одной из лунок? 2. Происходит выбор одной карты из колоды в 32 карты. Какое количество информации мы получим при выборе одной карты? 3. Сообщение о том, что Пети живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме? 4. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации передал библиотекарь Пете?
29 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ 5. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N? 6. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон? 7. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 25 белых, 25 красных, 25 синих и 25 зеленых шариков? 8. Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения?
30 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 10 белых, 20 красных, 30 синих и 40 зеленых шариков? Pбел. = 10/100 = 0,1 Pкрасн. = 20/100 = 0,2 Pсин. = 30/100 = 0,3 Pзел. = 40/100 = 0,4 I = – (0,1∙log20,1 + 0,2∙log20,2 + 0,3∙log20,3 + 0,4∙log20,4) ≈ 1,85 бита Ответ: 1,85 бита
31 слайд
Описание слайда:
РЕШЕНИЕ ЗАДАЧ 7. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 30 белых, 30 красных, 30 синих и 10 зеленых шариков? 8. Заполните пропуски числами: 5 Кбайт = __ байт = __ бит __ Кбайт = __ байт = 12288 бит __ Кбайт = __ байт = 213 бит __ Гбайт = 1536 Мбайт = __ Кбайт 512 Кбайт = 2? байт = 2? бит
32 слайд
Описание слайда:
Позволяет определить количество информации в тексте, отвлекаясь от содержания информации, воспринимая ее как последовательность знаков. Алфавит – множество символов, используемых для записи текста. Мощность алфавита – полное количество символов в алфавите. ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход
33 слайд
Описание слайда:
Количество информации несет в тексте каждый символ (i), вычисляется из уравнения Хартли: 2i = N, где N — мощность алфавита. i -информационный вес символа. Отсюда следует, что: Количество информации во всем тексте (I), состоящем из K символов, равно произведению информационного веса символа на К: I = i x К. Эту величину можно назвать информационным объемом текста.
34 слайд
Описание слайда:
Для русского алфавита (без буквы ё): Мощность алфавита (количество равновероятных событий N) = 32, тогда количество информации I, которое несет каждый символ, вычисляется по формуле: ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход 32 = 2I и равно 5 бит. Какое количество информации несет один символ алфавита мощностью 2, 4, 8, 16, 256 символов?
35 слайд
Описание слайда:
ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход Алфавит из 256 символов используется для представления текстов в компьютере. Пусть К – количество символов в тексте, i – информационный «вес» одного символа. Тогда при алфавитном подходе размер информации, содержащейся в тексте I, вычисляется по формуле: I = К · i
36 слайд
Описание слайда:
Задача Какова минимальная мощность алфавита, с помощью которого можно записывать (кодировать) информацию? «Докажите, что исходя из алфавитного подхода, сообщение любой длины, использующее односимвольный алфавит, содержит нулевую информацию».
37 слайд
Описание слайда:
Решение Предположим, что используемый алфавит состоит всего из одного символа, например «1». Сообщить что-либо с помощью единственного символа невозможно. Информационный вес символа в таком алфавите находим из уравнения: 2i =1, 1 = 2°, то 2i = 2°, i=0 бит.
38 слайд
Описание слайда:
Полученный вывод можно проиллюстрировать следующим образным примером. Представьте себе толстую книгу в 1000 страниц, на всех страницах которой написаны одни единицы (единственный символ используемого алфавита). Сколько информации в ней содержится? Ответ: нисколько, ноль.
39 слайд
Описание слайда:
Минимальная мощность алфавита Минимальная мощность алфавита, пригодного для передачи информации, равна 2. Такой алфавит называется двоичным алфавитом Информационный вес символа в двоичном алфавите легко определить. Поскольку 2i = 2, то i = 1 бит. Итак, один символ двоичного алфавита несет 1 бит информации. Байт вводится как информационный вес символа из алфавита мощностью 256.
40 слайд
Описание слайда:
Задача Два текста содержат одинаковое количество символов Первый текст составлен в алфавите мощностью 32 символа, второй — мощностью 64 символа. Во сколько раз отличается количество информации в этих текстах?
41 слайд
