Усиление информации и энтропия

Недавно я прочитал этот вопрос относительно получения информации и энтропии. Я думаю, что у меня полупорядочное понимание основной идеи, но мне любопытно, что делать с ситуациями, такими как:

Если у нас есть мешок из 7 монет, 1 из которых тяжелее других, и 1 из них легче других, и мы знаем, что более тяжелая монета + более легкая монета - это то же самое, что и две обычные монеты, что является ли информационное усиление, связанное с выбором двух случайных монет и взвешиванием их друг против друга?

Наша цель состоит в том, чтобы идентифицировать две нечетные монеты. Я некоторое время думал об этой проблеме и не могу правильно ее установить в дереве решений или в любом другом случае. Любая помощь?

EDIT: Я понимаю формулу энтропии и формулу для получения информации. Я не понимаю, как создать эту проблему в формате дерева решений.

Предполагая, что мы выбираем две монеты, и они оба в конечном итоге взвешивают то же самое, мы можем предположить, что наши новые шансы на сбор H + L выходят на 1/5 * 1/4 = 1/20, достаточно легко.

Предположим, что мы выбираем две монеты, а левая сторона тяжелее. Существуют три разных случая, когда это может произойти:

HM: Это дает нам 1/2 шанса на сбор H и 1/4 шанс на выбор L: 1/8 HL: 1/2 шанс набрать высокий, 1/1 шанс набрать низкий: 1/1 ML: 1/2 шанс набрать низкий, 1/4 шанс собрать максимум: 1/8

Однако вероятность того, что мы собираем HM, составляет 1/7 * 5/6, что составляет 5/42
Шансы на выбор HL составляют 1/7 * 1/6, что составляет 1/42
И шансы на сбор ML - 1/7 * 5/6, что составляет 5/42

Если мы взвешиваем общие вероятности с этими коэффициентами, мы даем:

Однако параметр C должен быть взвешен тяжелее, потому что есть шанс 5/7 * 4/6 выбрать две среды. Поэтому я берусь отсюда, когда я взвешиваю THOSE.

Я уверен, что я повредил где-то по пути, но я думаю, что я на правильном пути!

Предполагая, что шкала не сбалансирована, коэффициенты (10/11) показывают, что только одна из монет - это монета H или L и (1/11), что обе монеты H/L

Поэтому мы можем заключить:
(10/11) * (1/2 * 1/5) и
(1/11) * (1/2)

ИЗМЕНИТЬ 4: Идем дальше и говорим, что это общее увеличение 4/42.

Ответы

Ответ 1

Вы можете построить дерево решений из соображений об усилении информации, но это не вопрос, который вы опубликовали, который является только вычислением информации о выигрыше (предположительно ожидаемом информационном усилении;-) из одного "процесса извлечения информации" - выбор две случайные монеты и взвешивание их друг против друга. Чтобы построить дерево решений, вам нужно знать, какие ходы доступны из исходного состояния (предположительно общее правило: вы можете выбрать два набора из N монет, N < 4 и взвешивать их друг против друга, и что только вид перемещения, параметрический над N), ожидаемый выигрыш в информации от каждого, и это дает вам первый этап дерева решений (движение с наивысшим ожидаемым коэффициентом получения информации); то вы выполняете один и тот же процесс для каждого из возможных результатов этого перемещения и т.д. вниз.

Итак, вам нужна помощь в вычислении ожидаемого выигрыша информации для каждого из трех допустимых значений N, только для N == 1, или вы можете попробовать сделать это самостоятельно? Если будет получена третья возможность, то это максимизирует объем обучения, который вы получаете от упражнения, которое, в конце концов, является основной целью домашней работы. Так почему бы вам не попробовать, отредактировать свой ответ, чтобы показать вам, как вы это делали, и что вы получили, и мы будем рады подтвердить, что вы поняли это, или попытайтесь исправить любое недоразумение, которое может выявить ваша процедура.

Изменить: пытается дать некоторые подсказки, а не обслуживать OP готовое решение на блюде;-). Назовите монеты H (для тяжелых), L (для света) и M (для средних - пять из них). Когда вы выбираете 2 монеты в случайном порядке, вы можете получить (из 7 * 6 == 42 возможностей, включая порядок) HL, LH (по одному каждый), HM, MH, LM, ML (5 каждый), MM (5 * 4 == 20) - 2 плюс 20 плюс 20 - 42, проверьте. В взвешивании вы получаете 3 возможных результата, назовите их A (слева тяжелее), B (более тяжелый), C (равный вес). HL, HM и ML, 11 случаев, будет A; LH, MH и LM, 11 случаев, будет B; ММ, 20 случаев, будет C. Итак, A и B на самом деле не различимы (какой из них остался, какой из них прав, в основном произвольный!), Поэтому у нас есть 22 случая, когда вес будет другим, 20, где они будет равным - это хороший признак того, что случаи, дающие каждый результат, находятся в довольно близких числах!

Итак, теперь рассмотрим, сколько (равновероятных) возможностей существовало априори, сколько апостериори, для каждого из результатов эксперимента. Вам поручено выбрать выбор H и L. Если бы вы сделали это наугад перед экспериментом, что бы вы хотели? 1 в 7 для случайного выбора Н; при условии, что для 1-го уровня 6 получается выбор из L - общий 1 в 42.

После эксперимента, как вы поживаете? Если вы C, вы можете исключить эти две монеты, и вы останетесь с тайной H, тайной L и тремя Ms - так что если вы выбрали наугад, у вас было бы 1 из 5, чтобы выбрать H, если успешно 1 в 4, чтобы выбрать L, в целом 1 из 20 - ваши шансы на успех немного больше, чем в два раза. Труднее увидеть "что дальше" для случаев A (и эквивалентно B), потому что их несколько, как указано выше (и, что менее очевидно, не равновероятно...), но, очевидно, вы не будете выбирать известную монета для H (и наоборот), и если вы выберете одну из 5 невыровненных монет для H (или L), только одна из взвешенных монет будет кандидатом на другую роль (соответственно L или H). Игнорируя для простоты "неравновероятную" проблему (которая действительно очень сложна), вы можете вычислить, какие ваши шансы угадать (с случайным выбором, не противоречащим результату эксперимента) будут...?