Известно что в ящике лежат 20 карандашей из них 10 красных 4 синих 4 желтых и 2 зеленых. какое количество информации несёт сообщение о цвете вынутого карандаша?

Количество информации можно определить как -log2(p), где p - вероятность данного события. Оно измеряется в битах.
Также можно использовать равносильное выражение log2(1/p)
Вероятность взятия чёрного шара равна 10/20 = 0,5, белого - 4/20 = 0,2, жёлтого такая же - 0,2, красного - в 2 раза меньше - 0,1.
Значит, если мы взяли чёрный шар, мы получили кол-во информации log2(1/0,5) = log2(2) = 1 бит,
если белый, то log2(1/0,2) = log2(5) = 2,3219 бит
если жёлтый, то столько же 2,3219 бит
если красный, то log2(1/0,1) = log2(10) = 3,3219 бит

Чем меньше вероятность события, тем большее количество информации мы получаем, когда это событие наступает.