"Записки научных семинаров ПОМИ"

Том 384, стр. 267-290

Ярославский государственный университет им. П. Г. Демидова, кафедра теоретической информатики, ул. Советская 14, 150040, Ярославль Россия

TimofeevEA@gmail.com

Аннотация:Рассматривается задача непараметрического оценивания энтропии (на символ) по экспериментальным данным из информационного источника с конечным алфавитом. Для непараметрической оценки энтропии, которая применяет метрику на словах, использующую только первое не совпадение символов, найдено смещение. Показано, что смещение будет равным $O(1)$ для тех марковских мер, у которых логарифмы вероятностей перехода соизмеримы. Для остальных марковских мер оценка является асимптотически несмещенной. Таким образом, смещение является разрывной функцией от параметров марковской меры для этой метрики. Библ. -- 20 назв.
Ключевые слова: энтропия, непараметрическая оценка, марковская мера, смещение [entropy, nonparametric estimation, Markov measure, bias]