Винеровское оценивание

Винеровское оценивание — задача нахождения импульсной характеристики линейной стационарной системы, дающей на выходе оптимальную в смысле минимума математического ожидания средней квадратической ошибки оценку значений полезного сигнала, поступающего на вход в аддитивной смеси с шумом.

УсловияПравить

Требуется найти импульсную характеристику $w(t)$$w(t)$  линейной стационарной системы, на вход которой поступает аддитивная смесь $f(t)$$f(t)$  полезного сигнала $y(t)$$y(t)$  с шумом $e(t)$$e(t)$ : $f(t)=y(t)+e(t)$$f(t)=y(t)+e(t)$ , а на выходе должна получаться оценка значения полезного сигнала $d(t)={\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}w(\mathrm{\tau <!--\; \tau \; -->})f(t-<!--\; -\; -->\mathrm{\tau <!--\; \tau \; -->})d\mathrm{\tau <!--\; \tau \; -->}$$d(t)=\int _{-\infty }^{+\infty }w(\tau )f(t-\tau )d\tau$ , которая минимизирует математическое ожидание средней квадратической ошибки между оценкой и реальным значением полезного сигнала ${\mathrm{ϵ<!--\; ϵ\; -->}}^2(t)=m_1\left\{(y(t)-<!--\; -\; -->d(t){)}^2\right\}$$\epsilon ^{2}(t)=m_{1}\left\{(y(t)-d(t))^{2}\right\}$ .

Предполагается, что условия применения, характер сигналов и помех остаются достаточно стабильными, их статистические характеристики меняются мало. Если же условия переменны и помехи в процессе работы систем изменяются существенно, то возникает необходимость автоматической оптимизации параметров систем. Это осуществляется в различного рода экстремальных, адаптивных, обучаемых системах.

Решение задачиПравить

Ошибка системы равна разности между оценкой $d(t)$$d(t)$  и реальным значением $y(t)$$y(t)$  полезного сигнала $e(t)=d(t)-<!--\; -\; -->y(t)$$e(t)=d(t)-y(t)$ . Минимальная среднеквадратическая ошибка по определению равна:

$\mathrm{\eta <!--\; \eta \; -->}=\stackrel{¯<!--\; ¯\; -->}{e^2}=\stackrel{¯<!--\; ¯\; -->}{d^2}-<!--\; -\; -->2\stackrel{¯<!--\; ¯\; -->}{dy}+\stackrel{¯<!--\; ¯\; -->}{y^2}$$\eta =\overline {e^{{2}}}=\overline {d^{{2}}}-2\,\overline {d\,y}+\overline {y^{{2}}}$  =

$\stackrel{¯<!--\; ¯\; -->}{d^2}-<!--\; -\; -->2{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}w(\mathrm{\tau <!--\; \tau \; -->})\stackrel{¯<!--\; ¯\; -->}{f(t-<!--\; -\; -->\mathrm{\tau <!--\; \tau \; -->})d(t)}\mathrm{d}\mathrm{\tau <!--\; \tau \; -->}+{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}w(\mathrm{\xi <!--\; \xi \; -->})w(\mathrm{\mu <!--\; \mu \; -->})\stackrel{¯<!--\; ¯\; -->}{f(t-<!--\; -\; -->\mathrm{\xi <!--\; \xi \; -->})f(t-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})}\mathrm{d}\mathrm{\xi <!--\; \xi \; -->}\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}$$\overline {d^{{2}}}-2\int _{{-\infty }}^{{+\infty }}w(\tau )\overline {f(t-\tau )d(t)}\,{\mathrm {d}}\tau +\int _{{-\infty }}^{{+\infty }}\int _{{-\infty }}^{{+\infty }}w(\xi )w(\mu )\overline {f(t-\xi )f(t-\mu )}\,{\mathrm {d}}\xi \,{\mathrm {d}}\mu$  =

$\stackrel{¯<!--\; ¯\; -->}{d^2}-<!--\; -\; -->2{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}w(\mathrm{\tau <!--\; \tau \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{fd}(\mathrm{\tau <!--\; \tau \; -->})\mathrm{d}\mathrm{\tau <!--\; \tau \; -->}+{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}w(\mathrm{\xi <!--\; \xi \; -->})w(\mathrm{\mu <!--\; \mu \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{ff}(\mathrm{\xi <!--\; \xi \; -->}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\mathrm{d}\mathrm{\xi <!--\; \xi \; -->}\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}$$\overline {d^{{2}}}-2\int _{{-\infty }}^{{+\infty }}w(\tau )\rho _{{fd}}(\tau ){\mathrm {d}}\tau +\int _{{-\infty }}^{{+\infty }}\int _{{-\infty }}^{{+\infty }}w(\xi )w(\mu )\rho _{{ff}}(\xi -\mu )\,{\mathrm {d}}\xi \,{\mathrm {d}}\mu$ .

Здесь используются обозначения для корреляционных функций:

${\mathrm{\rho <!--\; \rho \; -->}}_{fd}(\mathrm{\tau <!--\; \tau \; -->})=\stackrel{¯<!--\; ¯\; -->}{f(t)d(t+\mathrm{\tau <!--\; \tau \; -->})}$$\rho _{{fd}}(\tau )=\overline {f(t)\,d(t+\tau )}$ 

${\mathrm{\rho <!--\; \rho \; -->}}_{ff}(\mathrm{\tau <!--\; \tau \; -->})=\stackrel{¯<!--\; ¯\; -->}{f(t)f(t+\mathrm{\tau <!--\; \tau \; -->})}$$\rho _{{ff}}(\tau )=\overline {f(t)\,f(t+\tau )}$ .

Черта над формулой означает осреднение по времени. Будем считать, что оптимальная импульсная характеристика системы существует и равна $w_{\text{opt}}$$w_{{\text{opt}}}$ .

Тогда любая отличающаяся от неё импульсная характеристика системы может быть представлена в виде

$w(t)=w_{\text{opt}}(t)+\mathrm{\alpha <!--\; \alpha \; -->}\mathrm{\theta <!--\; \theta \; -->}(t)$$w(t)=w_{{\text{opt}}}(t)+\alpha \,\theta (t)$ ,

где $\mathrm{\theta <!--\; \theta \; -->}(t)$$\theta (t)$  — произвольная функция времени, $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$  — варьируемый коэффициент.

Минимум среднеквадратической ошибки отклонения достигается при $\mathrm{\alpha <!--\; \alpha \; -->}=0$$\alpha =0$ . Для поиска $w_{\text{opt}}(t)$$w_{{\text{opt}}}(t)$  нужно найти производную показателя качества $\mathrm{\eta <!--\; \eta \; -->}$$\eta$  по коэффициенту вариации $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$  и приравнять её нулю при $\mathrm{\alpha <!--\; \alpha \; -->}=0$$\alpha =0$ :

$\frac{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\eta <!--\; \eta \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\alpha <!--\; \alpha \; -->}}{|}_{\mathrm{\alpha <!--\; \alpha \; -->}=0}$${\frac {\partial \eta }{\partial \alpha }}|_{{\alpha =0}}$  =

$-<!--\; -\; -->2{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\tau <!--\; \tau \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{fd}(\mathrm{\tau <!--\; \tau \; -->})\mathrm{d}\mathrm{\tau <!--\; \tau \; -->}+{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}\left[w_{\text{opt}}(\mathrm{\xi <!--\; \xi \; -->})\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\mu <!--\; \mu \; -->})+w_{\text{opt}}(\mathrm{\mu <!--\; \mu \; -->})\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\xi <!--\; \xi \; -->})\right]{\mathrm{\rho <!--\; \rho \; -->}}_{ff}(\mathrm{\xi <!--\; \xi \; -->}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\mathrm{d}\mathrm{\xi <!--\; \xi \; -->}\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}$$-2\int _{{-\infty }}^{{+\infty }}\theta (\tau )\,\rho _{{fd}}(\tau )\,{\mathrm {d}}\tau +\int _{{-\infty }}^{{+\infty }}\int _{{-\infty }}^{{+\infty }}\left[w_{{\text{opt}}}(\xi )\,\theta (\mu )+w_{{\text{opt}}}(\mu )\,\theta (\xi )\right]\,\rho _{{ff}}(\xi -\mu )\,{\mathrm {d}}\xi \,{\mathrm {d}}\mu$  =

$-<!--\; -\; -->2{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\xi <!--\; \xi \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{fd}(\mathrm{\xi <!--\; \xi \; -->})\mathrm{d}\mathrm{\xi <!--\; \xi \; -->}+2{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\xi <!--\; \xi \; -->})w_{\text{opt}}(\mathrm{\mu <!--\; \mu \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{ff}(\mathrm{\xi <!--\; \xi \; -->}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\mathrm{d}\mathrm{\xi <!--\; \xi \; -->}\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}$$-2\int _{{-\infty }}^{{+\infty }}\theta (\xi )\rho _{{fd}}(\xi )\,{\mathrm {d}}\xi +2\int _{{-\infty }}^{{+\infty }}\int _{{-\infty }}^{{+\infty }}\theta (\xi )\,w_{{\text{opt}}}(\mu )\,\rho _{{ff}}(\xi -\mu )\,{\mathrm {d}}\xi \,{\mathrm {d}}\mu$  =

$2{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\xi <!--\; \xi \; -->})\left[{\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}{w}_{\text{opt}}(\mathrm{\mu <!--\; \mu \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{ff}(\mathrm{\xi <!--\; \xi \; -->}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}-<!--\; -\; -->{\mathrm{\rho <!--\; \rho \; -->}}_{fd}(\mathrm{\xi <!--\; \xi \; -->})\right]\mathrm{d}\mathrm{\xi <!--\; \xi \; -->}=0$$2\int _{{-\infty }}^{{+\infty }}\theta (\xi )\,\left[\int _{{-\infty }}^{{+\infty }}w_{{\text{opt}}}(\mu )\rho _{{ff}}(\xi -\mu ){\mathrm {d}}\mu -\rho _{{fd}}(\xi )\right]\,{\mathrm {d}}\xi =0$ 

Поскольку $\mathrm{\theta <!--\; \theta \; -->}(\mathrm{\xi <!--\; \xi \; -->})$$\theta (\xi )$  — произвольная функция, последнее равенство выполняется тогда и только тогда, когда:

${\int <!--\; \int \; -->}_{-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->}}^{+\mathrm{\infty <!--\; \infty \; -->}}{w}_{\text{opt}}(\mathrm{\mu <!--\; \mu \; -->}){\mathrm{\rho <!--\; \rho \; -->}}_{ff}(\mathrm{\xi <!--\; \xi \; -->}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}-<!--\; -\; -->{\mathrm{\rho <!--\; \rho \; -->}}_{fd}(\mathrm{\xi <!--\; \xi \; -->})=0$$\int _{{-\infty }}^{{+\infty }}w_{{\text{opt}}}(\mu )\,\rho _{{ff}}(\xi -\mu )\,{\mathrm {d}}\mu -\rho _{{fd}}(\xi )=0$ .

Это и есть уравнение Винера-Хопфа, определяющее оптимальную импульсную характеристику системы по критерию минимальной среднеквадратической ошибки. Для решения применим преобразование Лапласа к полученному уравнению. Известно, что преобразование Лапласа от свертки равно произведению преобразований Лапласа, тогда:

$w_{\text{opt}}(p)S_{ff}(p)-<!--\; -\; -->S_{fd}(p)=0$$w_{{\text{opt}}}(p)S_{{ff}}(p)-S_{{fd}}(p)=0$ ,

где $w_{\text{opt}}(p)=L{w}_{\text{opt}}(t)$$w_{{\text{opt}}}(p)=L{w_{{\text{opt}}}(t)}$ ; $S_{ff}(p)=L{\mathrm{\rho <!--\; \rho \; -->}}_{ff}(t)$$S_{{ff}}(p)=L{\rho _{{ff}}(t)}$ ; $S_{fd}(p)=L{\mathrm{\rho <!--\; \rho \; -->}}_{fd}(t)$$S_{{fd}}(p)=L{\rho _{{fd}}(t)}$ .

Таким образом определяем оптимальный винеровский фильтр 1-го рода:

$W_{\text{opt I}}=\frac{S_{fd}(p)}{S_{ff}(p)}$$W_{{\text{opt I}}}={\frac {S_{{fd}}(p)}{S_{{ff}}(p)}}$ .

Когда порядок полинома в числителе оказывается выше порядка полинома в знаменателе, винеровский фильтр 1-го рода физически нереализуем. Для решения задачи, после определения импульсной характеристики её принудительно приравнивают нулю при отрицательных значениях $t$$t$  (именно отличие $w(t)$$w(t)$  от нуля при $t<0$  характеризует физическую нереализуемость системы) и таким образом получают физически реализуемый винеровский фильтр 2-го рода.

ИсторияПравить

Во время Второй мировой войны перед американским математиком Н. Винером встала задача отделения полезного сигнала от шума при решении задач автоматизации систем противовоздушной обороны, использующих радиолокационную технику. В 1942 г. Н. Винер теоретически решил эту задачу, допустив, что искомая система должна быть линейной с постоянными параметрами, время наблюдения бесконечно, входной и выходной сигналы системы являются стационарными и стационарно связанными случайными процессами, и система минимизирует среднюю квадратическую ошибку между полезным входным и выходным сигналами. Были созданы и опробованы экспериментальные аналоговые устройства, использующие этот метод, но по ряду причин применить их в реальных системах ПВО не удалось.

См. такжеПравить

• Уравнение Винера — Хопфа

ЛитератураПравить

• Норберт Винер «Я-математик», М., «Наука», 1964, гл 12 «Годы войны. 1940—1945», с. 213—265;
• Хургин Я. И. «Да, нет или может быть…», 2-е изд., М., «Наука», 1983, 208 с., илл., 32.81 Х98 УДК 62-50 ББК 32.81 6Ф0.1, тир. 100000 экз., гл. «Искусство надежды», с. 138—148;
• Л. А. Вайнштейн, В. Д. Зубаков «Выделение сигналов на фоне случайных помех», М., «Советское радио», 1960, 447 с., гл. 1 «Основные понятия теории фильтрации случайных процессов», с. 7-54;
• Дж. Бендат «Основы теории случайных шумов и её применения», М., «Наука», 1965, 464 стр. с илл., гл. 4 «Оптимальное линейное упреждение и фильтрация», с. 165—215;
• Левин Б. Р. «Теоретические основы статистической радиотехники. Книга вторая», М., «Советское радио», 1968, 502 стр. с илл., гл. 4 «Фильтрация случайных процессов», с. 278—319;