Фильтр Калмана

Фи́льтр Ка́лмана — эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Назван в честь Рудольфа Калмана.

Фильтр Калмана широко используется в инженерных и эконометрических приложениях: от радаров и систем технического зрения до оценок параметров макроэкономических моделей^[1]^[2]. Калмановская фильтрация является важной частью теории управления, играет большую роль в создании систем управления. Совместно с линейно-квадратичным регулятором фильтр Калмана позволяет решить задачу линейно-квадратичного гауссовского управления. Фильтр Калмана и линейно-квадратичный регулятор — возможное решение большинства фундаментальных задач в теории управления.

В большинстве приложений размерность вектора состояния объекта превосходит размерность вектора данных наблюдения. При этом фильтр Калмана позволяет оценивать полное внутреннее состояние объекта.

Фильтр Калмана предназначен для рекурсивного дооценивания вектора состояния априорно известной динамической системы, то есть для расчёта текущего состояния системы необходимо знать текущее измерение, а также предыдущее состояние самого фильтра. Таким образом, фильтр Калмана, подобно другим рекурсивным фильтрам, реализован во временно́м, а не в частотном представлении, но, в отличие от других подобных фильтров, фильтр Калмана оперирует не только оценками состояния, а ещё и оценками неопределённости (плотности распределения) вектора состояния, опираясь на формулу Байеса условной вероятности.

Алгоритм работает в два этапа. На этапе прогнозирования фильтр Калмана экстраполирует значения переменных состояния, а также их неопределённости. На втором этапе по данным измерения (полученного с некоторой погрешностью) результат экстраполяции уточняется. Благодаря пошаговой природе алгоритма он может в реальном времени отслеживать состояние объекта (без заглядывания вперёд, используя только текущие замеры и информацию о предыдущем состоянии и его неопределённости).

Бытует ошибочное мнение, что для правильной работы фильтра Калмана якобы требуется гауссовское распределение входных данных. В исходной работе Калмана результаты о минимуме ковариации фильтра были получены на базе ортогональных проекций, без предположений о гауссовости ошибок измерений^[3]. Затем просто было показано, что для специального случая распределения ошибок по Гауссу фильтр даёт точную оценку условной вероятности распределения состояния системы.

Наглядный пример возможностей фильтра — получение оптимальных, непрерывно обновляемых оценок положения и скорости некоторого объекта по результатам временно́го ряда неточных измерений его местоположения. Например, в радиолокации стоит задача сопровождения цели, определения её местоположения, скорости и ускорения, при этом результаты измерений поступают постепенно и сильно зашумлены. Фильтр Калмана использует вероятностную модель динамики цели, задающую тип вероятного движения объекта, что позволяет снизить воздействие шума и получить хорошие оценки положения объекта в настоящий, будущий или прошедший момент времени.

ВведениеПравить

Фильтр Калмана оперирует понятием вектора состояния системы (набором параметров, описывающих состояние системы на некоторый момент времени) и его статистическим описанием. В общем случае динамика некоторого вектора состояния описывается плотностями вероятности распределения его компонент в каждый момент времени. При наличии определённой математической модели производимых наблюдений за системой, а также модели априорного изменения параметров вектора состояния (а именно — в качестве марковского формирующего процесса) можно записать уравнение для апостериорной плотности вероятности вектора состояния в любой момент времени. Данное дифференциальное уравнение носит название уравнение Стратоновича. Уравнение Стратоновича в общем виде не решается. Аналитическое решение удается получить только в случае ряда ограничений (предположений):

гауссовые априорные и апостериорные плотности вероятности вектора состояния на любой момент времени (в том числе начальный)
гауссовые формирующие шумы
гауссовые шумы наблюдений
белые шумы наблюдений
линейность модели наблюдений
линейность модели формирующего процесса (который, напомним, должен являться марковским процессом)

Классический фильтр Калмана является уравнениями для расчёта первого и второго момента апостериорной плотности вероятности (в смысле вектора математических ожиданий и матрицы дисперсий, в том числе взаимных) при данных ограничениях. Ввиду того, что для нормальной плотности вероятности математическое ожидание и дисперсионная матрица полностью задают плотность вероятности, можно сказать, что фильтр Калмана рассчитывает апостериорную плотность вероятности вектора состояния на каждый момент времени, а значит — полностью описывает вектор состояния как случайную векторную величину.

Расчетные значения математических ожиданий при этом являются оптимальными оценками по критерию среднеквадратической ошибки, что и обуславливает его широкое применение.

Существует несколько разновидностей фильтра Калмана, отличающихся приближениями и ухищрениями, которые приходится применять для сведения фильтра к описанному виду и уменьшения его размерности:

расширенный фильтр Калмана^[en] (EKF, Extended Kalman filter). Сведение нелинейных моделей наблюдений и формирующего процесса с помощью линеаризации посредством разложения в ряд Тейлора;
сигма-точечный фильтр Калмана (UKF, Unscented Kalman filter). Используется в задачах, в которых простая линеаризация приводит к уничтожению полезных связей между компонентами вектора состояния. В этом случае «линеаризация» основана на сигма-точечном преобразовании^[en];
Ensemble Kalman filter (EnKF). Используется для уменьшения размерности задачи;
возможны варианты с нелинейным дополнительным фильтром, позволяющим привести негауссовые наблюдения к нормальным;
возможны варианты с «обеляющим» фильтром, позволяющим работать с «цветными» шумами;
и т. д.

Кроме того, имеются аналоги фильтра Калмана, использующие полностью или частично модель непрерывного времени:

фильтр Калмана — Бьюси, в котором и эволюция системы, и измерения имеют вид функций от непрерывного времени;
гибридный фильтр Калмана, использующий непрерывное время при описании эволюции системы и дискретные моменты времени для измерений.

Исторический обзор и именаПравить

Фильтр назван в честь венгерского математика Рудольфа Э. Калмана, эмигрировавшего в США, хотя Торвальд Николай Тиле^[4]^[5] и Питер Сверлинг^[en] разработали подобный алгоритм раньше (Тиле рассмотрел лишь некоторую частную постановку, в то время как алгоритм Сверлинга практически идентичен калмановскому). Ричард С. Бьюси из Университета Южной Калифорнии сделал вклад в теорию, которая привела к так называемому фильтру Калмана — Бьюси. Стэнли Ф. Шмидт^[en] считается первым, кто реализовал фильтр Калмана во время визита Калмана в Исследовательский центр Эймса, так что Калман увидел применимость своих идей к задаче оценки траекторий для программы «Аполлон», что привело в конечном счёте к включению этого фильтра в компьютерную систему навигации «Аполлона». Фильтр Калмана был впервые описан и частично разработан в работах Сверлинга (1958), Калмана (1960) и Калмана и Бьюси (1961).

Фильтры Калмана оказались критически важными для реализации навигационных систем подводных лодок ВМС США с ядерными баллистическими ракетами на борту, в навигационных системах крылатых ракет, например, «Томагавков». Он также использовался в навигационных и управляющих системах проекта НАСА «Спейс шаттл», используется в системах управления и навигации МКС.

Цифровой фильтр Калмана иногда называют фильтром Стратоновича — Калмана — Бьюси, поскольку он является частным случаем более общего нелинейного фильтра, разработанного несколько раньше советским математиком Р. Л. Стратоновичем^[6]^[7]^[8]^[9]. Фактически некоторые из уравнений для частных случаев линейного фильтра появились в этих работах Стратоновича, опубликованных до лета 1960 года, когда Калман встретился со Стратоновичем во время конференции в Москве.

Используемая модель динамической системыПравить

Фильтры Калмана базируются на дискретизированных по времени линейных динамических системах. Такие системы моделируются цепями Маркова при помощи линейных операторов и слагаемых с нормальным распределением. Состояние системы описывается вектором конечной размерности — вектором состояния. В каждый такт времени линейный оператор действует на вектор состояния и переводит его в другой вектор состояния (детерминированное изменение состояния), добавляется некоторый вектор нормального шума (случайные факторы) и в общем случае вектор управления, моделирующий воздействие системы управления. Фильтр Калмана можно рассматривать как аналог скрытым моделям Маркова, с тем отличием, что переменные, описывающие состояние системы, являются элементами бесконечного множества действительных чисел (в отличие от конечного множества пространства состояний в скрытых моделях Маркова). Кроме того, скрытые модели Маркова могут использовать произвольные распределения для последующих значений вектора состояния, в отличие от фильтра Калмана, использующего модель нормально распределенного шума. Существует строгая взаимосвязь между уравнениями фильтра Калмана и скрытой модели Маркова. Обзор этих и других моделей дан Roweis и Chahramani (1999)^[10].

При использовании фильтра Калмана для получения оценок вектора состояния процесса по серии зашумленных измерений необходимо представить модель данного процесса в соответствии со структурой фильтра — в виде матричного уравнения определённого типа. Для каждого такта $\text{[math]}$ k работы фильтра необходимо в соответствии с приведённым ниже описанием определить матрицы: эволюции процесса $\text{[math]}$ F_k; матрицу наблюдений $\text{[math]}$ H_k; ковариационную матрицу процесса $\text{[math]}$ Q_k; ковариационную матрицу шума измерений $\text{[math]}$ R_k; при наличии управляющих воздействий — матрицу их коэффициентов $\text{[math]}$ B_k.

Иллюстрация работы фильтра. Квадратами помечены матрицы. Эллипсами помечены матрицы многомерных нормальных распределений (включая средние значения и ковариации). Не обведёнными оставлены векторы. В простейшем случае некоторые матрицы не изменяются во времени (не зависят от индекса $\text{[math]}$ k), но всё равно используются фильтром в каждый такт работы.

Модель системы (процесса) подразумевает, что истинное состояние в момент $\text{[math]}$ k получается из истинного состояния в момент $\text{[math]}$ k−1 в соответствии с уравнением

\text{[math]}

{\textbf {x}}_{k}={\textbf {F}}_{k}{\textbf {x}}_{k-1}+{\textbf {B}}_{k}{\textbf {u}}_{k}+{\textbf {w}}_{k}

,

где

$\text{[math]}$ F_k — матрица эволюции системы (процесса), которая воздействует на вектор $\text{[math]}$ x_k−1 (вектор состояния в момент $\text{[math]}$ k−1);
$\text{[math]}$ B_k — матрица управления, которая прикладывается к вектору управляющих воздействий $\text{[math]}$ u_k;
$\text{[math]}$ w_k — нормальный случайный процесс с нулевым математическим ожиданием и ковариационной матрицей $\text{[math]}$ Q_k, который описывает случайный характер эволюции системы (процесса):

\text{[math]}

{\textbf {w}}_{k}\sim N(0,{\textbf {Q}}_{k})

В момент k производится наблюдение (измерение) $\text{[math]}$ z_k истинного вектора состояния $\text{[math]}$ x_k, которые связаны между собой уравнением

\text{[math]}

{\textbf {z}}_{k}={\textbf {H}}_{k}{\textbf {x}}_{k}+{\textbf {v}}_{k}

,

где $\text{[math]}$ H_k — матрица измерений, связывающая истинный вектор состояния и вектор произведенных измерений, $\text{[math]}$ v_k — белый гауссовский шум измерений с нулевым математическим ожиданием и ковариационной матрицей $\text{[math]}$ R_k:

\text{[math]}

{\textbf {v}}_{k}\sim N(0,{\textbf {R}}_{k})

Начальное состояние и векторы случайных процессов на каждом такте { $\text{[math]}$ x₀, $\text{[math]}$ w₁, …, $\text{[math]}$ w_k, $\text{[math]}$ v₁, …, $\text{[math]}$ v_k} считаются независимыми.

Многие реальные динамические системы нельзя точно описать данной моделью. На практике неучтённая в модели динамика может серьёзно испортить рабочие характеристики фильтра, особенно при работе с неизвестным стохастическим сигналом на входе. Более того, неучтённая в модели динамика может сделать фильтр неустойчивым. С другой стороны, независимый белый шум в качестве сигнала не будет приводить к расхождению алгоритма. Задача отделения шумов измерений от неучтённой в модели динамики сложна, решается она с помощью теории робастных систем управления.

Фильтр КалманаПравить

Фильтр Калмана является разновидностью рекурсивных фильтров. Для вычисления оценки состояния системы на текущий такт работы ему необходима оценка состояния (в виде оценки состояния системы и оценки погрешности определения этого состояния) на предыдущем такте работы и измерения на текущем такте. Данное свойство отличает его от пакетных фильтров, требующих в текущий такт работы знание истории измерений и/или оценок. Далее под записью $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{n|m}$ будем понимать оценку истинного вектора $\text{[math]}$ $\text{[math]}$ ${\textbf {x}}$ в момент $\text{[math]}$ n с учётом измерений с момента начала работы и по момент $\text{[math]}$ m включительно.

Состояние фильтра задается двумя переменными:

$\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k|k}$ — апостериорная оценка состояния объекта в момент $\text{[math]}$ k, полученная по результатам наблюдений вплоть до момента $\text{[math]}$ k включительно (в русскоязычной литературе часто обозначается $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k}$ , где $\text{[math]}$ $\text{[math]}$ ${\hat {}}$ означает «оценка», а $\text{[math]}$ k — номер такта, на котором она получена);
$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k|k}$ — апостериорная ковариационная матрица ошибок, задающая оценку точности полученной оценки вектора состояния и включающая в себя оценку дисперсий погрешности вычисленного состояния и ковариации, показывающие выявленные взаимосвязи между параметрами состояния системы (в русскоязычной литературе часто обозначается $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {D}}}_{k}$ ).

Каждая итерация фильтра Калмана делится на две фазы: экстраполяция (прогноз) и коррекция. Во время экстраполяции фильтр получает предварительную оценку состояния системы $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k|k-1}$ (в русскоязычной литературе часто обозначается $\text{[math]}$ $\text{[math]}$ ${\tilde {\textbf {x}}}_{k}$ , где $\text{[math]}$ $\text{[math]}$ ${\tilde {}}$ означает «экстраполяция», а $\text{[math]}$ k — номер такта, на котором она получена) на текущий шаг по итоговой оценке состояния с предыдущего шага (либо предварительную оценку на следующий такт по итоговой оценке текущего шага, в зависимости от интерпретации). Эту предварительную оценку также называют априорной оценкой состояния, так как для её получения не используются наблюдения соответствующего шага. В фазе коррекции априорная экстраполяция дополняется соответствующими текущими измерениями для коррекции оценки. Скорректированная оценка также называется апостериорной оценкой состояния, либо просто оценкой вектора состояния $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k}$ . Обычно эти две фазы чередуются: экстраполяция производится по результатам коррекции до следующего наблюдения, а коррекция производится совместно с доступными на следующем шаге наблюдениями, и т. д. Однако возможно и другое развитие событий: если по некоторой причине наблюдение оказалось недоступным, то этап коррекции может быть пропущен и выполнена экстраполяция по нескорректированной оценке (априорной экстраполяции). Аналогично, если независимые измерения доступны только в отдельные такты работы, всё равно возможны коррекции (обычно с использованием другой матрицы наблюдений $\text{[math]}$ H_k).

Далее рассмотрим работу классического оптимального фильтра Калмана.

Этап экстраполяцииПравить

Экстраполяция (предсказание) вектора состояния системы по оценке вектора состояния и применённому вектору управления с шага ( $\text{[math]}$ k−1) на шаг $\text{[math]}$ k:	$\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k\|k-1}={\textbf {F}}_{k}{\hat {\textbf {x}}}_{k-1\|k-1}+{\textbf {B}}_{k}{\textbf {u}}_{k}$
Ковариационная матрица для экстраполированного вектора состояния:	$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k\|k-1}={\textbf {F}}_{k}{\textbf {P}}_{k-1\|k-1}{\textbf {F}}_{k}^{T}+{\textbf {Q}}_{k}$

Этап коррекцииПравить

Отклонение полученного на шаге $\text{[math]}$ k наблюдения от наблюдения, ожидаемого при произведенной экстраполяции:	$\text{[math]}$ $\text{[math]}$ ${\tilde {\textbf {y}}}_{k}={\textbf {z}}_{k}-{\textbf {H}}_{k}{\hat {\textbf {x}}}_{k\|k-1}$
Ковариационная матрица для вектора отклонения (вектора ошибки):	$\text{[math]}$ $\text{[math]}$ ${\textbf {S}}_{k}={\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{T}+{\textbf {R}}_{k}$
Оптимальная по Калману матрица коэффициентов усиления, формирующаяся на основании ковариационных матриц имеющейся экстраполяции вектора состояния и полученных измерений (посредством ковариационной матрицы вектора отклонения):	$\text{[math]}$ $\text{[math]}$ ${\textbf {K}}_{k}={\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{T}{\textbf {S}}_{k}^{-1}$
Коррекция ранее полученной экстраполяции вектора состояния — получение оценки вектора состояния системы:	$\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k\|k}={\hat {\textbf {x}}}_{k\|k-1}+{\textbf {K}}_{k}{\tilde {\textbf {y}}}_{k}$
Расчёт ковариационной матрицы оценки вектора состояния системы:	$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k\|k}=(I-{\textbf {K}}_{k}{\textbf {H}}_{k}){\textbf {P}}_{k\|k-1}$

Выражение для ковариационной матрицы оценки вектора состояния системы справедливо только при использовании приведённого оптимального вектора коэффициентов. В общем случае это выражение имеет более сложный вид.

ИнвариантыПравить

Если модель абсолютно точна и абсолютно точно заданы начальные условия $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{0|0}$ и $\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{0|0}$ , то следующие величины сохраняются после любого количества итераций работы фильтра, то есть являются инвариантами:

Математические ожидания оценок и экстраполяций вектора состояния системы, матрицы ошибок являются нуль-векторами:

$\text{[math]}$ $\text{[math]}$ ${\textsf {E}}[{\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k}]={\textsf {E}}[{\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k-1}]=0$
$\text{[math]}$ $\text{[math]}$ ${\textsf {E}}[{\tilde {\textbf {y}}}_{k}]=0$

где $\text{[math]}$ $\text{[math]}$ ${\textsf {E}}[\xi ]$ — математическое ожидание $\text{[math]}$ $\text{[math]}$ $\xi$ .

Расчетные матрицы ковариаций экстраполяций, оценок состояния системы и вектора ошибок совпадают с истинными матрицами ковариаций:

$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k|k}={\textrm {cov}}({\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k})$
$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k|k-1}={\textrm {cov}}({\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k-1})$
$\text{[math]}$ $\text{[math]}$ ${\textbf {S}}_{k}={\textrm {cov}}({\tilde {\textbf {y}}}_{k})$

Пример построения фильтраПравить

Представим себе вагонетку, стоящую на бесконечно длинных рельсах при отсутствии трения. Изначально она покоится в позиции 0, но под действием случайных факторов у неё возникает случайное ускорение. Мы измеряем положение вагонетки каждые $\text{[math]}$ ∆t секунд, но измерения неточны. Мы хотим получать оценки положения вагонетки и её скорости. Применяя к этой задаче фильтр Калмана, определим все необходимые матрицы.

В данной задаче матрицы $\text{[math]}$ F, $\text{[math]}$ H, $\text{[math]}$ R и $\text{[math]}$ Q не зависят от времени, поэтому опустим их индексы.

Координата и скорость вагонетки описывается вектором в линейном пространстве состояний

\text{[math]}

{\textbf {x}}_{k}={\begin{bmatrix}x\\{\dot {x}}\end{bmatrix}}

где $\text{[math]}$ $\text{[math]}$ ${\dot {x}}$ — скорость (первая производная координаты $\text{[math]}$ $\text{[math]}$ $x$ по времени).

Будем считать, что между ( $\text{[math]}$ k−1)-м и $\text{[math]}$ k-м тактами вагонетка движется с постоянным ускорением $\text{[math]}$ a_k, распределённым по нормальному закону с нулевым математическим ожиданием и среднеквадратическим отклонением $\text{[math]}$ σ_a. В соответствии с механикой Ньютона можно записать

\text{[math]}

{\textbf {x}}_{k}={\textbf {F}}{\textbf {x}}_{k-1}+{\textbf {G}}a_{k}

где

\text{[math]}

{\textbf {F}}={\begin{bmatrix}1&\Delta t\\0&1\end{bmatrix}}

Матрица управления записывается в виде вектора

\text{[math]}

{\textbf {G}}={\begin{bmatrix}{\frac {\Delta t^{2}}{2}}\\\Delta t\end{bmatrix}}

.

Вектор управления вырождается в скаляр a_k.

Ковариационная матрица случайных воздействий

\text{[math]}

{\textbf {Q}}={\textrm {cov}}({\textbf {G}}a)={\textsf {E}}[({\textbf {G}}a)({\textbf {G}}a)^{\text{T}}]={\textbf {G}}{\textsf {E}}[a^{2}]{\textbf {G}}^{\text{T}}={\textbf {G}}[\sigma _{a}^{2}]{\textbf {G}}^{\text{T}}=\sigma _{a}^{2}{\textbf {G}}{\textbf {G}}^{\text{T}}

(σ_a — скаляр).

На каждом такте работы производится измерение положения вагонетки. Предположим, что погрешность измерений $\text{[math]}$ v_k имеет нормальное распределение с нулевым математическим ожиданием и среднеквадратическим отклонением $\text{[math]}$ σ_z. Тогда

\text{[math]}

{\textbf {z}}_{k}={\textbf {Hx}}_{k}+{\textbf {v}}_{k}

,

где

\text{[math]}

{\textbf {H}}={\begin{bmatrix}1&0\end{bmatrix}}

,

и ковариационная матрица шума наблюдений имеет вид

\text{[math]}

{\textbf {R}}={\textsf {E}}[{\textbf {v}}_{k}{\textbf {v}}_{k}^{\text{T}}]={\begin{bmatrix}\sigma _{z}^{2}\end{bmatrix}}

.

Начальное положение вагонетки известно точно:

\text{[math]}

{\hat {\textbf {x}}}_{0|0}={\begin{bmatrix}0\\0\end{bmatrix}}

,

\text{[math]}

{\textbf {P}}_{0|0}={\begin{bmatrix}0&0\\0&0\end{bmatrix}}

.

Если же положение и скорость вагонетки известна лишь приблизительно, то можно инициализировать матрицу дисперсий достаточно большим числом $\text{[math]}$ L, чтобы это число превосходило дисперсию измерений координаты:

\text{[math]}

{\hat {\textbf {x}}}_{0|0}={\begin{bmatrix}0\\0\end{bmatrix}}

,

\text{[math]}

{\textbf {P}}_{0|0}={\begin{bmatrix}L&0\\0&L\end{bmatrix}}

.

В этом случае на первых тактах работы фильтр будет с бо́льшим весом использовать результаты измерений, чем имеющуюся априорную информацию.

Вывод формулПравить

Ковариационная матрица оценки вектора состоянияПравить

По определению ковариационной матрицы P_k|k

\text{[math]}

{\textbf {P}}_{k|k}={\textrm {cov}}({\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k})

.

Подставляем выражение для оценки вектора состояния $\text{[math]}$ $\text{[math]}$ ${\hat {\textbf {x}}}_{k|k}$

\text{[math]}

{\textbf {P}}_{k|k}={\textrm {cov}}({\textbf {x}}_{k}-({\hat {\textbf {x}}}_{k|k-1}+{\textbf {K}}_{k}{\tilde {\textbf {y}}}_{k}))

и расписываем выражение для вектора ошибок $\text{[math]}$ $\text{[math]}$ ${\tilde {\textbf {y}}}_{k}$

\text{[math]}

{\textbf {P}}_{k|k}={\textrm {cov}}({\textbf {x}}_{k}-({\hat {\textbf {x}}}_{k|k-1}+{\textbf {K}}_{k}({\textbf {z}}_{k}-{\textbf {H}}_{k}{\hat {\textbf {x}}}_{k|k-1})))

и вектора измерений $\text{[math]}$ $\text{[math]}$ ${\textbf {z}}_{k}$

\text{[math]}

{\textbf {P}}_{k|k}={\textrm {cov}}({\textbf {x}}_{k}-({\hat {\textbf {x}}}_{k|k-1}+{\textbf {K}}_{k}({\textbf {H}}_{k}{\textbf {x}}_{k}+{\textbf {v}}_{k}-{\textbf {H}}_{k}{\hat {\textbf {x}}}_{k|k-1})))

.

Выносим вектор погрешности измерений v_k

\text{[math]}

{\textbf {P}}_{k|k}={\textrm {cov}}((I-{\textbf {K}}_{k}{\textbf {H}}_{k})({\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k-1})-{\textbf {K}}_{k}{\textbf {v}}_{k})

.

Так как вектор погрешности измерений v_k не коррелирован с другими аргументами, получаем выражение

\text{[math]}

{\textbf {P}}_{k|k}={\textrm {cov}}((I-{\textbf {K}}_{k}{\textbf {H}}_{k})({\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k-1}))+{\textrm {cov}}({\textbf {K}}_{k}{\textbf {v}}_{k})

.

В соответствии со свойствами ковариации векторов данное выражение преобразуется к виду

\text{[math]}

{\textbf {P}}_{k|k}=(I-{\textbf {K}}_{k}{\textbf {H}}_{k}){\textrm {cov}}({\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k-1})(I-{\textbf {K}}_{k}{\textbf {H}}_{k})^{\text{T}}+{\textbf {K}}_{k}{\textrm {cov}}({\textbf {v}}_{k}){\textbf {K}}_{k}^{\text{T}}

.

Заменяя выражение для ковариационной матрицы экстраполяции вектора состояния на $\text{[math]}$ P_k|k−1 и определение ковариационной матрицы шумов наблюдений на $\text{[math]}$ R_k, получаем

\text{[math]}

{\textbf {P}}_{k|k}=(I-{\textbf {K}}_{k}{\textbf {H}}_{k}){\textbf {P}}_{k|k-1}(I-{\textbf {K}}_{k}{\textbf {H}}_{k})^{\text{T}}+{\textbf {K}}_{k}{\textbf {R}}_{k}{\textbf {K}}_{k}^{\text{T}}

.

Полученное выражение справедливо для произвольной матрицы коэффициентов, но если в качестве неё выступает матрица коэффициентов, оптимальная по Калману, то данное выражение для ковариационной матрицы можно упростить.

Оптимальная матрица коэффициентов усиленияПравить

Фильтр Калмана минимизирует сумму квадратов математических ожиданий ошибок оценки вектора состояния.

Вектор ошибки оценки вектора состояния

\text{[math]}

{\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k}

.

Стоит задача минимизировать сумму математических ожиданий квадратов компонент данного вектора:

\text{[math]}

{\textsf {E}}[\;|{\textbf {x}}_{k}-{\hat {\textbf {x}}}_{k|k}|^{2}\,]

,

что эквивалентно минимизации следа ковариационной матрицы оценки вектора состояния $\text{[math]}$ P_k|k. Подставим в выражение для ковариационной матрицы оценки вектора состояния имеющиеся выражения и дополним до полного квадрата:

$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k\|k}$		$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k\|k-1}-{\textbf {K}}_{k}{\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {K}}_{k}^{\text{T}}+{\textbf {K}}_{k}({\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}+{\textbf {R}}_{k}){\textbf {K}}_{k}^{\text{T}}$
		$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k\|k-1}-{\textbf {K}}_{k}{\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {K}}_{k}^{\text{T}}+{\textbf {K}}_{k}{\textbf {S}}_{k}{\textbf {K}}_{k}^{\text{T}}$
		$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k\|k-1}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1}{\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}+({\textbf {K}}_{k}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1}){\textbf {S}}_{k}({\textbf {K}}_{k}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1})^{\text{T}}$ .

Заметим, что последнее слагаемое является ковариационной матрицей некоторой случайной величины, поэтому его след неотрицателен. Минимум следа будет достигнут при обнулении последнего слагаемого:

\text{[math]}

{\textbf {K}}_{k}={\textbf {P}}_{k|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1}

Утверждается, что данная матрица является искомой и при использовании в качестве матрицы коэффициентов в фильтре Калмана минимизирует сумму средних квадратов ошибок оценки вектора состояния.

Ковариационная матрица оценки вектора состояния при использовании оптимальной матрицы коэффициентовПравить

Выражение для ковариационной матрицы оценки вектора состояния $\text{[math]}$ P_k|k при использовании оптимальной матрицы коэффициентов примет вид:

\text{[math]}

{\textbf {P}}_{k|k}={\textbf {P}}_{k|k-1}-{\textbf {P}}_{k|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1}{\textbf {H}}_{k}{\textbf {P}}_{k|k-1}

$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k|k-1}-{\textbf {K}}_{k}{\textbf {H}}_{k}{\textbf {P}}_{k|k-1}=(I-{\textbf {K}}_{k}{\textbf {H}}_{k}){\textbf {P}}_{k|k-1}$ .

Данная формула вычислительно проще и поэтому почти всегда используется на практике, но она корректна только при использовании оптимальной матрицы коэффициентов. Если ввиду малой вычислительной точности возникает проблема с вычислительной устойчивостью либо специально используется матрица коэффициентов, отличная от оптимальной, следует использовать общую формулу для ковариационной матрицы оценки вектора состояния.

Фильтр Калмана — БюсиПравить

Фильтр Калмана — Бюси (названный по имени Ричарда Сноудена Бюси) — версия фильтра Калмана для непрерывного времени^[11]^[12], которая опирается на следующую непрерывную динамическую модель состояния:

\text{[math]}

{\frac {d}{dt}}\mathbf {x} (t)=\mathbf {F} (t)\mathbf {x} (t)+\mathbf {B} (t)\mathbf {u} (t)+\mathbf {w} (t)

,

\text{[math]}

\mathbf {z} (t)=\mathbf {H} (t)\mathbf {x} (t)+\mathbf {v} (t)

.

Здесь $\text{[math]}$ $\text{[math]}$ $\mathbf {Q} (t)$ и $\text{[math]}$ $\text{[math]}$ $\mathbf {R} (t)$ будут представлять интенсивности двух членов (с характеристиками белого шума) $\text{[math]}$ $\text{[math]}$ $\mathbf {w} (t)$ и $\text{[math]}$ $\text{[math]}$ $\mathbf {v} (t)$ соответственно.

Фильтр состоит из двух дифференциальных уравнений, одно из которых служит для оценки состояния системы, а другое для оценки ковариации:

\text{[math]}

{\frac {d}{dt}}{\hat {\mathbf {x} }}(t)=\mathbf {F} (t){\hat {\mathbf {x} }}(t)+\mathbf {B} (t)\mathbf {u} (t)+\mathbf {K} (t)(\mathbf {z} (t)-\mathbf {H} (t){\hat {\mathbf {x} }}(t))

\text{[math]}

{\frac {d}{dt}}\mathbf {P} (t)=\mathbf {F} (t)\mathbf {P} (t)+\mathbf {P} (t)\mathbf {F} ^{T}(t)+\mathbf {Q} (t)-\mathbf {K} (t)\mathbf {R} (t)\mathbf {K} ^{T}(t)

,

где коэффициент Калмана получается по формуле

\text{[math]}

\mathbf {K} (t)=\mathbf {P} (t)\mathbf {H} ^{T}(t)\mathbf {R} ^{-1}(t)

.

Отметим, что в выражении для $\text{[math]}$ $\text{[math]}$ $\mathbf {K} (t)$ ковариация шумов наблюдения $\text{[math]}$ $\text{[math]}$ $\mathbf {R} (t)$ представляет одновременно ковариацию ошибки предсказания $\text{[math]}$ $\text{[math]}$ ${\tilde {\mathbf {y} }}(t)=\mathbf {z} (t)-\mathbf {H} (t){\hat {\mathbf {x} }}(t)$ , причём эти ковариации равны только для случая непрерывного времени^[13].

Различие между шагами прогноза и коррекции в дискретной калмановской фильтрации не имеет места для непрерывного случая.

Второе дифференциальное уравнение для ковариации — это пример уравнения Риккати.

Гибридный фильтр КалманаПравить

Большинство физических систем имеют модель непрерывного времени для эволюции состояния системы и модель дискретных измерений для уточнения состояния. Поэтому модель фильтра может быть представлена так:

\text{[math]}

{\begin{aligned}{\dot {\mathbf {x} }}(t)&=\mathbf {F} (t)\mathbf {x} (t)+\mathbf {B} (t)\mathbf {u} (t)+\mathbf {w} (t),&\mathbf {w} (t)&\sim N{\bigl (}\mathbf {0} ,\mathbf {Q} (t){\bigr )}\\\mathbf {z} _{k}&=\mathbf {H} _{k}\mathbf {x} _{k}+\mathbf {v} _{k},&\mathbf {v} _{k}&\sim N(\mathbf {0} ,\mathbf {R} _{k})\end{aligned}}

,

где

\text{[math]}

\mathbf {x} _{k}=\mathbf {x} (t_{k})

.

Инициализация: $\text{[math]}$ $\text{[math]}$ ${\hat {\mathbf {x} }}_{0\mid 0}=E{\bigl [}\mathbf {x} (t_{0}){\bigr ]},\mathbf {P} _{0\mid 0}=Var{\bigl [}\mathbf {x} (t_{0}){\bigr ]}$
Прогноз: $\text{[math]}$ $\text{[math]}$ ${\begin{aligned}&{\dot {\hat {\mathbf {x} }}}(t)=\mathbf {F} (t){\hat {\mathbf {x} }}(t)+\mathbf {B} (t)\mathbf {u} (t){\text{, where }}{\hat {\mathbf {x} }}(t_{k-1})={\hat {\mathbf {x} }}_{k-1\mid k-1}\\\Rightarrow &{\hat {\mathbf {x} }}_{k\mid k-1}={\hat {\mathbf {x} }}(t_{k})\\&{\dot {\mathbf {P} }}(t)=\mathbf {F} (t)\mathbf {P} (t)+\mathbf {P} (t)\mathbf {F} (t)^{T}+\mathbf {Q} (t){\text{, where }}\mathbf {P} (t_{k-1})=\mathbf {P} _{k-1\mid k-1}\\\Rightarrow &\mathbf {P} _{k\mid k-1}=\mathbf {P} (t_{k})\end{aligned}}$

Уравнения прогноза взяты из фильтра Калмана-Бюси с непрерывным временем при $\text{[math]}$ $\text{[math]}$ $\mathbf {K} (t)=0$ . Прогноз состояния и ковариации получается интегрированием дифференциальных уравнений с начальным значением, взятым из предыдущего шага коррекции.

Коррекция: $\text{[math]}$ $\text{[math]}$ $\mathbf {K} _{k}=\mathbf {P} _{k\mid k-1}\mathbf {H} _{k}^{T}{\bigl (}\mathbf {H} _{k}\mathbf {P} _{k\mid k-1}\mathbf {H} _{k}^{T}+\mathbf {R} _{k}{\bigr )}^{-1}$; $\text{[math]}$ $\text{[math]}$ ${\hat {\mathbf {x} }}_{k\mid k}={\hat {\mathbf {x} }}_{k\mid k-1}+\mathbf {K} _{k}(\mathbf {z} _{k}-\mathbf {H} _{k}{\hat {\mathbf {x} }}_{k\mid k-1})$; $\text{[math]}$ $\text{[math]}$ $\mathbf {P} _{k\mid k}=(\mathbf {I} -\mathbf {K} _{k}\mathbf {H} _{k})\mathbf {P} _{k\mid k-1}$

Уравнения коррекции идентичны уравнениям из дискретного фильтра Калмана.

Критика фильтра КалманаПравить

На настоящий момент основная критика фильтра Калмана ведётся по следующим направлениям^[14]:

В фильтре Калмана погрешности представлены белым шумом, которого на самом деле в природе не существует.
Нет соответствия необходимому и достаточному условию оптимальности

\text{[math]}

{\textsf {M}}[\varepsilon (t)\,{\textbf {Z}}_{k}]^{\text{T}}=0

00 при 00

\text{[math]}

{\textbf {t}}_{0}\leq \tau \leq t

Ошибка в выводе фильтра Калмана — требуются противоречивые условия верности разных уравнений алгоритма: в одних чтобы $\text{[math]}$ τ < t и в других $\text{[math]}$ τ = t.

Соответственно, позиция сторонников оптимальности данного фильтра заключается в том, что^[15]:

Возможно составить модифицированый фильтр Калмана, у которого погрешности будут представлены цветным шумом.
Использование условия оптимальности $\text{[math]}$ $\text{[math]}$ ${\textsf {M}}[\varepsilon (t)\,{\textbf {Z}}_{k}]^{\text{T}}=0\quad$ в определённых случаях приводит к менее точному результату, нежели используемое в фильтре Калмана.
При выводе фильтра Калмана можно принять условия: $\text{[math]}$ τ < t, $\text{[math]}$ τ → t, что устраняет противоречие.

Где используетсяПравить

Курсовертикали
Автопилот
Навигационные системы:
- Инерциальные
- Рельефометрические (по цифровым картам местности)
- Спутниковые

См. такжеПравить

ПримечанияПравить

↑ Ingvar Strid & Karl Walentin (2009), Block Kalman Filtering for Large-Scale DSGE Models, Computational Economics (Springer) . — Т. 33 (3): 277–304, <http://www.riksbank.se/Upload/Dokument_riksbank/Kat_publicerat/WorkingPapers/2008/wp224ny.pdf> Архивная копия от 20 апреля 2015 на Wayback Machine
↑ Martin Møller Andreasen (2008), Non-linear DSGE Models, The Central Difference Kalman Filter, and The Mean Shifted Particle Filter, <ftp://ftp.econ.au.dk/creates/rp/08/rp08_33.pdf>
↑ Kalman, R.E. (1960). «A new approach to linear filtering and prediction problems». Journal of Basic Engineering 82 (1): pp. 35—45
↑ Lauritzen S. L.^[en]. Time series analysis in 1880. A discussion of contributions made by T.N. Thiele : [англ.] // International Statistical Review. — 1981. — Vol. 49, № 3 (December). — P. 319–331. — doi:10.2307/1402616. — JSTOR 1402616.
He derives a recursive procedure for estimating the regression component and predicting the Brownian motion. The procedure is now known as Kalman filtering.
↑ Lauritzen S. L. Thiele: Pioneer in Statistics : [арх. 22 апреля 2022]. — Нью-Йорк : Oxford University Press, 2002. — P. 41. — ISBN 0-19-850972-3.
He solves the problem of estimating the regression coefficients and predicting the values of the Brownian motion by the method of least squares and gives an elegant recursive procedure for carrying out the calculations. The procedure is nowadays known as Kalman filtering.
↑ Stratonovich, R.L. (1959). Optimum nonlinear systems which bring about a separation of a signal with constant parameters from noise. Radiofizika, 2:6, pp. 892—901.
↑ Stratonovich, R.L. (1959). On the theory of optimal non-linear filtering of random functions. Theory of Probability and its Applications, 4, pp. 223—225.
↑ Stratonovich, R.L. (1960) Application of the Markov processes theory to optimal filtering. Radio Engineering and Electronic Physics, 5:11, pp. 1—19.
↑ Stratonovich, R.L. (1960). Conditional Markov Processes. Theory of Probability and its Applications, 5, pp. 156—178.
↑ Roweis, S. and Ghahramani, Z., A unifying review of linear Gaussian models Архивная копия от 28 мая 2016 на Wayback Machine, Neural Comput. Vol. 11, No. 2, (February 1999), pp. 305—345.
↑ Bucy, R.S. and Joseph, P.D., Filtering for Stochastic Processes with Applications to Guidance, John Wiley & Sons, 1968; 2nd Edition, AMS Chelsea Publ., 2005. ISBN 0-8218-3782-6
↑ Jazwinski, Andrew H., Stochastic processes and filtering theory, Academic Press, New York, 1970. ISBN 0-12-381550-9
↑ Kailath, Thomas, «An innovation approach to least-squares estimation Part I: Linear filtering in additive white noise», IEEE Transactions on Automatic Control, 13(6), 646—655, 1968
↑ http://www.tgizd.ru/mag/aviakos/aviakos_7_6_7.shtml Архивная копия от 10 ноября 2011 на Wayback Machine Г. Ф. Савинов О некоторых особенностях алгоритма оптимальной фильтрации Калмана — Бьюси // Авиакосмическое приборостроение № 6, 2007 г.
↑ А. Ю. Горбачёв Критерии оценки алгоритмов оптимальной фильтрации (недоступная ссылка) // Авиакосмическое приборостроение № 6, 2008 г.

Литература и публикацииПравить

Peter Joseph «INTRODUCTORY LESSON: The one-dimensional Kalman Filter»
Перов, А. И. Статистическая теория радиотехнических систем. — М.: Радиотехника, 2003. — 400 с. — ISBN 5-93108-047-3.
Цыплаков, А. (2011) Введение в моделирование в пространстве состояний. — Квантиль, № 9, стр. 1—24.

СсылкиПравить

[1] Ingvar Strid & Karl Walentin (2009), Block Kalman Filtering for Large-Scale DSGE Models, Computational Economics (Springer) . — Т. 33 (3): 277–304, <http://www.riksbank.se/Upload/Dokument_riksbank/Kat_publicerat/WorkingPapers/2008/wp224ny.pdf> Архивная копия от 20 апреля 2015 на Wayback Machine

[2] Martin Møller Andreasen (2008), Non-linear DSGE Models, The Central Difference Kalman Filter, and The Mean Shifted Particle Filter, <ftp://ftp.econ.au.dk/creates/rp/08/rp08_33.pdf>

[3] Kalman, R.E. (1960). «A new approach to linear filtering and prediction problems». Journal of Basic Engineering 82 (1): pp. 35—45

[4] Lauritzen S. L.^[en]. Time series analysis in 1880. A discussion of contributions made by T.N. Thiele : [англ.] // International Statistical Review. — 1981. — Vol. 49, № 3 (December). — P. 319–331. — doi:10.2307/1402616. — JSTOR 1402616.
He derives a recursive procedure for estimating the regression component and predicting the Brownian motion. The procedure is now known as Kalman filtering.

[5] Lauritzen S. L. Thiele: Pioneer in Statistics : [арх. 22 апреля 2022]. — Нью-Йорк : Oxford University Press, 2002. — P. 41. — ISBN 0-19-850972-3.
He solves the problem of estimating the regression coefficients and predicting the values of the Brownian motion by the method of least squares and gives an elegant recursive procedure for carrying out the calculations. The procedure is nowadays known as Kalman filtering.

[6] Stratonovich, R.L. (1959). Optimum nonlinear systems which bring about a separation of a signal with constant parameters from noise. Radiofizika, 2:6, pp. 892—901.

[7] Stratonovich, R.L. (1959). On the theory of optimal non-linear filtering of random functions. Theory of Probability and its Applications, 4, pp. 223—225.

[8] Stratonovich, R.L. (1960) Application of the Markov processes theory to optimal filtering. Radio Engineering and Electronic Physics, 5:11, pp. 1—19.

[9] Stratonovich, R.L. (1960). Conditional Markov Processes. Theory of Probability and its Applications, 5, pp. 156—178.

[10] Roweis, S. and Ghahramani, Z., A unifying review of linear Gaussian models Архивная копия от 28 мая 2016 на Wayback Machine, Neural Comput. Vol. 11, No. 2, (February 1999), pp. 305—345.

[11] Bucy, R.S. and Joseph, P.D., Filtering for Stochastic Processes with Applications to Guidance, John Wiley & Sons, 1968; 2nd Edition, AMS Chelsea Publ., 2005. ISBN 0-8218-3782-6

[12] Jazwinski, Andrew H., Stochastic processes and filtering theory, Academic Press, New York, 1970. ISBN 0-12-381550-9

[13] Kailath, Thomas, «An innovation approach to least-squares estimation Part I: Linear filtering in additive white noise», IEEE Transactions on Automatic Control, 13(6), 646—655, 1968

[14] ttp://www.tgizd.ru/mag/aviakos/aviakos_7_6_7.shtml Архивная копия от 10 ноября 2011 на Wayback Machine Г. Ф. Савинов О некоторых особенностях алгоритма оптимальной фильтрации Калмана — Бьюси // Авиакосмическое приборостроение № 6, 2007 г.

[15] А. Ю. Горбачёв Критерии оценки алгоритмов оптимальной фильтрации (недоступная ссылка) // Авиакосмическое приборостроение № 6, 2008 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

$\text{[math]}$ $\text{[math]}$ ${\textbf {P}}_{k\|k}$		$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k\|k-1}-{\textbf {K}}_{k}{\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {K}}_{k}^{\text{T}}+{\textbf {K}}_{k}({\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}+{\textbf {R}}_{k}){\textbf {K}}_{k}^{\text{T}}$
		$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k\|k-1}-{\textbf {K}}_{k}{\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {K}}_{k}^{\text{T}}+{\textbf {K}}_{k}{\textbf {S}}_{k}{\textbf {K}}_{k}^{\text{T}}$
		$\text{[math]}$ $\text{[math]}$ $={\textbf {P}}_{k\|k-1}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1}{\textbf {H}}_{k}{\textbf {P}}_{k\|k-1}+({\textbf {K}}_{k}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1}){\textbf {S}}_{k}({\textbf {K}}_{k}-{\textbf {P}}_{k\|k-1}{\textbf {H}}_{k}^{\text{T}}{\textbf {S}}_{k}^{-1})^{\text{T}}$ .