DQF-MQM

Dynamic Quality Framework/Multidimensional Quality Metrics (DQF-MQM) — экспертная система оценки (метрика) показателей качества машинного перевода.

История проектаПравить

Разработанная и DFKI в 2014 году^[1], изначально данная метрика представляла собой два независимых проекта: англ. Dynamic Quality Framework (DQF), разрабатываемый ассоциацией TAUS и англ. Multidimensional Quality Metrics (MQM), создаваемый DFKI в рамках проекта QTLaunchPad, финансируемого ЕС. В 2014 году было принято решение объединить два проекта, чтобы упростить применение метрики поставщиками переводческих услуг^[2].

Описание метрикиПравить

Метрика представляет собой многоуровневую типологию ошибок^[3], где наиболее наиболее обобщённые типы относятся к первому уровню, а наиболее специфицированные — к четвёртому. Так к первому уровню метрики относятся такие типы ошибок как Accuracy (Точность), Fluency (Естественность), Terminology (Терминология), Locale convention (Нарушение традиции написания текстов), Verity (Достоверность), Design (Дизайн), Internationalisation (Интернационализация) и Other (Другое).

Каждой ошибке присваивается степень критичности:

Critical (критическая) — ошибка в переводе может привести к серьёзным последствиям (поломка устройства, угроза имиджу компании, нарушение законодательства). Наличие такой ошибки делает перевод непригодным.
Major (серьёзная) — ошибка значительным образом затрудняет восприятие текста.
Minor (незначительная) — ошибка незначительным образом затрудняет восприятие текста.
Neutral (нулевая) — текст не содержит ошибку, но на обозначенный фрагмент стоит обратить особое внимание.

Стандартные значения штрафов для данный степеней 100, 10, 1 и 0 соответственно, однако рецензент вправе изменять их в случае необходимости. Далее производится расчёт индекса качества перевода по формуле Q = 1 - (P/C), где

Q - индекс качества перевода;
P - суммарный штраф за все ошибки всех типов;
C - количество слов в тексте.

Дальнейшее развитиеПравить

Начиная с 2015 года, продолжается развитие «гармонизированной метрики» в рамках программы Евросоюза «Качество перевода 21»^[4].

ПримечанияПравить

↑ А.К. Рычихин. О методах оценки качества машинного перевода // Системы и средства информатики. — 2019. — Т. 29, № 4. — С. 106—118.
↑ A. Lommel. Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies (англ.) // Springer. — 2018. — P. 109—127. Архивировано 12 января 2021 года.
↑ DQF-MQM error typology (неопр.). Дата обращения: 6 февраля 2021. Архивировано из оригинала 6 января 2021 года.
↑ Harmonised metric QT21 (неопр.). Дата обращения: 6 февраля 2021. Архивировано 30 декабря 2020 года.

СсылкиПравить

[1] А.К. Рычихин. О методах оценки качества машинного перевода // Системы и средства информатики. — 2019. — Т. 29, № 4. — С. 106—118.

[2] A. Lommel. Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies (англ.) // Springer. — 2018. — P. 109—127. Архивировано 12 января 2021 года.

[3] DQF-MQM error typology (неопр.). Дата обращения: 6 февраля 2021. Архивировано из оригинала 6 января 2021 года.

[4] Harmonised metric QT21 (неопр.). Дата обращения: 6 февраля 2021. Архивировано 30 декабря 2020 года.

[1]

[2]

[3]

[4]