Машинный перевод не уступает человеческому?
26.04.2022
По мнению компаний вроде Microsoft, да. Конечно, не для всех языковых пар и тематик, но всё же. Однако ответ на этот вопрос сложнее, чем кажется.
Фото: Pavel Danilyuk: Pexels
Для начала давайте выясним, как организации понимают, что машинный перевод вышел на человеческий уровень, т.е. достиг того, что в англоязычной литературе называют human parity? Тут есть два основных подхода.
Человеческий: если билингв считает, что качество машинного перевода сопоставимо с качеством перевода, сделанного человеком, то human parity достигнут.
Статистический: если между оценками качества машинного и человеческого перевода нет статистически значимой разницы, то human parity достигнут.
Вроде бы всё понятно, но вопросы к таким исследованиям у экспертов всё-таки остаются. Что же им не нравится? Претензии можно разделить на три группы.
Размер выборки. Большинство исследований, по результатам которых корпорации рапортуют о том, что human parity достигнут, проведены на очень небольших выборках. Речь о переводе 100–200 предложений.
Качество исходника. Насколько хорошо написаны исходные тексты? Не было ли в них явных ошибок? Насколько однородна и релевантна выборка? От ответа на эти вопросы зависит уровень доверия к исследованию.
Оценка качества перевода. Кто и как оценивал и сравнивал переводы? Если оценку проводил человек, то насколько он компетентен? Всё это влияет на качество исследования.
«Машинный перевод вышел на человеческий уровень». Звучит впечатляюще и красиво, но не преждевременно ли?
Человеческий: если билингв считает, что качество машинного перевода сопоставимо с качеством перевода, сделанного человеком, то human parity достигнут.
Статистический: если между оценками качества машинного и человеческого перевода нет статистически значимой разницы, то human parity достигнут.
Вроде бы всё понятно, но вопросы к таким исследованиям у экспертов всё-таки остаются. Что же им не нравится? Претензии можно разделить на три группы.
Размер выборки. Большинство исследований, по результатам которых корпорации рапортуют о том, что human parity достигнут, проведены на очень небольших выборках. Речь о переводе 100–200 предложений.
Качество исходника. Насколько хорошо написаны исходные тексты? Не было ли в них явных ошибок? Насколько однородна и релевантна выборка? От ответа на эти вопросы зависит уровень доверия к исследованию.
Оценка качества перевода. Кто и как оценивал и сравнивал переводы? Если оценку проводил человек, то насколько он компетентен? Всё это влияет на качество исследования.
«Машинный перевод вышел на человеческий уровень». Звучит впечатляюще и красиво, но не преждевременно ли?
Подпишитесь на рассылку
И я буду присылать вам публикации на почту раз в месяц
