Англоязычный портал на основе нейронного автоматического перевода

 В России сильная индустрия информационных технологий, но если информация доступна только на русском языке, то это ограничивает доступ зарубежной аудитория. По данным Международного союза электросвязи (ITU), в интернет выходят 3,9 млрд человек или 51,2% населения планеты, из которых как минимум половина делают поисковые запросы на латинице, поэтому важно представить информацию прежде всего на английском языке, а в перспективе и на других языках. Портал нужен был как инструмент для российских компаний, которые стремятся стать более заметными на мировом рынке. Важным условием существования проекта было обеспечение автоматического перевода «на лету» всего контента, в том числе повторный перевод статей и новостей, если в них вносились правки на русском языке.

Основные сложности проекта — это автоматический перевод такого качества, чтобы его можно было бы публиковать на сайте без предварительной модерации человеком. Лингвистическая особенность данного контента заключается в том, что в нем много имен собственных (названий компаний, организаций, продуктов, технологий, ведомств, министерств, имен людей), причем в тексте они присутствуют как на кириллице, так и на латинице. Чтобы система нейросетевого автоматического перевода безошибочно справилась с переводом имен собственных, все они должны все присутствовать в данных, на которых система обучалась (система нейронного перевода обучается на корпусах параллельных текстов). Так как в данном случае это невозможно – частотные имена и названия, конечно присутствуют в данных, но есть и менее известные, менее частотные названия, вновь возникающие имена и названия, поэтому приходится мониторить результат нейронного перевода имен собственных и внедрять новые алгоритмы, которые помогают обеспечить перевод имен без искажения. Для быстрого исправления перевода имен собственных используется инструмент PROMT Smart NeuralDictionary (Smart ND). С помощью этого инструмента в словарь добавляются слово и словосочетания с нужными переводами.

Также важно было обеспечить бесперебойную, отказоустойчивую работу облачного решения для того, чтобы англоязычный контент постоянно пополнялся и обновлялся на портале TAdviser.com.

Информационный портал TAdviser, одно из ведущих СМИ в России по теме корпоративной информатизации, и PROMT, один из лидеров в области разработки лингвистических IT-решений для автоматического перевода, реализовали проект по запуску первого в России интернет-издания, работающего на основе технологий искусственного интеллекта. TAdviser.com – англоязычная версия российского издания TAdviser.ru - формируется автоматически с использованием решений автоматического перевода компании PROMT.

Проект прошел несколько этапов:

1. Первый этап 2018-осень 2020гг.

a. Анализ русскоязычного контента TAdviser , настройка для разных типов текста (новость, интервью, биографическая карточка) для повышения качества машинного перевода. На этом этапе использовалась технология Rule-based Machine Translation.

b. Разработка новых API методов перевода и реализация специальной технической обработки контента (разработка алгоритма викитекста, включающего в себя пре- и пост-процессинг викиссылок внутри предложений).

2. Второй этап октябрь 2020-2021

a. Переход на технологию перевода на основе нейронных сетей (Neural Machine Translation). Этот этап включал в себя тестирование качества перевода по новой технологии, использование новых инструментов для настройки и выбор новой инфраструктуры для установки программного обеспечения и обеспечения требуемой скорости перевода контента.

К моменту запуска система перевела с русского на английский более 206 тысяч статей из базы знаний TAdviser, в том числе более 40 000 досье компаний, 17 000 описаний ИТ-решений и 47 000 описаний ИТ-проектов, а также большое число статей о технологических рынках России и других стран, сотни интервью с экспертами из отрасли информационных технологий. В настоящий момент ежемесячно автоматически переводится 60 млн символов, это более 33 000 страниц текста формата А4. Если представить, что один переводчик может перевести в месяц около 200 страниц текста, то для перевода всего месячного потока понадобилось бы не менее 150 переводчиков.