Сколько языков ты знаешь - столько раз ты - человек...
Карл Маркс
В библии есть сказание о вавилонской башне. Одолела земных людей гордыня, и задумали они выстроить башню до неба. Но Всевышний - для вразумления - дал людям из разных земель разные языки, и распалось земное человечество на народы, и не смогли эти народы договориться, чтобы достроить великую башню. Прошли века и тысячелетия, но по-прежнему человеческое разноязычие приносит всем народам планеты множество неудобств, потерь и бед. Это происходит даже в наше время стирания разнообразных границ между странами под напором технической, экономической и ,частично, культурной глобализации. Поэтому неудивительно, что во все века цивилизации многие из лучших умов человечества думали, как преодолеть пагубное разноязычие, которое делает народы не только непохожими, но слишком часто бесчеловечно-враждебными друг другу.
В наш век взрывного развития цифровой техники началась глубокая системная работа по решению задачи преодоления разноязычия, и появились определённые достижения на этом пути. Мы имеем ввиду программное обеспечение, позволяющее переводить тексты и устную речь, как непосредственно с помощью личного компьютерного устройства, так и через Интернет, с использованием его "облачных" ресурсов. Но в последнее время такая работа после первых успехов всё более пробуксовывает, а это показывает, что нужны новые подходы и пути для её дальнейшего развития.
Обратимся к истории. Поначалу задача межъязычного общения решалась либо личным изучением иностранных языков, что было возможно для немногих избранных с соответствующими интересами, способностями и материальными возможностями. Либо путём подготовки и использования специалистов-переводчиков, прежде всего для государственных нужд или для нужд мощных экономических корпораций. Оба этих способа никак не могли помочь широким народным массам разных стран наладить общение между собой. Да и не видел никто в этом особой необходимости. Только в наше время, когда возникла у всех национальных экономик общая нужда в завоевании и развитии своего места на мировом рынке, когда наука и техника потребовали для решения современных проблем соединения усилий всех земных талантов, остро встала необходимость, чтобы человечество смогло общаться между собой так же непринужденно, как будто все люди - представители одной и той же нации. Впервые эту задачу попытались решить в 19-м веке. Тогда некоторые лингвистические гении предложили человечеству разработанные ими искусственные языки межнационального общения. Наиболее известная попытка - язык эсперанто, придуманный врачом из Белостока, талантливым полиглотом Людвигом Заменгофом, выучившим практически все европейские языки. Словарный запас эсперанто основан на латинских и греческих корнях, которые присутствуют во всех романо-германских языках и во множестве славянских, грамматика и синтаксис очень легки для заучивания, не содержат никаких исключений из правил. При интенсивном изучении и тренировке эсперанто можно выучить за три месяца, он чрезвычайно подходит для для передачи конкретной и точной информации. Но практически непригоден для выражения разнообразных контекстов, оттенков чувств и многозначных смыслов. Однако по всему миру существуют устойчивые сообщества поклонников эсперанто, ведущих между собой активную переписку и общение. Но в подавляющем большинстве все учёные-лингвисты отрицательно относились и относятся к внедрению какого-то одного, пусть даже искусственного языка межнационального общения, ибо особенности общения каждого народа обязательно разорвут подобный язык на такие жаргоны и диалекты, которые будут также взаимонепонятны, как и собственно национальные языки.
Эпоха машинного перевода (МП) началась ещё в 50-е годы прошлого века, с появлением первых достаточно мощных компьютеров. Тогда же стали складываться и программные методики МП. В настоящее время в переводческом программировании задействованы следующие способы; самый примитивный - просто перекодировка фраз с исходного языка на язык перевода, без учёта грамматики, затем перекодировка с учётом грамматики(синтаксиса!) и информационного смысла (семантики!), заложенного в переводимых словосочетаниях и фразах, а переводческие программы самого высокого уровня наряду с вышеизложенными способами вбирают в себя ещё и учёт социальных, этнических, географических и прочих факторов, влияющих на развитие и функционирование языка (экстралингвистику!). То есть современные разработчики программ МП перевода стараются ориентироваться на самые высокий уровень перевода "ручного", на перевод литературно-художественный, который делает понятными даже самые сокровенные смыслы переводимого текста да ещё и максимально передаёт его эстетическое изящество. Это язык самых образованных и развитых слоёв общества, основная масса народа пользуется языком попроще с большой примесью жаргонизмов и диалектизмов, поэтому трудно и насмешливо воспринимает литературную форму собственного языка(!). Набирают также популярность и показывают хорошую перспективность программные методики, использующие статистические способы перевода, когда слова и фразы при переводе подбираются из вероятностного принципа их использования в том или ином контексте. Именно эта методика в данной статье будет нам наиболее интересна, хотя в современных программах МП, как правило, стараются комбинированно использовать все методики.
В настоящее время МП наиболее широко используется для письменного перевода различных технических, служебно-офисных и научных текстов. В последнее время появились программные приложения, которые позволяют разноязычным собеседникам общаться с голоса, когда, после произнесения фразы, её запись появляется на экране, после чего можно включить опцию перевода, и устройство переводит фразу собеседнику в письменном и устном виде. Такие приложения работают либо только в самом устройстве, либо связывают устройство с интернет-сервером, откуда и приходит запрашиваемый перевод. Современный мировой рынок переводческого обслуживания оценивается по стойкому валовому обороту приблизительно в 30 миллиардов долларов, но есть мнение, что он способен возрасти и до 100 миллиардов, если удастся добиться возможности непринуждённого или почти непринуждённого общения любых разноязыких собеседников также, как они делают это с помощью специалиста-переводчика. Можно для сравнения заметить, что сейчас мировой рынок услуг частных военных компаний составляет 100 млрд. долл., и эти компании растут по всему миру, как грибы.
Сейчас все мировые интернет-гиганты, типа Майкрософт, Гугл и т.д., стараются предоставлять услуги для своих пользователей по переводу письменных или голосовых текстов, а также предлагают продажу своего программного обеспечения предприятиям, чтобы те могли быстро и качественно переводить необходимые им документы. Тем не менее, говорить о том, что любой человек может легко, с помощью МП, разговаривать с любым иноязычным собеседником было бы просто неуместно. Все, кто пытался это делать через свои гаджеты, быстро убеждались как это трудно, непрактично, а часто больше запутывает собеседников, чем вносит ясность. И такое положение в области массового бытового перевода сохраняется уже второй десяток лет, несмотря на то, что работа по совершенствованию МП идёт очень интенсивно по всему миру, хорошо финансируется и отнюдь не топчется на месте.
Чтобы понять истинное положение дел в сфере МП, мы обратились к экспертам двух самых авторитетных российских компаний: Промт и ABBY. Обе эти компании начали в России самыми первыми работать в области коммерческого, технического и научного МП. Работают они - каждая по своим авторским методикам. Обе снискали себе уважение в международной среде предприятий МП, которые охотно сотрудничают с Промт и ABBY в сфере лингвистических разработок как русского, так и иных языков. Мы составили набор вопросов, и эксперты компаний тщательно и подробно на них ответили, за что наша искренняя благодарность им, руководству компаний и их менеджерам по связям с общественностью. Предоставленные нам ответы мы постарались изложить своими словами так, чтобы они стали максимально понятны широкому кругу наших читателей, которые не владеют терминами, понятиями и словосочетаниями, присущими профессионалам. Далее по тексту идут вопросы-ответы.
1. Каково состояние дел в машинном переводе в России и в мире?
Ответ PROMT. Технологии машинного перевода сегодня широко востребованы, что связано в первую очередь с распространением информационных технологий и интернета. В мире очень много контента, который производится ежесекундно, может быть доступен в любой точке мире благодаря современным средствам коммуникации и не может быть переведен людьми на все мыслимые языки по объективным причинам - это было бы слишком дорого и потребовало бы огромных человеческих ресурсов. Поэтому использование машинного перевода для многих случаев – единственное оптимальное решение как по эффективности, так и по стоимости. Рынок машинного перевода сегодня делится на несколько сегментов - это онлайн-сервисы для бесплатного перевода, программы для частных пользователей (от мобильных приложений до серьезных программ для персональных компьютеров), корпоративные решения для перевода документов, Big Data и интеграции функций перевода в корпоративные порталы, сервисы, сторонние программы. Что касается технологий, то тренд последних нескольких лет – это нейронный машинный перевод. У этой технологии большой потенциал, хотя есть и свои ограничения. Как и статистический перевод, нейронный перевод требует для обучения параллельные корпуса, позволяющие сравнить автоматический перевод с эталонным «человеческим», только в процессе обучения он оперирует не отдельными фразами и словосочетаниями, а целыми предложениями. Основная проблема в том, что для тренировки такой системы требуется существенно больше вычислительных мощностей.
Ответ AББИ. Мы очень много вкладываем именно в исследовательскую часть и работаем над технологией, основанной на новом подходе. Главный мировой тренд последних лет — статистические open source-движки: в частности, Moses, созданный Стивом Коэном. Многие крупные компании используют такие open source-движки и строят свои решения на их основе.
2. Сотрудничает ли ваша компания в разработке программ с зарубежными компаниями, например с ГУГЛ, или только конкурирует?
Ответ PROMT.
Мы разрабатываем программы для перевода на основе собственных технологий, и ни с кем не ведем совместную разработку. Однако мы интегрируем в свои продукты модули других компаний-разработчиков МП в тех случаях, когда у них есть технологии для перевода с тех языков, которых у нас нет. Например, мы давно сотрудничаем с японской компанией Crosslanguage. Благодаря этому сотрудничеству наши языковые пары включены в продукты японского производителя, а мы получили возможность создать перевод с японского на русский и наоборот на базе технологий партнера.
Что касается конкуренции, то в пространстве онлайн-сервисов и мобильных приложений (а мы уже 20 лет развиваем онлайн-переводчик www.translate.ru) мы конкурируем с такими компаниями как Google и Microsoft, которые разрабатывают свои сервисы и мобильные приложения для бесплатного перевода.
Кроме того, у нас есть другое направление - решения для корпоративных клиентов с возможностью интеграции функций перевода в бизнес-процессы и программное обеспечение компаний. При таком сценарии ключевыми факторами являются обеспечение конфиденциальности при переводе корпоративной информации и возможности настройки и адаптации решения под задачи клиента. Например, у нас есть клиент, компания Amadeus, занимающаяся разработкой системы онлайн-бронирования для туристических агентств. В их систему интегрировано специально разработанное решение PROMT для перевода тарифных правил от авиакомпаний разных стран.
Ответ AББИ. Если понимать сотрудничество как совместную разработку программных продуктов, то нет. В Google делают хороший продукт для массового потребления, мы же сфокусированы на профессиональном сценарии использования MП. Главная цель ABBYY Language Services как профессиональной лингвистической компании — повысить производительность труда переводчиков и улучшить качество корпоративного перевода. Мы стремимся автоматизировать труд переводчика и увеличить количество переводимых им страниц в единицу времени с сохранением требуемого уровня качества, и в этой области мы не конкурируем с Google. Если же рассматривать сотрудничество как использование разработок других компаний в наших решениях по автоматизации процесса перевода, то в этом случае мы тесно работаем с вендорами (от англ. vendor — поставщик), которые поставляют нам профессиональные «движки» машинного перевода, отлаженные специально под определенную языковую пару и тематическую область.
3. Компания разрабатывает переводы только специализированных текстов или делает программы переводов бытовой тематики тоже?
Ответ ПРОМТ. Мы предлагаем продукты и решения, можно сказать, на любой вкус и для решения практически любой задачи в области перевода. У нас есть мобильные переводчик для iOS, Android, Windows Phone, мессенджеров Telegram и Skype. Эти приложения предназначены для путешественников, тех, кто изучает языки, много общается в соцсетях и мессенджерах, ищет информацию в интернете по разным темам. Есть программы для персональных компьютеров для частных и бизнес-пользователей. Для компаний мы предлагаем чаще всего отраслевые серверные решения, которые гарантируют высокое качество перевода документации, любой служебной информации на предприятии и в отрасли. Речь идет о самых востребованных в России отраслях: нефтегазовой, металлургической, фармацевтической, банковской и других.
Ответ АББИ. Если имеется в виду перевод как услуга, то да, мы выполняем переводы текстов любой тематики (технической, юридической и др.) и назначения (маркетинговые материалы, мультимедиа, ПО и пр.).Если же говорить о «движке» машинного перевода, то он также приспособлен к работе с текстами разной направленности. Для того чтобы качество MП было выше в определенной тематической области, обычно делается специальная настройка «движка» на тематику, а еще лучше — на конкретные тексты конкретного клиента.
4. Делает ли компания программы переводов с голоса, типа гугловских? Если да, то сотрудничает ли со специалистами по распознаванию образов, эти специалисты - российские? Каковы преимущества ваших программ по отношению к гугловским?
Ответ ПРОМТ. В смартфоны и планшеты на платформе Android и iOS интегрированы функции распознавания речи, поэтому наши мобильные переводчики для этих платформ - это также голосовые переводчики. Для распознавания речи используются модули, доступные на мобильных устройствах, а для перевода - наши технологии. Что касается отличий переводчика PROMT от переводчика Google, то отличий очень много, но среди главных я бы назвала: высокое качество перевода наших продуктов в оффлайн- режиме, конфиденциальность и комфорт в работе.
Ответ АББИ. Автоматический перевод речи — это сочетание нескольких технологий: распознавания речи и перевода голоса в текст, далее машинный перевод текста с одного языка на другой и в конце — синтез речи, то есть переход перевода из текста в голос. Последняя технология наиболее отлажена на сегодняшний день, существует много открытых «движков» — таким образом, можно без проблем озвучить результат машинного перевода на любом языке. Основные сложности сегодня связаны с технологией распознавания речи. Идеально работающей технологии пока нет на рынке, хотя есть компании-производители, в том числе и в России. Мы сами не занимаемся разработкой технологии распознавания голоса, но вполне готовы к сотрудничеству с её производителями. Дело в том, что одна из существенных проблем при распознавании речи — понимание контекста, которое пока недоступно машине.
5. При разработке программ машинного перевода используются технологии, основанные на анализе информационного смысла фраз(семантике!), на анализе влияния внешних факторов на создание языковых понятий, типа географии, климата, культуры и народных обычаев (экстралингвистика!), и, что сейчас очень популярно, на статистическом подборе фраз для перевода, основанном на вероятностном выборе. Какие технологии из перечисленных применяются в вашей компании? Как практически организованы накопление и обработка статистики для вероятностно-статистических технологий перевода?
Ответ ПРОМТ. На сегодняшний день мы используем несколько подходов в разработке технологий машинного перевода. Во-первых, это аналитический подход, где используется глубокий семантико-синтаксический анализ. Во-вторых, это статистическая технология, основанная на корпусах параллельных текстов. Хотя в ее основе лежит open source платформа Mоses, но это только фундамент, далее мы сделали серьезные доработки, которые обеспечивают качество, скорость, устойчивость решений на этой платформе. В настоящий момент мы работаем также над нейронным машинным переводом. И самое главное – это то, что мы можем комбинировать и дополнять технологии - для этого мы используем гибридный подход , который позволяет нивелировать ограничения каждой технологии и объединяет в себе их преимущества.
Ответ АББИ. Наш подход к разработке систем машинного перевода основан на полном синтактико-семантическом анализе текста. Если очень условно, ядром нашей системы MП является описание глубинной структуры языка, которая отражает взаимосвязи между используемыми в нем понятиями. Мы проводим морфологический, синтаксический и семантический анализ текста, получаем семантическую структуру текста, а затем синтезируем текст на языке перевода. Данные из параллельных и моноязычных корпусов используются для обучения алгоритмов анализа, расширения и верификации языковых описаний. Вообще, гибридная модель — использование методов машинного обучения и лингвистических моделей — один из наиболее эффективных подходов при разработке «движков» MП.
6. Создаётся впечатление, что все имеющиеся программы машинного перевода способны дать только общее представление об информации, содержащейся в переводимом тексте или фразе. И прорывов в развитии переводческих технологий пока не намечается. Какие же задачи и проблемы необходимо решить для изменения нынешнего положения дел?
Ответ ПРОМТ. Не могу с Вами согласиться, потому что современные программы МП дают больше, чем общее впечатление о смысле. С другой стороны, в Вашем вопросе, наверно, содержится намек на «мечту» - когда же компьютер будет переводить как «человек». При этом под «человеком» мы подразумеваем какое-то очень абстрактное лицо, потому что сложно найти одного человека, безупречно переводящего с русского на японский, с корейского на немецкий, причем тексты и про проводники и диэлектрики и тексты средневекового эпоса. С машинным переводом почти как с человеком, способном к обучению J. Например, нашу систему можно натренировать на перевод любого типа (технических, юридических и т.д.) текстов на уровне сопоставимом с уровнем хорошего переводчика–человека, при этом с гарантией, что наша программа «запомнит» больше терминологии за короткий срок и будет работать без «человеческого фактора» . Однако, машинный перевод, особенно для технических, медицинских, юридических целей, никогда не будет исключать использование человека.
Самое главное, что уже сегодня люди успешно общаются и решают свои задачи с помощью машинного перевода, даже если он не идеален
Ответ АББИ. Как мы знаем, машинный перевод пока не даёт идеального результата, но если «движок» хорошо настроен и грамотно интегрирован в рабочий процесс, то производительность переводчика может возрасти на 50-100%. Например, в результате нашего внедрения переводчик стал выдавать в день не 10 страниц продукции, а 15 с тем же уровнем качества. В результате для предприятия себестоимость страницы уменьшилась с 500 до 333 руб. Если предприятие переводит 1000 страниц в месяц, то ежемесячная экономия от внедрения составит 167 тыс. руб. (в год, соответственно, более 2 млн. руб.). При этом стоимость технологии MП обычно не превышает 10-20 рублей за страницу, а при больших объемах может быть еще ниже. Взгляд с другой стороны — более философский и плохо измеримый количественно — когда же произойдет чудо и машинный перевод по качеству станет таким же, как и человеческий? Над этим активно работает не только наша компания, но и другие ведущие организации индустрии, но пока, конечно, MП не заменяет человека, и в ближайшие годы это вряд ли случится.
7. Существует, можно сказать, закон; всякое совершенствование программного обеспечения требует использования дополнительных вычислительных мощностей, то есть увеличения объёмов памяти и быстродействия компьютерных систем. Относится ли это и к программам машинного перевода? Может быть это правило действует в этом случае лишь частично? Хотелось бы получить информацию, хотя бы приблизительную, как совершенствование программ машинного перевода увеличивает задействованные для их работы вычислительные мощности? Как с учётом такой возможности совершенствуются программы машинного перевода для использования в корпоративных локальных сетях без выхода в Интернет?
Ответ ПРОМТ. Да, конечно, это справедливо и для технологий машинного перевода. Например, почему разработчики именно сейчас увлечены технологиями нейронного машинного перевода, ведь про нейронные сети говорят уже давно? Потому что для тренировки системы на основе нейронных сетей требуются существенные вычислительные мощности, которые стали возможны в последнее время. Например, компания Google использует Tensor Processing Unit (TPU) – чипы собственной разработки, адаптированные специально для технологий машинного обучения. Но даже при всем этом тренировка одной нейронной модели требует от 1 до 3 недель, тогда как статистическая модель примерно того же размера настраивается за 1-3 дня, и с увеличением размера эта разница увеличивается.
Ответ АББИ.
На наш взгляд, в отношении машинного перевода применима обратная связь: именно увеличение вычислительных мощностей позволило создать эффективные технологии статистического машинного перевода, которые просто не могли бы работать на компьютерах 20-летней давности, а объем используемых для тренировки текстов просто не поместился бы на жесткий диск. К примеру, движок Moses может использовать десятки гигабайт оперативной памяти в своей работе. Естественно, если придумать что-то совершенно прорывное, что будет производить глубинный анализ текста и построение взаимосвязей между его отдельными составляющими, то требования к ресурсам будут более жёсткими. И чем больше функций и возможностей вы будете учитывать в своих моделях, тем больше вычислительных мощностей вам потребуется.
Под конец этого набора вопросов-ответов у нас возник вопрос, а как работают вместе такие разные специалисты, как филологи, переводчики и программисты, как находят общий язык? Понятного ответа получить не удалось, поэтому мы решили, что это им помогают делать те немногочисленные специалисты, которых в немногих вузах целенаправленно готовят к работе в сфере МП.
Мы - авторы этого материала, тоже не специалисты, а всего лишь потребители, которые просто "влезли в тему" из интереса. И вот к каким выводам нас привело знакомство с вышеприведённой информацией. Работа в области МП по всему миру идёт большая, разнообразная и в высшей степени заинтересованная. Имеются большие достижения и серьёзный методологический опыт. Но всё это пока свелось к немногому; резкому повышению производительности труда корпоративных переводчиков, которым нужно обрабатывать большие объёмы документов и возможности быстрого доступа к основной сути иноязычной информации опять же для корпоративных специалистов. Ибо пока только обеспеченные пользователи могут и согласны покупать развитые, приспособленные под их нужды программы МП, с возможностью дальнейшей настройки. Работа над совершенствованием МП идёт по пути моделирования работы переводчика-человека. Переводчик-человек тоже приспосабливается в своей работе к тематике и лексике тех, для кого ему приходится переводить. Но человек ведь просто живёт в быстро и беспрерывно меняющейся языковой среде, мгновенно-бессознательно её подхватывая и усваивая. А компьютер этого не может. Сейчас самая удачная методика МП это вероятностно-статистический подход. То есть за основу переводов берутся наиболее часто повторяющиеся слова, смыслы, фразы. Это работает в различных узкопрофессиональных средах, где существуют устоявшиеся терминологии и фразеологии, похожие на всех языках. Но язык вне профессиональных сред, а тот, на котором люди просто общаются между собой, в наше время меняется легко, беспрерывно и быстро во всех своих ипостасях. Именно поэтому, как нам представляется, компьютерные технологии и не могут за ним угнаться, чтобы заменить человека-переводчика адекватной программой. Но отказываться на этом основании от мечты не стоит. Сейчас, похоже, идёт период успешного количественного накопления опытных данных в области МП, и вполне возможно, что их анализ родит те прорывные идеи, которые и подарят человечеству переводчика в каждом кармане.
(Продолжение следует)
Владимир Мейлицев, Михаил Гольдреер
журнал "Техника молодёжи" №7 2018 год.
