Интервью со звукорежиссером проекта Spatialsound.ru Александром Соколовым о пространственном звуке в VR, оптимизации производства и будущем технологии.

— Расскажите про технологию пространственного звука. Для начала стоит выделить определения, чтобы не было ошибок восприятия. Что подразумевается под пространственным звуком? В чем отличие от существующих технологий?

— Начнем с того, что технология вполне существующая. Под пространственным звуком  (Spatial Audio, Spatial Sound, 3D Audio и т.д.) мы в первую очередь подразумеваем форматы ambisonic, разработанные в 70-х годах прошлого столетия. А вместе с ними иные форматы, одни из которых давно вошли в нашу жизнь (Dolby Atmos, Auro 3D), другие только начинают внедряться (GAudio, Mach 1, Coronal Audio).

Основное отличие от более привычных surround форматов — наличие в записи высотной составляющей. Именно это важно для 360 видео и VR, где зритель может не только “обернуться назад”, но и посмотреть вверх или вниз. В spatial форматах звук доносится оттуда, где его источник расположен по картинке, в том числе сверху или снизу, как бы зритель не крутил головой.

Сами форматы немного отличаются. В первую очередь мы говорим именно об амбисоник-форматах, позволяющих записывать и воспроизводить полную звуковую сферу. Они бывают разных “порядков”. Чем выше “порядок”, тем точнее локализация. Технология чем-то напоминает 360 видео: звук c массива микрофонов собирается в сферу, которая, собственно, привязывается к сфере видео.

— Технология пространственного звука подходит только под VR и видео 360 или есть другие области применения?

— Амбисоник потому и оставался невостребованным так долго: находилось не так много применений, да и возможности кодирования были довольно ограничены: требуются серьезные вычисления в реальном времени. Тем не менее, как из 360 изображения можно вырезать кадр формата 4:3, 16:9, или отрезать верх и низ и получить горизонтальную панораму, так и амбисоник можно декодировать в моно, стерео, сюрраунд форматы (квадро, 5.1, 7.1 и т.д.).

И эта идея очень интересна: передать 4 канала звука при современных цифровых сетях — не проблема, а эти 4 канала можно декодировать во что угодно уже у зрителя. На данный момент, все платформы (Youtube, Facebook, Gear VR и др) декодируют амбисоник в бинауральный звук, предназначенный для прослушивания в наушниках. Но теоретически, ничто не мешает воспроизвести амбисоник на 5.1 системе домашнего кинотеатра. И повесить еще потолочный громкоговоритель, или несколько.

— Какое оборудование и софт в вашем распоряжении? Это сторонние производители или среди них есть собственные разработки?

— Мы работаем не только с пространственным звуком, основное оборудование — то же, что используется для кино и видеопроизводства: профессиональные аудиоинтерфейсы, мониторные акустические системы, большая часть ПО — также из кинозвука.

На съемках 360 видео некуда спрятать обычного для кино бум-оператора с удочкой и микрофоном-пушкой. Мы стараемся записывать звук на петличные микрофоны и на сурраунд или амбисоник микрофоны, спрятанные в надире 360 камеры. Тогда на постпродакшене микрофон вырезается вместе с креплением камеры, а мы получаем синхронную запись  пространства, соответственно камере. Пока что лучше всего для этих целей использовать микрофон Sennheiser AMBEO VR Mic: при компактных размерах даже с ветрозащитой (10 см), этот амбисоник микрофон очень неплохо записывает именно сферу звука с высотными составляющими.

Для оптимальной записи на съемочной площадке, важна правильная подготовка на препродакшене: каждый проект индивидуален, где-то мы сможем использовать бумы, где-то не сможем спрятать даже  петличные микрофоны, в каком-то проекте понадобится не один многоканальный рекордер, а иногда проще будет весь звук воссоздать на постпродакшене.

На постпродакшене мы стараемся спозиционировать петличные микрофоны в пространстве, прописать движение этих источников звука, чтобы они совмещались с амбисоник записью.

Далее расставляются шумы, спецэффекты, музыка, закадровый голос, записываются синхронные шумы и саунддизайн. Все это позиционируется в пространстве и затем сводится в единый микс.

И на площадке, и в пост продакшене активно используются хитрости и ноу хау: звукорежиссер должен понимать, как не помешать ститчингу и не усложнить клинап, с какими форматами видео нужно работать и как их конвертировать, какие платформы какой формат звука поддерживают, как правильно расположить в пространстве закадровый голос и музыку. Часто что-то можно сделать в одной программе, а что-то в другой, иногда под разными операционными системами. Кроме того, постоянно появляется новое ПО и стандарты, за этим тоже приходится следить, чтобы не упустить каких-то актуальных возможностей.

По поводу собственных разработок — есть большое количество идей, но времени и средств на их реализацию пока не находим. Адаптируем под наши потребности существующие решения.

Лекция в Московской школе кино. Фото Михаил Старков

— Для каких проектов или компаний вы готовы сейчас предложить свои решения? Игры, кино?

— Мы все немного из разных областей работы со звуком. Кто-то больше работал с кино, кто-то с мультфильмами, кто-то с играми. Есть отличные саунддизайнеры, композиторы. Поэтому нам интересны любые задачи, связанные со звуком, не только в VR. Чем сложнее, тем интереснее!

Что касается именно пространственного звука, мы можем, например, записывать фоны в амбисоник форматах для кино: их можно использовать для всех возможных форматов кинозвука. В играх также возможно применение амбисоник-записей. Например, едет герой в лифте — как сделать правдоподобно?Зайти в лифт и записать на амбисоник микрофон! потом можно изменить до требуемого звучания. Можно и заново, с нуля, создать фон пространства. Конечно, кроме амбисоника, мы делаем и шумы, саунддизайн к играм.

360 видео — безусловно наша история. Мы делали звук для 360 анимации — от простейшей, для телеканала 2х2, до сложной компьютерной графики производства CGF, а также для рекламы Subaru и Hyundai, концерта Би-2, нескольких корпоративных проектов. Имеется и опыт работы на игровых VR проектах, коллеги делали даже квесты с пространственным звуком!

— Компания «Prosense» занимается созданием трансляций в формате 360 и VR. Сотрудничаете ли вы с ними? Расскажите в целом, кто еще работает с вашим проблемным полем.  

— Конечно, мы общаемся со многими производителями контента, в том числе, с Prosense. У них отличная техническая база, насколько я понимаю, есть даже собственные разработки в пространственном звуке! У нас есть наработки в области трансляций, есть понимание, как это реализовать на некоторых платформах. Надеюсь на сотрудничество в этом направлении!

Мы общаемся с коллегами из Республики Беларусь, знаем, что есть интересные разработки на Украине. В России, кажется, около 15-20 человек интересуются работой с пространственным звуком. Со многими мы знакомы, стараемся помогать друг другу.

— Вопрос от скептика. Для многих экспертов будущее VR и 360 видео пока кажется призрачным. А вы пошли дальше и взялись за решение проблемы, которая для многих совершенно неочевидна. Прокомментируете такое мнение.

— Возможно, в нынешнем виде со шлемами и кардбордами, прогнозы по перспективам VR индустрии немного завышены. В то же время, уверен, что в том или ином виде технологии останутся. Просто они настолько быстро развиваются, что через пару лет мы увидим совсем другой рынок, а еще через 5 лет нынешние устройства будут казаться смешными, как кассетный плеер.

Одновременно с этим, полагаю, что пространственный звук сильно недооценен. Важность звука сложно продемонстрировать “на пальцах”, но как и скорость реакции на движения головы, как технологии 6-dof, позволяющие немного двигать головой, а не только крутить, пространственный звук очень важен для погружения в реальность! Если я отворачиваюсь от источника звука, а звук от него не меняется, виртуальность перестает быть реальной!

Думаю эти технологии также будут развиваться, легкие беспроводные наушники с определением размеров головы для более точного бинаурального декодирования — первое, что приходит на ум.

Вне VR технологий пространственный звук существует в кино, играх… То есть, сама технология, хоть и тесно связана с VR, существовала и развивалась без VR более сорока лет. И так или иначе была востребована.

Каждый из нас начинал работать с технологией с конкретных заказов. То есть, спрос на пространственный звук в России (и не только) существует уже более года. Радует, что это серьезные заказчики с пониманием, чем мы занимаемся, почему звук важен для VR продукта.

Ну и наконец, пространственный звук — это интересно!

— Расскажите про организационную составляющую проекта. Кто является основателем? Как пришли в VR/AR? Сколько человек работает в команде?

— Проект Spatialsound.ru сложно назвать бизнесом. Это скорее творческо-техническое объединение звукорежиссеров, работающих с пространственным звуком. Основная цель — популяризация технологий и качественная работа. Так как опыт подобной работы есть у немногих, а информации на русском почти нет, логично обмениваться информацией, объединяться для работы над проектами и т.д.

Думаю, у всех истории примерно похожие: встает задача выполнить проект, находится решение, появляется опыт. У кого-то это опыт работы с игровыми движками, с Fmod и Wwise, кто-то имеет опыт работы на съемочной площадке, кто-то давно и много работает с постпродакшн.

Мне приходилось работать с проектами дополненной реальности, в том числе делали проект к Олимпиаде в Сочи. Хотя это были видеопроекты с минимальной интерактивностью, было очень интересно предсказывать поведение зрителей, искать звуковые решения для этих проектов.

Весной 2016 года мне предложили поработать над 360 роликом про автомобиль. Возможности пространственного звука в двух-трех существовавших роликах на Youtube впечатляли, было очень интересно их использовать в проекте. Так пришлось разобраться с только что появившемся инструментарием. Параллельно делались еще два подобных проекта, так мы познакомились с коллегами. Со временем появились новые проекты, звукорежиссеры из GameDev со своим уникальным опытом. Осенью 2016 года  решили объединить усилия по развитию технологий под условным флагом spatialsound.ru.

— Какие проекты вами реализованы? Сколько их? Над чем работаете сейчас?

— На spatialsound.ru размещено семь общедоступных работ. Мы не обновляли демо раздел с весны, за лето выполнили еще 6 проектов, один из которых сдаем. Готовим запуск нового. Некоторые работы (5-6) мы не можем показывать по просьбе заказчиков. Кроме того было несколько экспериментальных работ для внутреннего использования, например, тесты различных амбисоник-микрофонов. Параллельно работаем над игровыми VR проектами разных уровней сложности.

То есть, в общей сумме, приближаемся к двум десяткам проектов. Не думаю, что мы стремимся за количеством: параллельно все работаем и с традиционными медиа (реклама, телепередачи, кино, сериалы), с играми.

— Опишите портрет среднестатистического Заказчика.

— К нам обращаются и независимые производители контента, и рекламные агентства, и продакшн компании. Мне кажется, тут вопрос в понимании необходимости пространственного звука и в желании иметь максимально качественный и полноценный кейс в VR-производстве.

— Какое время занимает работа над проектом?

— По продолжительности — все проекты очень разные. Где-то звук появляется только на постпродакшене, и это нормально (компьютерная графика, анимация). Дальше все зависит от хронометража и насыщенности, но в среднем над проектом 2-3 минуты работаем около трех смен. Речь идет чисто о монтаже, разведении панорам, амбисоник миксе. Сложный саунддизайн, запись дикторов, актеров, синхронных шумов, вопросы программирования и работа с нестандартными задачами срок обычно увеличивают. Но мы стараемся учитывать пожелания заказчиков по срокам и бюджетам, искать разумные компромиссы, в первую очередь, чтобы не срывать сроки.

— С какими проблемами в производстве приходится сталкиваться?

— Производители 360 видео, как и в других областях видеопроизводства, за звуком обращаются в последнюю очередь. И это неправильно, это может сильно влиять на сроки,  экономику, результат. Как учат в киношколах — звукорежиссер должен подключаться к проекту на этапе подготовки. Для VR это особенно важно.

Допустим, мы снимаем VR ролик, где едем в автомобиле, рядом общаются пассажиры. У нас планируется музыка, закадровый текст.

Конечно, про звук вспоминают в последнюю очередь: GoPro камеры же пишут звук, на ноутбуке в монтаже все отлично слышно! К шуму с GoPro предполагается добавить музыку — вот эта песня RHCP отлично ляжет, записать удаленного диктора: он может начитать текст в машине, на телефон. Серьезно! Так бывает!

Выяснится, что реплик на GoPro толком не слышно, их надо тонировать (аренда студии, звукорежиссер, привезти актеров). Шумы в автомобиле — тоже: скрип сидений, кожи на руле, шуршание одежды пассажиров — давайте писать синхронные шумы, а это примерно от 15 тыс рублей/смена работы! Теперь сам автомобиль нового модельного ряда: шум двигателя, звуки стеклоподъемников, переключения передач, выхлопа, атмосфера в нем и за окном будет собираться из звуковых библиотек двадцатилетней давности: такой подход может и добавит забавного рева мустанга электрическому смарту, но достоверности вряд ли добьемся.

RHCP конечно будем менять на недорогой сток. Звукорежиссер замучается вытягивать из брака диктора: он утвержден заказчиком. Плюс перемонтажи, непонимание, что мастера для fb и youtube абсолютно разные, и т.д. Результат при всех стараниях вряд ли будет качественным и недорогим.

Что советуем мы: брать на съемку профессионального звукорежиссера кино с профессиональным оборудованием и амбисоник микрофоном. Желательно нашего, или после общения с нами: мы объясним, что понадобится на постпродакшене. Во всех сценах с актерами звук синхронно пишется на максимальное количество спрятанных от 360 камеры микрофонов, расположение которых фиксируется и затем воссоздается на пост продакшене.

В перерыве или после съемок, а может и отдельно, в другом городе, в такой же машине, вместо камеры гриппуем амбисоник микрофон и делаем звуковые дубли — шуршание рук на руле, езда с разными скоростями, скрипы сидений под пассажирами, дворники, стеклоподъемники и т.д. На это понадобится пара часов и тихое место.

Остается все смонтировать, найти хорошую музыку, качественно записать хорошего диктора. И финальный монтаж звука начинать после монтажа видео — важно зафиксировать все хронометражи и направления относительно зрителей. Пока работаем над звуком, можно делать графику (только заранее предупредить, чтобы ее успели озвучить), цветокоррекцию и т.д.

Так мы получаем результат гораздо быстрее, дешевле, качественнее. Забавно, что звук часто оказывается заключительным этапом, все вроде как его “ждут”. При этом, часто ждут потому, что многое по монтажу меняется в последнюю минуту. Что, например, стоит поменять местами два сшитых кадра, а один из них развернуть? Это же минут десять! Сделать тоже самое с пространственным звуком, чтоб не появилось склеек и ошибок по панораме — скорее всего займет часа два!

— Приносит ли прибыль ваша работа или пока это чистый энтузиазм?

— Скажем так, мои личные вложения в оборудование для работы пока что выше доходов от этих проектов. Думаю, у коллег ситуация аналогичная.

Например, очень расстроило отсутствие спроса на амбисоник-микрофон Sennheiser AMBEO. Это действительно интересное и довольно недорогое решение: сам микрофон прибавит к стоимости звукозаписи на площадке около двух тысяч рублей в смену. Конечно, для записи понадобится и многоканальный рекордер, и профессиональный звукорежиссер. Но рекордер и звукорежиссер скорее всего в любом случае будут присутствовать на съемке. Мне очень странно, что производители не хотят пользоваться такой очевидной возможностью.

При наличии стабильного спроса на пространственный звук, я бы вложил больше денег в оборудование и ПО для достижения чуть лучшего результата немного быстрее. На данный момент понимаю, что эти затраты окупятся не скоро, экономически они не оправданы. Надеюсь, ситуация изменится.

Уверен, что можно построить бизнес, создать спрос, выйти на прибыль, но мы же не бизнесмены, мы занимаемся звуком… Нужны специалисты по продажам, управленцы, конечно, инвестиции. В любом случае все только начинается.