Белорусские хирурги уже проводят операции с AR-очками! Технология — тоже наша

Неожиданность года: оказывается, в Беларуси проводят операции с использованием шлемов смешанной реальности. То есть хирург натурально надевает на голову дорогущий Microsoft HoloLens и «видит сквозь кожу» сломанную кость внутри тела пациента. Это помогает нанести разметку и спланировать операцию. Согласитесь, звучит фантастично — особенно если вспомнить, что еще недавно в кабинетах УЗИ могли буркнуть «со своими надо приходить» в ответ на просьбу дать салфетку. Onliner встретился с соучредителем стартапа voka.io Павлом Орловым и узнал, как смешанная реальность пришла в белорусскую медицину.

Как это работает

— Идея такая: человека с, например, переломом ноги отправляют на компьютерную томографию, и потом эти данные превращаются в трехмерную модель, которая адаптирована для HoloLens. Все правильно?

— В общем, да. Есть набор «дайкомов» (DICOM), это медицинские данные, из которых наши специалисты делают 3D-модель, совместимую по формату с технологиями смешанной/дополненной реальности. Полученную 3D-модель, а иногда модель и рентгеновские снимки перелома пациента мы загружаем в HoloLens. Врач может руками вращать ее без необходимости что-то трогать на, допустим, сломанной ноге.

Решение сейчас используется на этапе предоперационного планирования. Пациент только поступил, у него опухшая нога. Такую конечность очень сложно прощупать, к тому же перелом со смещением — само по себе болезненно. Но врачу нужно ощупать ногу, составить план операции, определить типы доступа (места разрезов во время операции), подобрать пластины, которые будут имплантироваться пациенту.

Потом, когда пациент уже на операционном столе, хирургу нужно минимизировать количество и размеры разрезов мягкий тканей. То есть, например, делать не полостной разрез, а точечно, в нескольких местах небольшие разрезы. Это возможно, потому как хирург видит, где обломки и смещения кости. Нужно, условно, протолкать пластину и закрепить ее штифтами на кости.

— «Специалисты делают 3D-модель» — получается, это происходит не автоматически?

— Пока в мире нет средств, которые бы преобразовали облако вокселей в 3D-модель нужного для нашей задачи качества. Есть полуавтоматизированные способы, софта много. Но мы увидели, что автоматизированные инструменты могут убирать мелкие обломки, а они важны.

— Как при оскольчатых переломах?

— Да, там часто разрывы: кость перебита, смещена. При автоматическом моделировании обломки определенным образом убираются, неправильно рисуются границы. Другая проблема: HoloLens — мобильное устройство, и у него довольно серьезные ограничения по производительности. Это значит, что если создать модель кости автоматизированным способом, то кость с ее пористой структурой будет содержать несколько сотен тысяч полигонов. Они не нужны хирургу для работы, а модель при этом становится очень тяжелой.

— То есть в каждом госпитале должны работать ваши специалисты по составлению 3D-моделей?

— Мы стараемся от этого отходить. Если в травматологии специалисты пока еще нужны, то в других областях медицины мы просто передаем свои инструменты самим врачам. Мы не сможем сделать решение масштабируемым, если наше участие будет обязательным.

О времени и точности

— Сколько времени уходит на преобразование модели?

— Где-то полчаса, а где-то — все два часа. Сейчас мы ведем разработки в области кардиохирургии, и там времени необходимо намного больше. Но и задачи другие: нужна не чистая модель сердца, а модель с анимацией биения. Кроме выгрузки модели надо сделать полноценную костную структуру, в том числе внутри сердца.

— Разве в травматологии это не критичный момент? Привозят в реанимацию пациента после ДТП, его быстро сканируют перед операцией — а потом хирурги ждут, пока айтишники 3D-модель кости нарисуют?

— Нет, у нас другие сценарии работы. Мы сфокусированы не на экстренных операциях, когда стоит вопрос жизни и смерти. Во время экстренного вмешательства может, например, восстанавливаться длина конечности с помощью спицевого аппарата. Но сам остеосинтез (фиксация обломков. — Прим. Onliner) будет произведен отдельно.

Если мягкие ткани сильно повреждены и ты начинаешь дальше их резать, есть большая вероятность, что они не заживут и пациенту будет нанесено больше вреда, чем пользы. Поэтому в типовом кейсе, когда не прямо критический момент для жизни, проходит несколько дней между повреждением и операцией. Это связано с медицинским процессом: человеку дают антибиотики, чтобы, как говорят врачи, успокоить мягкие ткани. Когда основная отечность сходит, тогда можно начинать следующий этап хирургического вмешательства.

— Насколько точной получается модель? Есть расхождения с фактическим состоянием ноги, руки?

— Очень точная, потому как она делается на основании «дайкомовских» данных. Это максимум точности, который только можно получить. Местами мы даже тратим чуть больше времени, чтобы поиграться с текстурами и так далее. Хотя все можно сделать быстрее — для хирурга детализация текстур не имеет особого значения. Но в плане качества восприятия модели это важно.

— Во время операции какой-нибудь осколок может сдвинуться, но модель ведь останется статичной. Это не запутает хирурга?

— На сегодня инструмент используется только на этапе предоперационного планирования. То есть вскрытия ноги еще нет, а компьютерная томография делается со спицевым аппаратом — когда все уже жестко зафиксировано. Следующий этап использования — начало операции, когда делается разметка доступов. Это обозначения на теле пациента мест/областей, где будут делать разрезы. Все, потом наш инструмент не используется.

Нет, задача у врача другая: совместить основные элементы и сделать так, чтобы они были стянуты пластинами. Когда это сделано, опорная функция конечности восстанавливается и кость зарастает.

— А что с осколками? Прямо в тканях остаются?

— Те, которые близко к кости, могут с ней срастись. Некоторые остаются в теле пациента навсегда, какие-то могут выйти наружу. Если все доставать, нога почти наверняка не срастется. Это слишком большое хирургическое вмешательство.

Один из наших первых кейсов: пациенту сперва спасли жизнь, потом спасли ногу, но мягкие ткани были практически атрофированы (человек не может наступать на ногу, кровоток нарушается, и нога атрофируется). Зрелище было достаточно страшное. Пациенту скрепили две части кости металлическим стержнем, закрепив его за неразрушенные части кости. Опорная функция восстановилась, кровоток начал нормализоваться. Мы даже увидели, как этот человек стал ходить. Это была первая в мире подобная операция.

Отмечу, что она была проведена именно в Беларуси в конце 2017 года заведующим лабораторией травматологии взрослого возраста РНПЦ травматологии и ортопедии Александром Ситником.

Как это появилось в наших РНПЦ

— То есть ваша технология применялась при реальной операции?

— Их где-то за сорок уже было.

— Все в Беларуси?

— Да. Все операции проведены в РНПЦ травматологии и ортопедии.

— Некоторые медицинские стартапы говорят, что медицина — очень закрытая сфера. А вы приходите в центры хирургии и онкологии со шлемом дополненной реальности и предлагаете использовать его в работе. Врачи не воспринимали девайс как игрушку?

— Нет, мы идем в другом направлении. Это к нам поступило предложение от хирурга-травматолога Александра Ситника показать, как выглядит 3D-модель кости в дополненной реальности. По сути, идея была не наша. Компания Microsoft уже показывала, что шлем можно использовать в медицине, но зачем пробовать, если нет клиента? А здесь врачи сами сказали, что им это интересно и нужно. То же самое с кардиохирургией, онкологией, нейрохирургией. Во всех случаях запрос шел от врачей.

— Вам нужны какие-то сертификаты, лицензии для реального использования системы?

— Да, когда речь идет о создании программно-аппаратных медицинских решений, нужна сертификация. В каждом регионе мира необходимо проходить свою сертификацию. Это очень нетривиальная, дорогая и длительная процедура. Создание «ассистентов хирурга» мы развиваем в рамках R&D-центра нашего основного бизнеса — компании Innowise. При этом параллельно создаем линейку образовательных медицинских решений, которые не требуют сертификации.

— Что для вас важнее — использование продукта в реальных операциях или при подготовке врачей?

— Пока выйти на широкий рынок с «ассистентом хирурга» сложно из-за вопросов аппаратной части и сертификации. Это наиболее интересное для нас направление, но это будущее. Сейчас мы концентрируемся на создании новых медицинских образовательных решений. Они могут принести практическую пользу большему количеству людей уже сегодня.

— Почему именно HoloLens? Есть, например, Magic Leap еще.

— В Magic Leap я до конца не верю. Ребята потратили много времени и денег, чтобы сделать линзы, но в итоге не получилось — и они собрали клон HoloLens. Из того, что мы видели и читали, — Magic Leap еще далеко от второй версии HoloLens.

Главное: Microsoft обещает, что HoloLens 2 будет сертифицирован по FDA (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов). Это значит, что устройство можно будет использовать в американских операционных. И здесь вырисовывается понятный шаг в сторону сертификации. Все-таки это программно-аппаратный комплекс: если программная часть может работать, а аппаратная — нет, то продукт вечно будет оставаться стартапом. Мы ждем выпуска сертифицированной по FDA версии HoloLens, чтобы сразу открылся рынок Штатов. После этого, скорее всего, Microsoft проведет сертификации в Европе.

— В каких сферах медицины планируется использовать voka? Травматология, онкология — что еще?

— Voka.io — внутренняя разработка компании Innowise. Все разработки и исследования мы ведем в Беларуси за свои деньги, поэтому работаем только там, где встретили, не побоюсь этого слова, наших гениальных врачей-инноваторов. В области травматологии сотрудничаем с Александром Ситником из РНПЦ травматологии и ортопедии. В РНПЦ детской хирургии ведем исследования с группой детских кардиохирургов под руководством Юрия Линника. Немного позже мы представим наши достижения в области онкологии, где мы работаем с РНПЦ онкологии и медицинской радиологии имени Н. Н. Александрова. Очень интересная, но пока технологически сложная область — нейрохирургия. Признаюсь, что формулируемую нам в РНПЦ неврологии и нейрохирургии задачу мы пока даже не знаем как решить.

— Насколько ваша система требовательна к качеству аппарата КТ или МРТ?

— Сам аппарат для нас не имеет значения, потому как на выходе он все равно дает «дайкомовские» данные. Но есть проблема в онкологии и нейрохирургии. Когда размер опухоли 0,5×1 миллиметр, а шаг аппарата МРТ составляет 1,5 миллиметра, то опухоль можно либо не увидеть вообще, либо получить одно ее сечение, по которому невозможно восстановить точную 3D-форму.

— Получается, ваша система уже целиком готова, и сейчас вы разрабатываете дополнительный функционал?

— Хотелось бы так сказать, но нет. Из-за того, что Microsoft не продает HoloLens в Беларуси, есть задержка в плане аппаратной части. Проект считается реализованным, когда есть определенное число внедрений. Мы не можем провести полноценную сертификацию и клинические исследования, потому что просто нет возможности купить и передать белорусским медицинским центрам ни первую версию HoloLens, ни продающийся только в США HoloLens 2.

— То есть пока HoloLens не начнет официально продаваться в Беларуси, сами медучреждения никак не смогут его купить?

— Да, сейчас HoloLens можно использовать только в научно-исследовательских разработках. Мы работаем в рамках следующего сотрудничества: со стороны хирургов проводятся научные работы, они изучают возможности AR и VR по использованию в медицине, а мы изучаем, как медицинское сообщество видит для себя перспективы в этих технологиях.

— Как на этом всем зарабатывать будете?

— Модель видится как R&D-разработка, которая в перспективе может быть интересна крупным медицинским игрокам либо, при появлении на рынке HoloLens 2, может быть завернута в продукт. Но сейчас, пока пройти клинические испытания невозможно, это наши инвестиции в новые технологии.