На AI Journey представлен GigaDoc — мультимодальный медицинский диагностический ассистент

11.12.2024

Участники международной конференции AI Journey смогли на себе проверить возможности медицинского ассистента GigaDoc на базе искусственного интеллекта. Он разработан Центром индустрии здоровья Сбербанка и учёными Лаборатории искусственного интеллекта Сбера.

Через экран с камерой GigaDoc распознаёт ключевые биомаркеры человека: пол, возраст, пульс, индекс массы тела, эмоциональное состояние, риск диабета второго типа, вариабельность сердечного ритма, уровень холестерина и так далее. А также способен предлагать гипотезы о диагнозах на основе предоставленных фотографий. В основе работы ассистента лежат такие технологии, как компьютерное зрение, машинное обучение и дистанционная фотоплетизмография (анализ изменения цвета кожи, который связан с кровотоком и предназначен для измерения частоты сердечных сокращений, дыхания и насыщения крови кислородом).

Мультимодальный ассистент работает на базе нейросетевой модели GigaChat и специализированных медицинских моделях. В будущем он поможет медицинским работникам ускорить первичный скрининг пациентов, определять приоритет оказания медпомощи в зависимости от тяжести заболевания (триаж), отслеживать динамику состояния здоровья больных и проводить качественный мониторинг хронических неинфекционных заболеваний.

Использование возможно в широком спектре ситуаций. Например, он может стать личным AI-ассистентом врача и помогать ему более точно понимать пациента, собирать анамнез состояния здоровья, а также давать индивидуальные рекомендации. Особенно ценной такая технология может стать во время телемедицинских консультаций. Также GigaDoc можно применять для проведения предрейсовых и производственных осмотров и в работе страховых компаний, чтобы оценивать потенциальные риски здоровья застрахованных.

Материалы по теме:

• Система видеонаблюдения «Ростелекома» готова к проведению государственной итоговой аттестации 2025 года
• Отдали карту «курьеру» — стали дропом
• "Сбер" помог своим клиентам сохранить от мошенников 150 миллиардов рублей
• 98% электронной ипотеки в Росреестре Мордовии регистрируется за сутки
• Как провести летние каникулы с пользой: советы от искусственного интеллекта