• 08.05.2021 21:51

    Трехмерная сверточная нейросеть распознала движения животных с большой точностью

    Автор:beron

    Апр 22, 2021 ,
    Трехмерная сверточная нейросеть распознала движения животных с большой точностью

    Трехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностью

    Группа
    ученых из
    США представила нейросетевой алгоритм,
    позволяющий
    по видео с
    животными
    восстанавливать их трехмерную позу с
    высокой точностью. В отличие от большинства современных подходов, этот метод не требует прикрепления маркеров к животным, а значит он будет удобен для наблюдений за животными не только в лабораториях, но и в естественной среде. Результаты
    исследования были опубликованы в Nature.

    Изучение движения животных занимает
    центральное место в этологии, нейробиологии,
    психологии и экологии. Однако
    до сих пор не существует универсального
    метода,
    воспроизводимого
    в лабораториях и
    устойчивого в естественной среде
    обитания, который
    бы не использовал
    прикрепление
    маркеров к животным.

    Изучение движений животных ранее уже автоматизировали с помощью
    двумерных методов — например, нейросети помогали отслеживать двумерные координаты частей тела. Хотя эти 2D-прогнозы и могут быть
    триангулированы в 3D с
    использованием
    нескольких независимых изображений,
    такой
    подход неэффективен для
    изучения свободно движущихся зверей.
    Происходит это потому, что сама нейросеть не знает ничего о трехмерной позе
    и не может объединять информацию с
    разных изображений. Если с одного из ракурсов часть тела будет перекрыта посторонним предметом, положение анатомических ориентиров определится неточно. У использования двумерных методов есть еще один недостаток: ничего не гарантирует хороший результат
    для
    любых
    поз животных и углов
    обзора
    камеры.

    Для борьбы с таким и проблемами придумали оптимизационные схемы, которые используются для уточнения или отбрасывания неточно определенных координат. Но они пока не способны надежно отслеживать свободно движущихся
    животных, за исключением случаев обучения
    с большим количеством кадров.

    Для
    изучения движения животных группа под
    руководством Тимоти Данна (Timothy Dunn) из
    Дьюкского университета и
    Джесси Маршалла (Jesse Marshall) из
    Гарвардского
    университета разработала сверточную нейросеть
    DANNCE. Ключевым нововведением DANNCE по
    сравнению с предыдущими алгоритмами
    является то, что сеть полностью трехмерна,
    так что она может узнавать об особенностях 3D-изображения и о том, как
    камеры и ориентиры связаны друг с другом
    в пространстве. Чтобы
    обучить нейросеть, ученые собрали датасет из семи миллионов кадров синхронизированного видео и меток с анатомическими ориентирами грызунов с нескольких ракурсов. Обученная нейросеть предсказывала положение ориентиров животных, используя только видео.

    Трехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностью

    Работу DANNCE можно описать следующим образом. В каждый момент видеозаписи при помощи
    триангуляции изображений определяется положение крысы в пространстве.
    Этому пространственному положению ставится в соответствие пустая
    3D-сетка. Далее на каждое из изображений проецируется один воксель.
    Пиксели из областей изображения, на которых есть грызун,
    трансформируются в воксель. Затем нейросеть обрабатывает данные со всех
    вокселей и выдает предполагаемые положения анатомических ориентиров
    животного на исходной 3D-сетке.

    Трехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностьюТрехмерная сверточная нейросеть распознала движения животных с большой точностью

    Исследователи сравнили работу DANNCE с DeepLabCut (DLC) — современным алгоритмом на основе двумерных сверточных нейросетей. Для этого оба метода обучили на одном и том же наборе видеокадров и поз (180 456 уникальных кадров, 3609 120 маркеров) и протестировали их на новых изображениях объекта, который не участвовал в обучении. Тестовая выборка состояла из 2400 кадров, которые были разделены на 12 групп в зависимости от поведения грызуна. Выяснилось, что DANNCE превосходит DLC даже в тех случаях, когда первый алгоритм получает изображения с трех камер, а второй — с шести: в этом случае неопределенность координат, предсказанных DANNCE, была более чем в 10 раз меньше. К тому же, если уменьшать число камер, DLC становилось труднее следить за большим числом ориентиров, в то время как DANNCE все так же хорошо справлялась с задачей. Кроме того, DANNCE научилась отслеживать положения мышей, мартышек и синиц, когда в обучающую выборку добавили небольшое количество вручную размеченных данных.

    Успешное применение нейросетей в работе с изображениями и видео не ограничивается этой работой. Ранее мы рассказывали, как нейросеть превратила растовое изображение в непрерывное.

    Яна Савченко

    Источник: nplus1.ru



    голос

    Рейтинг статьи




    . .

    Источник
    Автор: Андрей Зверев