ИИ-модель научилась определять голоса редких птиц и может их обучить песне, если они ее забыли

Канадские исследователи создали нейросеть ECOGEN, которая генерирует правдоподобные записи птичьего пения. Искусственные трели нужны для обучения программ, распознающих виды по голосу: таким программам не хватает записей редких птиц. Когда к обучающим данным добавили синтетические образцы, точность классификации выросла в среднем на 12%.
Владимир Губайловский
Владимир Губайловский
ИИ-модель научилась определять голоса редких птиц и может их обучить песне, если они ее забыли
Американская бурокрылая ржанка (Pluvialis dominica), Аляскинский морской национальный заповедник дикой природы, Ном, Аляска. Википедия
Утраченная песенная культура. Птенцы певчих птиц не рождаются с готовой песней, они перенимают ее у взрослых самцов. В 2021 году австралийские орнитологи проанализировали записи бородавчатого медососа и выяснили, что около 12% самцов вовсе не поют «по-своему», а подражают другим видам. Такие самцы реже обзаводятся гнездом. Чтобы сохранить вокальную традицию, в сиднейском зоопарке Таронга птенцов, выращенных в неволе, обучают по записям диких сородичей.

Определить распространенную птицу по песне сегодня может почти каждый: для этого есть десятки мобильных приложений и профессиональных программ. Акустический мониторинг стал одним из главных инструментов экологов. Автоматические регистраторы круглосуточно записывают звуки леса или болота, а нейросети разбирают, кто там поет. Но такие системы хорошо знают песни только тех птиц, кого часто слышали. Если у вида в обучающей выборке всего несколько записей или нет ни одной, программа его попросту пропустит. А это как раз самые редкие, скрытные и уязвимые птицы, за которыми важнее всего следить. Решить эту задачу постарались канадские орнитологи. Работа опубликована в журнале Methods in Ecology and Evolution.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Из-за глобальных изменений в популяциях животных нам срочно нужны автоматические инструменты, чтобы отслеживать сдвиги в биоразнообразии. Но ИИ-моделям, которые определяют виды, не хватает полноценных справочных библиотек», — говорит один из руководителей работы Николя Лекомт. Собирать записи в поле долго и дорого, а для чувствительных видов еще и вредно: присутствие людей беспокоит птиц.

Картинка, которая поет

Различные способы представления аудиосигнала, записанного во время пения американской бурокрылой ржанки (Pluvialis dominica). (a) Изображение американской бурокрылой ржанки (NL). (b–e) — представление песни этой птицы в виде аудиосигнала (осциллограммы), мел-спектрограммы, частотно-временного представления CQT (преобразование с постоянной добротностью) и хромаграммы (chroma shift) соответственно.

Различные способы представления аудиосигнала, записанного во время пения американской бурокрылой ржанки (Pluvialis dominica). (a) Изображение американской бурокрылой ржанки (NL). (b–e) — представление песни этой птицы в виде аудиосигнала (осциллограммы), мел-спектрограммы, частотно-временного представления CQT (преобразование с постоянной добротностью) и хромаграммы (chroma shift) соответственно.

https://besjournals.onlinelibrary.wiley.com/doi/10.1111/2041-210X.14239
Продолжение ниже Продолжение
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Модель ECOGEN решает задачу обходным путем. Настоящие записи превращаются в спектрограммы. Это изображения, на которых по горизонтали отложено время, по вертикали частота, а яркость показывает громкость. Генеративная модель учится на этих картинках и рисует новые, похожие на настоящие, но не повторяющие их. Затем синтетические спектрограммы снова переводятся в звук и пополняют обучающую выборку классификатора. Для проверки авторы взяли 23 784 записи диких птиц 264 видов со всего мира. Классификатор, обученный с добавкой искусственных песен, ошибался гораздо реже.

Извлечение кодовой книги (codebook). Модель VQ-VAE2 обучается извлекать значимые признаки из входных образцов и объединять схожие признаки в кластеры. В данном случае мы рассматриваем извлечение признаков из мел-спектрограммы.

Извлечение кодовой книги (codebook). Модель VQ-VAE2 обучается извлекать значимые признаки из входных образцов и объединять схожие признаки в кластеры. В данном случае мы рассматриваем извлечение признаков из мел-спектрограммы.

https://besjournals.onlinelibrary.wiley.com/doi/10.1111/2041-210X.14239
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Разработчики подчеркивают, что программа открытая и работает даже на обычных компьютерах. По словам Лекомта, метод можно перенести на млекопитающих, земноводных, насекомых и даже рыб, которые тоже издают звуки. Синтетические записи могут пригодиться и для прямой охраны видов. Например, у австралийского бородавчатого медососа, который находится на грани исчезновения, взрослых птиц осталось так мало, что молодым не у кого учиться песне своего вида.

Загружаем