Ημερολόγιο της/του apseregin

Дорогие друзья! Dear all! На счётчике вчера прошла новая круглая отсечка: 3 225 000 наблюдений в проекте "Флора России"! Для очередных 25 тыс. наблюдений нашему сообществу потребовалось 26,5 дней (в прошлый раз на 25 тысяч ушёл 21 день). Пост с развёрнутой статистикой будет опубликован через несколько дней в связи с техническими проблемами. На связи!

Внимание!

Пересдача состоится дистанционно в пятницу 16 февраля в 18:00.

Будет опубликована в журнале ссылка на тест.

АП

Уважаемые слушатели!

Это сообщение о пересдаче зачёта по МФК "Полевая биология" (осенний семестр, 2022-23 уч.год).

Тест простой. Если вы сделали все домашние работы, то вы легко его пройдёте. Просто внимательно читайте вопросы и отвечайте на них. Форма будет доступна 45 минут. В 18:45 доступ к ней прекратится. Вам необходимо уложиться в регламент и отправить ответ до этого момента.

---

Ссылка:

https://docs.google.com/forms/d/e/1FAIpQLSeDqtBQ8bYpWYUOlgrL4nAlZyMK_ui-m8-FAU6YXtg_YC_87Q/viewform?usp=sf_link

Альтернативная ссылка:

https://forms.gle/7cpjrpHiASRjddiBA

Удачи!

Зачёт по результатам пересдачи получили:

@ruslan_gareev
@nadya_bakaeva
@konstantin_maltsev
@zhang_shixin

Всем спасибо!

Дорогие друзья!

В эфире снова новости компьютерного зрения. Напомним, что в восьмой модели автоматического распознавания видов, которая была запущена 19 августа 2022 г., были использованы новые критерии отбора видов для обучающего датасета: теперь минимальный порог равен не ста наблюдениям, а ста фотографиям. Осенью 2022 г. был анонсирован новый алгоритм добавления видов в модель автоматического распознавания: примерно раз в месяц те виды, которые добрались до квалификационного порога, добавляются в модель без пересчёта включенных ранее видов. Это позволило заметно ускорить включение новых растений.

Новая модель (v2.11, т.е. одиннадцатая ежемесячная порция обновлений грандиозной второй модели) основана на данных, выгруженных из системы 31 декабря 2023 г. - в ней появилось сразу 449 новых видов растений, в т.ч. 38 видов проекта "Флора России".

После этого дополнения модели, мы быстро сделали чистку "Копилки флоры России". Оказалось, что с 31 декабря 2023 г. ещё 22 вида копилки (из 500) стали известны системе, и она их предлагает пользователям при определении снимков:

Packera heterophylla Пепельник разнолистный
Rhododendron sichotense Рододендрон сихотинский
Astragalus physodes Астрагал пузырчатый
Woodsia caucasica Вудсия кавказская
Armoracia sisymbrioides Хрен гулявниковидный
Briza humilis Трясунковидка низкая
Seseli lehmannii Жабрица Лемана
Pedicularis amoena Мытник приятный
Ribes biebersteinii Смородина Биберштейна
Astragalus ceratoides Астрагал рогоплодный
Campanula ciliata Колокольчик реснитчатый
Colchicum laetum Безвременник весёлый
Echinops humilis Мордовник низкий
Glyceria lithuanica Манник литовский
Sanguisorba alpina Кровохлебка альпийская
Poa alpigena Мятлик альпигенный
Allium sacculiferum Лук мешочконосный
Stellaria fischeriana Звездчатка Фишера
Crocus vallicola Шафран долинный
Gentianella caucasea Горечавочка кавказская
Poa arctica Мятлик арктический
Pyankovia brachiata Пьянковия супротивнолистная

Некоторые виды (с большинством наблюдений из-за границы или с большим числом фотографий при малом числе наблюдений) прошли порог, так и не побывав в нашей копилке:

Endocellion glaciale Эндоцеллион ледяной
Pedicularis chroorrhyncha Мытник окрашенноклювый
Isodon japonicus Прутьевик японский
Gypsophila elegans Качим изящный
Viola hymettia Фиалка Гиметтская
Festuca rupicola Овсяница каменистая
Hippuris lanceolata Хвостник ланцетный
Leontopodium campestre Эдельвейс полевой
Poa badensis Мятлик баденский
Pedicularis flava Мытник жёлтый
Ranunculus tuberosus Лютик клубненосный
Solenanthus circinnatus Трубкоцвет завитковый

Итак, каждый месяц ещё несколько десятков видов флоры России становятся известными моделям компьютерного зрения iNaturalist. В большинстве регионов свыше 95% загружаемых фотографий (в Средней России 99%) относится к таким видам, которые известны системе, а, значит, чем лучше и правильнее пользователь фотографирует объект, тем больше шансов, что он сразу получит верный ответ.

Напомним также, что в начале осени (22 сентября 2023 г.) произошло исключительно важное событие - теперь для подсказок системы компьютерного зрения используются не данные о находках, а так называемые "модели" (вероятностные карты возможных встреч вида). Этому посвящен отдельный пост (перевод на русский).

Если вам действительно важно быстро узнать, что это за растение, не дожидаясь отклика экспертов (что важно во время летнего пика наблюдений), неторопливо делайте аккуратные снимки с разных ракурсов и обязательно перечитайте пост "Как снимать, что снимать: учимся у классиков. Особенно это актуально летом, когда возможности экспертного сообщества на порядок ниже потока свежих летних фотографий.

После обновления копилки на место исключенных видов в "Копилку" добавлено 27 дополнительных видов. В итоге, наш список снова включает 500 видов. Как и прежде, после выхода обновлений мы будем регулярно менять виды, преодолевшие этот порог, на те, что находятся ниже по списку.

Ждём выход большой третьей модели, чтобы сделать текущую сверку покрытия модели и привести копилку в порядок перед началом нового полевого сезона.

---

АЛГОРИТМ ВКЛЮЧЕНИЯ ВИДОВ В КОПИЛКУ

1) Ждём выхода новой модели и релиза в блоге iNaturalist по этому поводу.
2) Берем полный список видов проекта "Флора России".
3) Скриптом проверяем, какие виды не включены в текущую модель компьютерного зрения.
4) Убираем из "Копилки" виды, попавшие в текущую модель.
5) Берем топ-500 видов по числу наблюдений проекта "Флора России" (в этот раз порог 30 наблюдений).
6) Добавляем ВСЕ их наблюдения с фото из всех стран в копилку - для обучения используются в т.ч. наблюдения, сделанные в культуре.
7) Делаем новые наблюдения этих видов, загружаем их на сайт, проверяем определения.
8) См. пункт 1.

---

КАК МОЖНО ПОМОЧЬ?

НОВЫЕ ДАННЫЕ. Поскольку теперь используется новый алгоритм для географического уточнения подсказок системы, то ещё более важными становятся новые наблюдения всех видов, в том числе обычных и хорошо знакомых системам компьютерного зрения. Каждая новая точка будет уточнять модели ареалов, а, значит, делать предсказания еще более точными.

НОВЫЕ ФОТО. Цель копилки - максимально ускорить процесс сбора фотографий по видам, которым чуть-чуть не хватает для включения в модель автоматического распознавания видов. Эти фото будут использованы в следующем обучающем наборе. Все мы замечаем, что каждый раз модель становится всё более компетентной и редко допускает грубые ошибки. Участники целенаправленно пополняют копилку, ориентируясь как на список видов (добавляя региональные фильтры), так и на карту, по которой мы можем глянуть на ближайшие точки видов-кандидатов и постараться сделать дополнительные наблюдения именно этих видов. Поверьте: такие поиски даже в соседнем лесу могут превратиться в увлекательное приключение! Но не забывайте, что из каждого наблюдения на обучение модели пойдёт только 5 фотографий (для соответствия критерию по разнообразию гаджетов).

Вот все формальные пороги для новых видов:

• ранг вида (гибриды, подвиды и разновидности не включаются)
• минимум 100 фото
• 50% фото имеют определение сообщества
• не более 5 фото из одного наблюдения

Иными словами, по текущим правилам, всего 20 исключительно полных наблюдений "исследовательского уровня" (минимум по 5 фото в каждом) достаточно для включения нового вида в модель.

Региональные примеры

• Подмосковье: 11 видов
• Крым: 74 вида
• Краснодарский край: 103 вида
• Дагестан: 110 видов
• Алтайский край: 52 вида
• Иркутская область: 63 вида
• Приморский край: 120 видов (!)
• Камчатка: 51 вид

НОВЫЕ ГАДЖЕТЫ. Для ряда видов имеется недостаточное разнообразие устройств: напрямую в релизах iNaturalist об этом не говорится, но Алекс Шепард в комментариях к постам рассказал, что наложены дополнительные ограничения на разнообразие источников, из которых поступают фотографии. При выгрузке обучающего набора фотографий из их метаданных берутся сведения, на какие устройства был снят тот или иной вид. К сожалению, точные значения пороговых отметок при этом не обнародованы. Если небольшое разнообразие устройств и наблюдателей не позволяет сделать обучающую выборку репрезентативной, то такой вид оставляется в сторонке для дальнейшего накопления данных. Такие ограничения вводятся потому, что, как показал эмпирический опыт, при обучении модель становится сильно зависимой от типа и марки устройств, на которые производилась съемка и, например, может узнавать какой-то вид, снятый на айфонах, но не видеть его на прочих фотографиях.

ДРУГИЕ ФЕНОФАЗЫ. Многие виды, которые не включены в систему, скупо представлены, например, в плодах или в вегетативном состоянии. А это особенно актуально осенью! Для надежного определения видов с помощью алгоритмов компьютерного зрения нужны фотографии растений в различные сезоны. Так что съемки одного и того же вида в том же месте, но, например, с жёлтыми листьями или ранней весной также очень полезны для совершенствования нейросетевых алгоритмов.

НОВЫЕ ОПРЕДЕЛЕНИЯ. Как и в целом на iNaturalist, очень многое зависит от экспертов и их работы. Несмотря на преодоление пороговых отметок, многие виды пока не включены в модель. Почему? У части видов пока недостаточная доля наблюдений исследовательского уровня (особенно у видов с большим числом наблюдений из-за рубежа, а также в сложных группах типа Salix, Carex, Poaceae и т.п.). Так что без участия экспертов в определении фото видов-кандидатов совершенствование модели компьютерного зрения невозможно в принципе. Например, довольно много видов флоры Приморья не включены в модель из-за большого числа неподтверждённых наблюдений из Южной Кореи.

РЕЗУЛЬТАТ. Именно первое включение вида в модель основано на наиболее чистом датасете фотонаблюдений, поскольку эти изображения вручную определены экспертами и наблюдателями (без учета мнения модели). Затем неизбежно начинают накапливаться ошибки, основанные на использовании подсказок, и обучение следующей модели хотя бы частично становится основанным на автоматически определенных фотографиях. Впрочем, обучающий массив при этом неизбежно растёт.

---

---

Подписались здесь на персональные уведомления журнала "Флора России": @natalia_gamova, @marina_gorbunova, @andrey_sdobnikov, @alexfamilyteam, @serycherny, @oleg_kosterin, @oksana_serikova, @taimyr, @yurii_basov, @madmanserg, @urij777, @tsn, @pavelsus, @denis_ivanov, @daba, @yuriydanilevsky, @julia_shner, @irinabobyleva, @tatyana_ilina, @windof, @petr_kosachev, @tanniii66, @grigoriy_yashin, @svetlanakutueva, @naturalist19358, @prokhozhyj, @forestru, @marina_sad, @tls-60, @cat_arch_angel, @irina_lebedeva83, @hoktokon, @daria_dru, @millione, @nikita_gerasin, @yuliaspiridonova, @woodmen19, @konstantin_shiryaev, @sennator, @stepan_vdovichenko, @nikolaydorofeev, @anaumkin, @svetlana-bogdanovich, @aleks-khimin, @pavelkomkov, @katya, @nikolay_sobolev, @dinanesterkova, @magrat666, @svetlana_katana, @irinasavenko, @liyixuan, @eugenia_urusova, @chimik, @naturalist57011, @tatianavladimirova, @v199rus, @wildpendulum, @dakileno, @gushchina_angelina, @pyakai, @danilinav, @npz, @tivanik, @okasana, @cyathus, @cryptobasis, @ev_sklyar, @caseymclowe, @mallaliev, @beerolha, @olga-2021, @olga_neogeo, @pamari, @alex_iosipenko, @alexander_ignatenko, @dni_catipo, @yaroslavmagazov, @naturalist34144, @zhu_lixun, @liyixuan, @iljar, @phlomis_2019, @savva_chigarkov, @sansan_94, @elena526, @ivan_savinov, @a-travva, @aleksandrebel, @eliooblomoff, @natalya_vilyaeva, @antropov_alexandr, @xueqiqi, @sokolkov2002, @pavel_golyakov, @aeroself, @alexanderdubynin, @pushai, @kristina_k, @tatiana_dolgova, @volnushka, @alexanderlakomov, @tatiana_moscow, @tomegatherion, @vladimirpenzyak, @vikaryabkova, @xueqiqi, @ksenia_urakova, @eremchi, @siburhan, @tatiana_gerasenko, @kazakovdenis, @zhang_luyu, @natalia_trifuz, @divitre, @dmitrii_mostovoi, @olga2019kuryakova, @evgeniyaast, @anastasiaredflower99, @anastasiya_spb, @svetlanakhanty, @ekaterinavoinova, @sergilus, @osting, @ninacourlee, @evgeny_ananyev, @irine_shlojmis, @wkent, @mariasakal, @elena_tikhonova, @evgeniq_benihanov, @ankhen, @radlena, @gerda_new, @komar281, @lilia_rakitianskaia, @igalka, @ganser8, @nikolai_nakonechnyi, @repta, @olya333555, @atachkin, @chortovatravka, @lebedeva_na, @sergey_shitov, @tatyanapopova, @oksana_serikova, @cvetlana, @romankonstantinov, @ilya_rudenko, @anisimov-43, @olga_arishina, @olga_petrova, @krestov, @zhukovskaya, @dormidontovvladimir, @vlshl, @naturalist34144, @danila_kurochkin, @natur58, @konstantin_m, @kot_s76, @eugenia_wiskasoid, @veksha, @fretkus, @m2011, @sasha_sashevich, @olga_chernyagina, @natalya_fomina, @andrey_55, @mihail_antropov, @ceu4, @stanislav_murashkin, @anna_mitroshenkova, @ashache, @qoi, @al_fa, @odonatachr, @liya15, @jin_shiying, @irinabutorina, @polyabel, @applecat22, @kolesnikovnik, @tavridaalex, @sibhedgehog (если вы заполняли форму, но вас тут нет, значит, вы написали свой ник с ошибкой - заполните форму ещё раз).

Правила ботанической номенклатуры регламентируются особым "Кодексом" (International Code of Nomenclature for algae, fungi, and plants). Каждый раз перед проведением очередного Международного ботанического конгресса собирается Номенклатурная секция (Nomenclature Section of the International Botanical Congress) для принятия поправок, изменений и дополнений к текущей версии "Кодекса".

За каждым учреждением закреплено определённое число голосов (Institutional Votes), которые могут быть использованы при голосовании. Такими учреждениями считаются не ботанические сады или университеты, а гербарии.

При этом голосование очное, поэтому голоса могут быть делегированы кому-либо из участников Номенклатурной секции. Приезжает такой человек для участия в Секции, получает право личного голоса и к ним он может добавить голоса от своего гербария и дружественных учреждений - в сумме не более 15 голосов, включая свой личный.

За нашим Гербарием издавна было закреплено 2 голоса. Для сравнения: ведущие гербарии мира (например, БИН, Кью или Нью-Йоркский ботанический сад) имеют по 7 голосов. Перед Конгрессом 2017 года, который прошел в Шеньчжене (КНР), был объявлен традиционный раунд запроса дополнительных институциональных голосов. Мы тогда только начали оцифровку, а с ней и новую жизнь, поэтому попытка получить сразу плюс два голоса (4 вместо 2) имела половинчатый результат: за Гербарием Московского университета было закреплено три голоса. Полный пакет из 14 голосов я тогда собрал от других гербариев России, а также от коллег из Германии и Болгарии, с которыми много и плотно работал.

Вот в такие урны мы опускаем бюллетени, когда есть сомнение в том, как простым поднятием рук проголосовало большинство. В Шеньчжене за пять дней работы Секции к это процедуре пришлось прибегать каждый день по 1-2 раза.

Вот кстати новости, которые я готовил в дни работы Номенклатурной секции в Шеньчженне (2017 год). С удовольствием перечитал их сегодня:

https://vk.com/wall-134484155_342 (День 1)
https://vk.com/wall-134484155_344 (День 2)
https://vk.com/wall-134484155_345 (День 3)
https://vk.com/wall-134484155_349 (День 4)
https://vk.com/wall-134484155_352 (День 5)

---

И вот, с годовой пост-ковидной задержкой грядет очередной Международный ботанический конгресс, который пройдёт летом 2024 года в Мадриде (Испания). Ещё прошлым летом я снова заполнял традиционную заявку на увеличение голосов. "Мы никому +2 сразу не даём, - сказал мне когда-то Вернер Грёйтер, которого я повидал в Палермо спустя пару лет после Шеньчженя. - Так не принято".

Вернер Грёйтер во время работы Номенклатурной секции в 2017 году.

Однако у меня было своё мнение по этому поводу. За последние годы мы закончили оцифровку Гербария МГУ, занимая по разным параметрам оцифровки места с 9-го по 15-е среди всех гербариев мира. Да, наши фонды в 1,1 млн образцов позволяют нам едва-едва входить в число 60 крупнейших гербариев мира, зато сотрудники МГУ ежегодно описывают 5-10 новых для науки видов, нашу платформу для публикации сканов используют уже 9 гербариев, а число просмотров сканов наших образцов составляет почти 8 млн. В общем, короткая анкета на пару страниц на меня самого произвела глубокое впечатление, и я был уверен, что нам в этот раз дадут те самые "плюс два" (5 вместо 3).

Итоги этой работы были опубликованы в журнале "Таксон" 21 февраля 2024 года (https://doi.org/10.1002/tax.13110, pdf: https://vk.com/doc10828577_671010771). За Гербарием Московского университета теперь закреплено 5 институциональных голосов.

Кроме того, приятным бонусом стало то, что ссылки на образцы нашего гербария появились на страницах таксонов в "Euro+Med" (например, https://europlusmed.org/cdm_dataportal/taxon/e306cc16-ba01-4182-a4a4-03abcd4b257e ).

Итак, сейчас:

• у 14 гербариев мира есть по 7 голосов (причем один из них по объему меньше нашего);
• ещё 10 гербариев распоряжаются 6 голосами каждый (четыре из них примерно как наш по объему фондов);
• за ними следует группа из 14 гербариев с 5 голосами, среди которых теперь находится Гербарий Московского университета.

В общей сложности 572 гербария распоряжаются 970 голосами.

---

Очень надеюсь принять участие в работе Международного ботанического конгресса в Мадриде этим летом, хотя перспективы этого весьма туманны.