Главное Свежее Вакансии Образование
2 495 11 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Прототип сервиса, который распознает гриб по фото

Mushroom.ai распознаёт грибы по фотографиям с помощью глубокой свёрточной нейронной сети. Анонс прототипа, который изменит твою грибную жизнь.

tl;dr Прототип сервиса распознавания грибов по фотографии https://twitter.com/mushroomaibot

Задав вопрос на Spark, опросив грибников на форумах и побеседовав со знакомыми, мы пришли к выводу, что основным продуктом Mushroom.ai будет мобильное приложение, распознающее грибы офлайн, под платформы iOS и Android.

Понять то, к чему мы идём, это, конечно, здорово, но нас постоянно спрашивают: “А работает ли распознавание?”, “А насколько быстро и точно?”, “А где можно попробовать?”. Собственно говоря, поэтому мы решили не томить всех в ожидании, а запустить онлайн-прототип нашего приложения, бот в Twitter: @mushroomaibot

Задача

Просто запустить прототип было бы слишком “просто”. Поэтому мы решили изначально запустить его почти в таких же условиях, в которых будет работать мобильное приложение, а именно:

  1. Размер не более 100 мегабайт (в настоящее время: 80 мегабайт без компрессии)
  2. Ответ не более 3 секунд (в текущей реализации 200 миллисекунд, но, блин, Twitter позволяет отвечать только раз в минуту)
  3. Намеренно выбран сервер по мощности примерно равный современному смартфону О_о

b_58342ac115258.jpg

И мы решили эту задачу! Работает, распознаёт, радует пользователей и нас самих ;)

Технические детали

Для распознавания видов грибов мы использовали глубокую свёрточную нейронную сеть. Проектирование нейронной сети выполнено с использованием открытой и достаточно популярной библиотеки tensorflow. В настоящее время количество натренированных параметров сети более 20 миллионов, что позволяет сочетать скорость и точность определения вида гриба.

b_58342a9d8f19f.jpg

Для обучения такого большого количества параметров мы задействовали специальные GPU сервера от AWS, так как на обычном настольном компьютере это может занять до нескольких недель. Базу фотографий грибов для обучения нейронной сети мы пополняем ежедневно, делая предсказания точнее с каждым днём.

Описание прототипа

Для создания прототипа мы выбрали 10 видов грибов:

  1. Свинушка тонкая (paxillus involutus)
  2. Мухомор красный (amanita muscaria)
  3. Шампиньон двуспоровый (agaricus bisporus)
  4. Бледная поганка (amanita phalloides)
  5. Шампиньон обыкновенный (agaricus campestris)
  6. Дождевик шиповатый (lycoperdon perlatum)
  7. Подберезовик обыкновенный (leccinum scabrum)
  8. Лисичка обыкновенная (cantharellus cibarius)
  9. Белый гриб (boletus edulis)
  10. Маслёнок обыкновенный (suillus luteus)

b_58342a8b172d2.jpg

Чтобы распознать образец гриба, вам необходимо:

  1. Если вы ещё не зарегистрированы в Twitter О_о, то зарегистрироваться.
  2. Открыть профиль бота @mushroomaibot или просто упомянуть его в сообщении.b_58342aeb23289.jpg
  3. Отправить боту твит с фотографией гриба (желательно, но не обязательно, чтобы гриб был запечатлен сбоку и отчетливо виден).b_58342af833fd9.jpg

Как только фото будет обработано, бот опубликует ответ в своей ленте.

b_58342b0607e0e.jpg

Будем рады любым отзывам и пожеланиям как по работе прототипа, так и по поводу конечного продукта в комментариях к этому посту.

Встречаем, пробуем: https://twitter.com/mushroomaibot

+9
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Алексей Волосов
Думаю, это будет очень увлекательно!
Ответить
werqwer qwer
А с какой вероятностью сеть может "заучить" ответы. Просто интересно на сколько большая обучающая выборка.
Ответить
Dato ML
Мы знаем, как машинное обучение может увеличить ваш доход
Никита Верховин
Вероятность "заучить" ответы минимальна, т.к. мы следим за этим с помощью проверки точности предсказаний на тестовом датасете, который не участвует в обучении сети. Точность в данный момент 92.3%
Ответить
werqwer qwer
Спасибо за ответ. А какое количество в обучающей выборке можно узнать если не секрет ?
Ответить
Dato ML
Мы знаем, как машинное обучение может увеличить ваш доход
Никита Верховин
В данный момент около 1000 грибов на каждый вид (проект новый). Понимаем, что это очень мало, поэтому база пополняется каждый день. Рад ответить на любые вопросы :)
Ответить
Devicerra
Онлайн сервис подбора электроники
Шютник 10665
Могу ошибаться, но насколько я знаю, есть всякие псевдо-грибы, вроде их ложными называют что ли. Вроде есть всякие ложные опята и т.д. Т.е. ложные — поганки, которые очень похожи на нормальные грибы. Можно узнать, как с этим дело обстоит? А то вдруг, кто- нибудь, ложный гриб себе куда-нибудь закинет :)
Ответить
Dato ML
Мы знаем, как машинное обучение может увеличить ваш доход
Евгений Власенко
Спасибо, хороший вопрос.
У нас такие соображения, по поводу решения этой задачи:
1) Если грибы очень похожи, но всё-таки имеют визуальные отличия, то тут будет собран более большой и качественный датасет по "нормальному" и "ложному" образцу.
2) Если грибы действительно визуально не различимы, но различимы по какому-то другому признаку, то (спасибо нашему товарищу Саше за идею;) - будет дополнительное предупреждение, например как: разломите ножку, если цвет X, то гриб "нормальный", если цвет "Y" то гриб "ложный".

PS Всё есть яд и всё есть лекарство.
Ответить
Всеволод Король
Это и правда звучит интересно.
А будет ли офлайн версия?
Например, у меня в деревне в Тверской области, особенно в лесу, где растет много грибов, интернет ловит плохо и скорее даже не ловит вообще.
А именно там хотелось бы использовать данную возможность.
Ответить
Dato ML
Мы знаем, как машинное обучение может увеличить ваш доход
Евгений Власенко
Да, конечно будет оффлайн версия под iOS и Android!

А пока можно подписаться на нашу рассылку, чтобы следить за новостями и оказаться первым кто узнает о запуске: https://mushroomai.ml/#request
Ответить
Леночка Сидорова
Прям для меня приложение)) вообще в грибах нечего не понимаю, но собирать нравится! Визуально могу только мухомор распознать)))????
Молодцы ребята????????
Ответить
Dato ML
Мы знаем, как машинное обучение может увеличить ваш доход
Евгений Власенко
Спасибо! А спарк не поддерживает смайлы =(
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.