Поиск по фото с телефона в Яндексе — важные особенности

Ситуация, в которой нужно срочно определить "происхождение" картинки - не такое уж редкое явление. Как это сделать быстро известно не всем. На самом деле, сделать это достаточно просто - функция поиска по фото с телефона в Яндексе доступна уже несколько лет. Давайте же разберемся, как это работает, а также узнаем историю появления подобной технологии.

Поиск по атрибутам

Алгоритм интеллектуального анализа содержания изображений появился не так уж и давно. Поначалу, ПС находили картинки по атрибутам, приписанным файлу, что иногда, приводило к "удивительным" результатам. Например, при попытках нахождения по фото зелёного зонтика с узором - Яндекс отображал кирпич или ещё чего похуже. Поиск нужного фото с телефона не мог увенчаться успехом в принципе. Но и это не самое страшное.

Потихоньку, по каким-то определённым запросам, «роботы» Google начали собирать фото, скажем так "непубличного" содержания. Не совсем понятно, как так получилось - нелепое стечение обстоятельств или кто-то злонамеренно распространял подобный контент, известно одно - до начала использования интеллектуального алгоритма сортировки и анализа изображений в поисковой выдаче творился настоящий хаос - один из примеров рассмотрим далее.

"Шок" в картинках

До 2011 года пользователь, ищущий определённый запрос на стартовой странице в Google натыкался на фотографии шокирующего содержания. Кстати, подобный механизм выдачи остался до сих пор, с той лишь поправкой, что теперь изображения не отображаются на главной странице. А в разделе картинки - пожалуйста, всё осталось как есть. Интересно другое: в системе Яндекса подобные запросы уже не срабатывают. Это позволяет сделать вывод, что способ эффективной модерации найден - почему им не воспользуется Гугл - остаётся загадкой.

"Умный" поиск изображений в Google

В 2011 году, сотрудники Гугл потихоньку начали внедрять новые алгоритмы распознавания и сортировки изображений. Теперь робот не доверял тегам, описывающим картинки, а разбивал отдельно взятое фото на несколько отдельных элементов и классов, присваивая каждому — отдельный, индивидуальный код. Так, незаметно для широкой массы пользователей, произошёл огромный скачок в сфере разработки технологий искусственного интеллекта, ведь ещё в 2005 году никто и не мог даже предполагать, что поисковая машина научится обрабатывать титанический объём информации, выдавая при этом точные результаты.

Похожим же образом, обрабатывать и распознавать отдельные части фото научился и Yandex, о котором и пойдёт речь далее.

---

Анализ медиаконтента в Яндексе

Нельзя сказать, что российский поисковик пошёл полностью "своим" путём. Фундаментальные различия в подходе к анализу и обработке фотографий, конечно есть, но "база" всё же общая. До запуска нового алгоритма поиска изображений в 2013-м году, выдача фотокарточек модерировалась специальными людьми - асессорами (основная задача которых - "очеловечивание" поисковой системы и механизмов индексации). Иными словами - асессоры, это те, кто помогают Yandexу "умнеть". Правда, этот ресурс очень ограничен, а потому, отдел таких помощников анализировал информацию только по самым популярным запросам. Они же, старались привести поиск по фото с телефона в Яндексе в адекватный вид.

В середине года, специалисты Яндекса всё же запустили новую систему распознавания графики на базе технологии CBIR (поиск фото по содержанию). Вообще, идея осмысленного поиска фотографий не нова, и исследований с 1992 года на эту тему было сделано очень много. Немало было разработано и проектов, призванных решить проблему "осмысления" медиаконтента роботом, но к конкретным результатам пришли лишь крупнейшие поисковые агрегаторы и с десяток компаний, работающих в других направлениях разработки технологий искусственного интеллекта (например, тот же TinEye, который мы также не обойдём стороной).

 

---

Как же это работает?

CBIR Яндекса опирается на анализ и классификацию, так называемых "визуальных слов". Это видно на следующей схеме:

Таким образом, поисковая машина теперь буквально "видит" файл, загруженный пользователем, и очень точно находит похожие фото, как по цвету - так и по содержанию.

В 2016 году, подразделение Яндекса (YDF) - осуществило пробный запуск сервиса автомодерации фотографий. Это экспериментальное решение для соц. сетей, интернет-магазинов и других ресурсов, нуждающихся в уникальном медиаконтенте. Разработка была признана перспективной, в её основу легли технологии искусственного интеллекта и компьютерного зрения.

Уже на этапе пользовательского тестирования, один из менеджеров проекта сообщил, что использование сервиса будет поставлено на коммерческие рельсы. На практике оказалось, что подобная борьба за легализацию и уникальность изображений не очень-то совпадает даже с правовой базой, не говоря уже об общих тенденциях Рунета.

Общую картину мы видим, давайте же попробуем разобраться с практическим применением.

Удобство "умного поиска"

Вы листаете новости в любимой соц. сети или что-то ожесточенно обсуждаете в групповом чате мессенджера. Поток букв, стикеров, аудиозаписей, документов и тут, ваше внимание притягивает неизвестное доселе художественное произведение. Но кто это нарисовал, Вы не знаете, и друзья пожимают плечами - не у всех в френдлисте припрятан искусствовед.  Мы ищем картину, на которой изображена лодка с людьми, рядом со скалами в шторм. Вот же она:

Поиск фотографии по описанию для нас выглядел бы следующим образом:

Не очень удачно получилось, правда? И лодка у нас есть, и море и скалы, но всё не то. Придётся немного поправить запрос.

Мы подобрались ближе, но результата ещё нет.

Что же у нас тут вообще происходит? Есть море, есть буря. Что делает буря? Правильно, бушует.

Немного изменим запрос.

Вот наша картина и нашлась. Это работа Айвазовского "Бущующее Море". Стоит заметить, что Айвазовский - известен в широких кругах, а с некоторыми его произведениями знакомят ещё со школьной скамьи. Но у него очень много картин о море, прибавим к этому кучу других фотокарточек в поисковой выдаче и готово - без "пляски" с бубном нам не разобраться. А теперь представьте всё то же самое, но с мобильного.

А что делать с произведениями других художников? Они не всегда поддаются описанию. Ниже у нас "Искушение св. Антония" написанное Босхом:

Эту картину не то что трудно описать машине, не каждому человеку то удастся объяснить, что тут изображено.

В этом и проявляется несовершенство поиска по тегам и описаниям. И если с ПК мы ещё можем немного посидеть и поискать мышью нужное нам фото, то со смартфона это очень неудобно делать. Экран не такой большой, как на стационарном компьютере или ноутбуке, а информации очень много - придётся долго проматывать вниз.

---

Поиск по фото с телефона в Яндексе

Для того, чтобы найти фотографию нам нужно сделать следующее в браузере, запустив Yandex:

• Делаем 1 "тап" (прикосновение) в поле ввода;
• Жмём кнопку "Спросить картинкой":

• Подгружаем файл из памяти смартфона;
• Готово, на скриншоте вы можете заметить что у нас всё получилось - это фото нашлось, а также нашлись похожие:

---

Поиск фотографий в Гугл

Устройства под управлением Андроид, снабжены стандартной службой поиска - Google Images. Для её использования, сделайте длительное нажатие на нужном фото.

В раскрывшемся меню тапните на "Найти это изображение":

Если эта фотография размещена на какой-либо странице, можно "опознать" её как при помощи поиска по изображению, так и по ссылке, которую нужно будет скопировать и вставить в поисковую строку.

А вот так выглядят результаты:

---

Альтернативный способ - TinEye

На телефонах предыдущего поколения имеет смысл воспользоваться сервисом TinEye. Он, как и Яндекс, базируется на принципе "CBIR", но подход сильно отличается. Это один из самых точных ресурсов поиска фото с телефона. Его интерфейс очень прост: нажмите на кнопку загрузки и выберите нужное вам изображение.

Вот мы и разобрались в хитросплетениях такой простой в использовании функции. Но для того чтобы она появилась - потребовалось очень много сил и времени. Теперь вы знаете, как осуществлять поиск по фото с телефона в Яндексе.