Купил бы, если б смог найти! (доклад - продолжение...

ПРОБЛЕМА НАХОЖДЕНИЯ ТОВАРА

Роман Смолговский Директор Департамента Электронной коммерции

Купил бы, если б смог найти

Thursday, October 17, 13

КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА

WEBSITEThursday, October 17, 13

КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА

Большое количество email о проблемах нахождения товара

WEBSITEThursday, October 17, 13

КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА

Большое количество email о проблемах нахождения товара

• “...Показывается большое количество товаров несколько вперемешку...”

WEBSITEThursday, October 17, 13

КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА

Большое количество email о проблемах нахождения товара

• “...Показывается большое количество товаров несколько вперемешку...”

• “По поиску «аптечка» находит совсем не то, что нужно, хотя у нас ЕСТЬ автонаборы, где есть аптечка!”

WEBSITEThursday, October 17, 13

КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА

Большое количество email о проблемах нахождения товара

• “...Показывается большое количество товаров несколько вперемешку...”

• “По поиску «аптечка» находит совсем не то, что нужно, хотя у нас ЕСТЬ автонаборы, где есть аптечка!”

• “…Повторы  одного и того же товара при применении фильтра – мы выглядим как минимум просто не профессионально…”

WEBSITEThursday, October 17, 13

КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА

Большое количество email о проблемах нахождения товара

• “...Показывается большое количество товаров несколько вперемешку...”

• “По поиску «аптечка» находит совсем не то, что нужно, хотя у нас ЕСТЬ автонаборы, где есть аптечка!”

• “…Повторы  одного и того же товара при применении фильтра – мы выглядим как минимум просто не профессионально…”

Очевидные проблемы на уровне basic features

WEBSITEThursday, October 17, 13

ПРОБЛЕМА

Суть проблемы:

• Пользователи не могут найти товар используя инструменты платформы Enter

Проблема комплексная - пользователи могут использовать различные инструменты для нахождения товара

• Поиск товара по каталогу

• Поиск товара по наименованию

Thursday, October 17, 13

СОСТАВЛЯЮЩИЕ

Что нужно понять и постоянно отслеживать:

• Насколько логична структура каталога?

• Насколько релевантен поиск?

• Как сортируются листинги и результаты поиска?

• Какие виды сортировки доступны пользователю?

• Насколько логичны и правильны результаты сортировки для каждого вида?

• Правильно ли организованы фильтры?

Thursday, October 17, 13

Комплексная проблема, которую нужно решать системно

РЕШЕНИЕ

Thursday, October 17, 13

Комплексная проблема, которую нужно решать системно

Каталог Поиск

Сортировка Результатов Фильтры

РЕШЕНИЕ

Thursday, October 17, 13

Комплексная проблема, которую нужно решать системно

Необходим процесс!

Каталог Поиск

Сортировка Результатов Фильтры

РЕШЕНИЕ

Thursday, October 17, 13

ДРУГИМИ СЛОВАМИ…

Для решения проблемы необходимо одновременно работать в нескольких

направлениях

Thursday, October 17, 13

Контент

• Структура каталога, данные для поиска и сортировок

• Процесс внесения изменений

Алгоритмы

• Поисковые гипотезы и определение релевантности

• Методологии сортировки

Thursday, October 17, 13

Архитектура платформы

• Методология хранения данных

• Использование поисковых платформ

• Механизмы самообучения

Оценка качества и управление изменениями

• Процессы внесения изменений

• Процессы нахождения и анализа проблем

• Процессы работы над ошибками

Thursday, October 17, 13

КАТАЛОГ И ЕГО СТРУКТУРА

БЫЛО...

Thursday, October 17, 13

ПРОБЛЕМЫ С КАТАЛОГОМ

Нелогичная структура

• Популярные товары запрятаны где-то в “глубинах” структуры

• Названия разделов не совпадали с “пониманием” покупателей

• Названия не совпадали с популярными запросами поисковых систем

“Растянутость” структуры по обеим измерениям

• Где-то много уровней вложенности (до 6)

• Где-то много подразелов в одном разделе (до 18!)

Thursday, October 17, 13

КАК ИСПРАВЛЯТЬ КАТАЛОГ

Предложение Редактора Категории

Корректировка по частотности

запросов

Корректировка по глубине и

ширине

Корректировка по маржинальности и

популярности

Утверждение Главным

Редактором

Внесение изменений (каталог, ссылки и т.д.)

Синхронизация с бумажным каталогом

Thursday, October 17, 13

КАТАЛОГ И ЕГО СТРУКТУРАСТАЛО...

Thursday, October 17, 13

КАК УПРАВЛЯТЬ КАТАЛОГАМИ

Предложение Редактора Категории

Корректировка по частотности

запросов

Корректировка по глубине и

ширине

Корректировка по маржинальности и

популярности

Утверждение Главным

Редактором

Внесение изменений (каталог, ссылки и т.д.)

Синхронизация с бумажным каталогом

Запрос на изменение

Thursday, October 17, 13

КОГДА РАБОТАЕТ КАТАЛОГ...

И странно работает сортировка…

Thursday, October 17, 13

ВОПРОСЫ К ОРГАНИЗАЦИИ СОТРТИРОВКИ

Виды сортировок - какие нужны покупателю?

• Изначально мы поддерживали только одну сортировку - автоматическую; этого явно мало!

Что должна учитывать автоматическая сортировка

• Влияние “ручных” поправок и процесс их изменений

Какова должна быть организация данных и техническая платформа, чтобы все это поддерживать?

Thursday, October 17, 13

ВИДЫ СОРТИРОВОК

Thursday, October 17, 13

ВИДЫ СОРТИРОВОК

Thursday, October 17, 13

ВИДЫ СОРТИРОВОК

Не считая автоматической сортировки, учитывающей наши рекомендации, необходимр учесть что:

• Кто-то ищет по цене

• Кто-то ищет по брендам

• Кто-то хочет увидеть наиболее продаваемые товары (а не наши рекомендации)

Виды сортировки необходимые покупателю могут отличаться от категории к категории!

Thursday, October 17, 13

КАКИЕ ПАРАМЕТРЫ ДЛЯ СОРТИРОВКИ У НАС ЕСТЬ?

“Важно для пользователя”

• Просмотры

• Продажи

• Новизна

• Наличие “шильдика” (суперцена, новинка, распродажа и т.д.)

• Наличие видео/3D

• “Ручной” коэффициент

Thursday, October 17, 13

КАКИЕ ПАРАМЕТРЫ ДЛЯ СОРТИРОВКИ У НАС ЕСТЬ?

“Важно для компании”

• Маржинальность

• Остатки

• Конверсия, рассчитываемая по специальной формуле учитывающей просмотры и продажи (по конкретному товару и по категории)

Thursday, October 17, 13

ПРОЦЕСС УЛУЧШЕНИЯ СОРТИРОВКИ

Определяем все возможные параметры

Для каждой категории

Собираем feedback

Создаем гипотезы значимости

Проводим AB тесты

Устанавливаем наилучшую

гипотезу

Корректируем вручную товары

для продвижения

Thursday, October 17, 13

ДЛЯ СОЗДАНИЯ СОРТИРОВКИ НЕОБХОДИМО...

Учитывать

• Региональность

• Категорию

Уметь“автоматически” создавать фильтры релевантные к результатам показа

Использовать одинаковую логику для показа листингов и результатов поиска

Необходима технологическая платформа, которая сможет все это поддерживать

Thursday, October 17, 13

КАК ВСЕ ЭТО СОЗДАТЬ?

Нужна система организации данных, которая для каждого товара:

• Содержит статистику/информацию необходимую для сортировки

• Содержит информацию о доступности и ценах в разрезе зон доставки и/или магазинов

• Содержит произвольный набор характеристик для построения фильтров

• Содержит информацию для полнотекстового поиска

Thursday, October 17, 13

ТЕХНОЛОГИЧЕСКОЕ РЕШЕНИЕОчевидно, что нужен Search Engine - был выбран Sphinx , потому что:

• In-house экспертиза

• Тесный контакт с разработчиками продукта

• Эмуляция SQL - существенно упрощает переход с реляционной БД

Огранизация Sphinx “похожа” на реляционные БД - в процессе индексации данные структурируются в таблицы, для которых существуют возможности очень быстрого поиска

• При этом, Spninx не совсем SQL - например, join использовать не стоит

Thursday, October 17, 13

ЧЕГО МЫ ХОТИМ ДОБИТЬСЯ?

Платформа должна уметь

• Сортировать по “любой” разумной формуле которая может быть разной для разных выборок

• Автоматически “создавать” фильтры - находить набор свойств для данных списков товаров и все возможные и релевантные значения

• Правильно искать - об этом чуть позже

Thursday, October 17, 13

РАБОТАЕТ ЛИ СОРТИРОВКА?

Да, люди кликают на первой странице

категории

Нет… Первая страница категории

не “кликается”

Thursday, October 17, 13

КОГДА ОРГАНИЗОВАН КАТАЛОГ…И работает сортировка…

Thursday, October 17, 13

А ЕСЛИ ИЩУТ НЕ ПО КАТАЛОГУ...А ПОИСК РАБОТАЕТ СТРАННО...

Thursday, October 17, 13

ПОТЕНЦИАЛЬНЫЕ ПРИЧИНЫ ПРОБЛЕМ С ПОИСКОМ

Проблемы построения

гипотез запроса

Неправильная формула

вычисления релевантности

Отсутвуют синонимы

Отсутствует гипотеза

Проблемы сортировки ответа

Неправильные веса

Thursday, October 17, 13

ПРОЦЕСС УЛУЧШЕНИЯ ПОИСКА

Тестируем по результам

ассесорной оценки

Найден частотный запрос с

проблемами

Сообщение о проблеме

Анализ проблемы Внесение исправлений

Thursday, October 17, 13

ПРОЦЕСС УЛУЧШЕНИЯ ПОИСКА

Тестируем по результам

ассесорной оценки

Найден частотный запрос с

проблемами

Сообщение о проблеме

Анализ проблемы Внесение исправлений

Thursday, October 17, 13

ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК

Калибровка

• Загрузка наиболее популярных запросов из аналитических систем

• “Человеческая оценка”

• UI показывающий результаты по каждому запросу с возможностью оценить каждый результат (Good/Bad)

Thursday, October 17, 13

ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК

• Калибровка

Thursday, October 17, 13

ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК

По окончании калибровки

• Система автоматически создает разные варианты формулы ранжирования и построения гипотез для максимизации сумм оценок по всем запросам

• По окончании каждому запросу присваивается score вычисляемых на основании количества “хороших” и “плохих” ответов и их очередности

Thursday, October 17, 13

ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК

При внесении изменений

• Для каждого запроса вычисляется новый score на основании присутствия предыдущих “хороших” и “плохих” ответов и их очередности

• Если общий score выше - Good, используем новые формулы

• Запоминаем новые score

• Если нет - Bad!!! Переделываем…

Thursday, October 17, 13

А ЕСЛИ ИЩУТ НЕ ПО КАТАЛОГУ...И работает поиск…

Thursday, October 17, 13

РЕЗУЛЬТАТЫ ПО АНАЛИТИКЕ

Thursday, October 17, 13

LESSONS LEARNED• Не существует “Проблемы Поиска”, “Проблемы

Каталога”, “Проблемы Сортировки”

• Есть Проблема Нахождения Товара, которая должна решаться комплексно!

• Решение далеко не только техническое - необходим процесс объединяющий контентные изменения, продуктовые работы (алгоритмы) и изменения в коде/архитектуре

• Необходим процесс отслеживания

• Аналитические инструменты

• Количество сообщений о проблемах!

Thursday, October 17, 13

LESSONS LEARNED• Не существует “Проблемы Поиска”, “Проблемы

Каталога”, “Проблемы Сортировки”

• Есть Проблема Нахождения Товара, которая должна решаться комплексно!

• Решение далеко не только техническое - необходим процесс объединяющий контентные изменения, продуктовые работы (алгоритмы) и изменения в коде/архитектуре

• Необходим процесс отслеживания

• Аналитические инструменты

• Количество сообщений о проблемах!

Thursday, October 17, 13

YOU CAN

Thursday, October 17, 13