Что это такое

SbS или Side by Side — это сравнение 1:1 двух объектов. В случае с дизайном —сравниваются макеты. Сравниваться могут постеры, логотипы, иллюстрации, ретушь, интерфейсы, фотографии — все что можно оценить визуально.

Основная цель такого исследования — выбрать наиболее привлекательное решение, поэтому полагаться только на него нельзя. Иначе, можно сделать пусть и красивый, но неудобный интерфейс и просадить метрики или сделать плохо конечному пользователю.

На самом деле все дизайнеры проходят через этап отбора наиболее привлекательного решения из тех, что они смогли сгенерировать. Только это делается интуитивно и без систематизации, а так как такие штуки проводятся в одиночку, то и решение получается субъективным.

Первым шагом к более объективным сравнениям можно назвать «коридорные исследования» и внутренним митапам, на которых коллективный разум помогают выбрать лучшее решение и то, как можно его доработать.

Если говорить о действительно полезном sbs, то чем больше людей участвует в сравнении макетов, тем объективнее будет средняя оценка и в ней будет меньше погрешностей. Правда, это по прежнему не будет давать каких либо гарантий о верности принятого решения: если оба варианта неудачные, то и выбираться будет лучшее из двух зол, потому что исследование не позволяет сгенерировать новые решения, а лишь оценивает их относительно друг друга.

Больше — это 100+

Механика проведения сравнений

Рассмотрим варианты сравнений от простого к сложному. Это поможет в дальнейшем понять как использовать СбС так, как нам это будет нужно.

Самый простой вариант, это когда я сам решаю какой из двух вариантов мне нравится больше и почему. Либо A, либо B.

Сложнее, когда есть три варианта: A, B и C. Тогда нужно сравнивать
A:B, A:C,
B:C

Объём сравнений зависим от количества вариантов в эксперименте и экспоненциально растёт. Для сравнения четырёх вариантов A, B, C, D, ситуация уже будет выглядеть так:
A:B, A:C, A:D
B:C, B:D
C:D

Если самостоятельное сравнение еще можно упростить и слабые варианты сразу отбрасывать, то потоковые сравнения с количественно-качественными исследованиями требуют больше сил и времени. Тогда уже появляется необходимость в использовании матрицы. Все макеты сравниваются по матрице на одинаковых условиях 1 на 1. Например, каждая пара показывается 20 людям. (Мы помним, что чем больше людей участвует — тем лучше)

Не смотря, на то что не всем доступны потоковые сравнения, знать о том как они проводятся — полезно

Матрица для сравнения трёх вариантов на 20 респондентах будет выглядеть так:

Есть случаи, когда количество побед незначительно (±10%). В таких случаях считается что оба макета равны и придётся принимать решение самостоятельно, потому что здесь играет роль погрешность.

Но она все ещё не читабельна и не даёт полной картины того, как принять объективное решение в сравнении. Тогда на помощь приходит ещё и средне-статистическое количество побед:

Считается так: Сумма всех побед делится на их кол-во

Получается, что вариант А самый удачный и пойдет в прод

Как применять СбС самостоятельно и единолично

Суть проведения сравнений единолично обусловлена тем, что либо ни возможности (ресурсов), либо важна экономия времени для получения результата в быстрый период времени.

Поэтому при большом количестве макетов и ручном сравнении, нет смысла собирать матрицу, считать % побед и убиваться точностью. В таком случае все делается как по турнирной сетке: Собираются пары и просеиваются. Те макеты, что проиграли — выпадают из сравнения. Результат — отобрать 1 ( или при большом количестве 2-3) наиболее удачных варианта.

Ловушки в СбС

Я повторюсь, но это действительно важно: первая ловушка при использовании СбС состоит в том, что вы все еще выбираете лучший вариант из существующих. Да, он выигрывает среди других вариантов, но это может лишь означать, что СбС проявил лучшее из всех зол. Поэтому к сравнениям нужно относится критическим взглядом.

Вторая ловушка состоит в том, что иногда СбС может попасть в цикл. Например, у вас есть прод, это будет вариант А. Вариант А выигрывает у варианта B, а тот в свою очередь выигрывает у варианта С, а С выигрывает у А. Получился замкнутый круг.

Проблема разрешается просто — основная задача, выиграть СбС у прода (иначе зачем все это?) и тогда нам не важно, кому проигрывает вариант С, если только он оказывается лучше чем А.

СбС не в работе, а в жизни

Неожиданно, но использование сравнений можно использовать и в жизни. По правде говоря вы уже с этим сталкивались неоднократно, хотя может показаться, что это не настолько частый кейс: Самые простые варианты, которые уже программно реализованы, это опросы в соц сетях и голосовалки в инсте.

А если серьезно, где можно применять сравнения?
Например, хочется сделать перестановку в комнате. Сравнение двух расстановок по фотографиям-панорамам будет намного нагляднее и удобнее, чем оценка по памяти было-стало.

Или например, вы теряетесь в выборе, как лучше расставить инструменты на полке. Без фото-сравнения мне приходилось просто перекладывать вещи несколько раз, пока не становилось понятно какой порядок все таки лучше или удобнее.

Сюда же вспоминаются фотографии людей Было-Стало про прическу, лишний вес и другое.

СбС помогает и при отборе, и чистке фотографий. Это отдельная тема для рассказа, но если вкратце, то фотографии сначала прогоняются в Лайтруме на выставление рейтинга — Хорошая/Сойдет/Удалить, а затем каждая группа несколько раз проходит отсеивание от дубляжей, неинтересных кадров или не нужных.