Note for international visitors

This website is dedicated to the project we, the people from Novosibirsk State Technical University (Russia), Technical University Chemnitz (Germany) plus some other contributors, work on.

Currently most of the website content is in Russian.

If you came to the website, most likely you are interested in our web user interfaces measurement platform.

Портал знаний по проектированию веб-интерфейсов

Данный сайт разрабатывается в рамках научной работы по гранту Российского фонда фундаментальных исследований № 16-37-60060 мол_а_дк. Тема «Разработка фундаментальных основ применения методов искусственного интеллекта при проектировании человеко-машинного взаимодействия».

Аннотация итогового отчёта (2018 г.):

Эффективная организация взаимодействия в человеко-машинной системе является одной из фундаментальных проблем в сфере информатики, и существуют оценки, что не менее 50% всего создаваемого программного кода посвящено пользовательским интерфейсам. Выполненный проект посвящен интенсификации применения методов искусственного интеллекта в области создания интерфейсов и направлен на решение двух основных задач: а) измерение и оптимизация информационных потоков между человеком и компьютером в ходе взаимодействия и б) формализацию перехода от требований к программному продукту к проектным решениям, реализуемым в интерфейсе. Основные результаты проекта включают в себя: 1) конкретную формулировку индекса сложности и программный инструмент (визуальный анализатор), способный вычислять данный показатель автоматически для любой заданной веб-страницы; 2) реализацию эволюционного алгоритма (ЭА) для автоматизированного создания веб-интерфейсов, совмещённую с прецедентным подходом, позволяющим повторное использование дизайнов существующих веб-сайтов; 3) структуру прецедента (веб-проекта) и способы определения схожести для извлечения прецедентов из базы; 4) обученные нейросетевые модели поведения пользователей, описывающих влияние параметров и метрик веб-интерфейсов на восприятие и впечатления пользователей, с учётом их индивидуальных характеристик; и др. По результатам выполнения проекта опубликовано 10 статей в журналах, индексируемых Scopus/WoS (из них Q2 – 5), 7 статей в сборниках трудов международных конференций, индексируемых Scopus/WoS, 1 статья в журнале из перечня ВАК, 1 монография на английском языке, получено 1 Свидетельство о регистрации программы для ЭВМ.

Портал знаний

Данный портал соответствует открытой части прототипа интеллектуальной системы для проектирования веб-интерфейсов и включает в себя:

  1. Реестр проектов. Проект может являться прецедентом, автоматически собранным из сети Интернет, или специально создаваться на портале для последующей генерации в рамках него решений (веб-интерфейсов) посредством эволюционного алгоритма. Проект структурно состоит из описания проблемы, мета-информации, решений (по эволюционным поколениям) и метрик качества решений.
  2. Эволюционный алгоритм (документация) для создания веб-интерфейсов и вспомогательные инструменты для его работы:
    1. Визуальный анализатор, который по запросу пользователя способен осуществлять обработку скриншота, автоматически сделанного с веб-страницы, расположенной по указанному адресу, или загруженного непосредственно на сайт. Выдаёт семантически-пространственную структуру элементов веб-интерфейса в формате JSON и вычисляет по ней ряд метрик. Является основным сервисом в рамках интеграционной платформы (которая использует в качестве внешнего сервиса, в частности, Aalto Interface Metrics).
    2. Майнер веб-аналитики, который по запросу пользователя (не чаще 1 раза в сутки) собирает сведения о заданном веб-сайте из ряда глобальных каталогов, онлайн-сервисов и верификаторов. Выдаёт характеристики кода и контента веб-страницы, оценки показателей качества-в-использовании, названия разделов сайта и пр.
    3. Опросники, позволяющие собирать оценки субъективных впечатлений пользователей – качества, кансей-слов, схожести и др. – для решений (веб-сайтов). Требует заблаговременной регистрации в качестве эксперта-аннотатора.
  3. Информационное и мета-информационное наполнение:
    1. Расширенная онтология поддержки проектирования веб-интерфейсов. Может представлять интерес для исследователей и веб-дизайнеров, заинтересованных в изучении или использовании концептуальной модели предметной области или её составляющих (например, кансей-слов для определенных типов веб-сайтов). Код онтологии (OWL) может быть предоставлен автором по запросу. На основе онтологии был реализован также ряд таксономий, используемых на портале.
    2. Рекомендации по проектированию. Могут представлять интерес для проектировщиков интерфейсов, в частности при организации и проведении эвристического анализа (heuristic analysis) веб-интерфейсов с экспертами. Реестр содержит более 100 рекомендаций, собранных из различных источников или полученных на основе результатов нашей исследовательской работы. Для добавления рекомендации необходима заблаговременная регистрация на сайте.
    3. Мета-репозиторий компонентов. Основное предназначение – предоставление информации о компонентах в требуемом формате для работы эволюционного алгоритма по генерации веб-интерфейсов. Обращаться за такой информацией к удалённому ресурсу при создании каждого решения алгоритмом представляется нецелесообразным (хотя бы с точки зрения скорости работы) – необходима локальная копия. Синхронизация с информацией в репозитории компонентов фреймворка Drupal осуществляется через API, по запросу администратора портала.
    4. Репозиторий контента. Основное предназначение – предоставление контента для решений, получаемых в ходе эволюционного алгоритма. Оценка приспособленности проектов веб-интерфейсов (их качества и схожести с решениями-образцами из прецедентов) должна производиться с заполняющим контентом, для более полного соответствия созданных решений реальным веб-сайтам, с использованием которых производилось обучение моделей поведения пользователей. Единицы контента могут 1) выделяться из решений, хранящихся в репозитории проектов; 2) вноситься вручную экспертом-аннотатором; 3) собираться автоматически из Интернета (в перспективе).

Кроме того, часть созданного в рамках проекта программного кода размещена в общедоступных репозиториях:

  • Модуль Drupal’a для управления визуальным представлением веб-сайта (темой), с поддержкой структуры хромосомы и генетических операторов: https://github.com/vkhvorostov/subtheme_color
  • Механизм для генерации веб-сайта в веб-фреймворке Drupal из хромосомы, соответствующей модели сайта (на основе формата YAML): https://github.com/vkhvorostov/drupalgen

Анализатор визуального представления веб-интерфейсов

В рамках научной работы по гранту Российского фонда фундаментальных исследований 16-37-00184 «Моделирование взаимодействия в человеко-компьютерных системах с использованием понятия информационной сложности интерфейса» разработан анализатор визуального представления (скриншотов) веб-интерфейсов, прототип которого представлен на портале знаний в «Реестре проектов».

В нашем проекте поставлена фундаментальная задача количественного измерения информационных потоков между пользователем (оператором) и компьютером в современных человеко-компьютерных системах. Мы предложили выделение объективной и субъективной компонент в информационной сложности интерфейсов и провели экспериментальное исследование с целью определения влияния последней. Полученные результаты позволили сформулировать выражение для объективного компонента информационной сложности интерфейса и построить общую модель, учитывающую субъективный компонент (узнаваемость объектов), которая в 1,7-1,9 раз лучше объясняла затраты времени участников эксперимента при выполнении задач по выбору объектов, по сравнению с моделью, основывающейся на существующем законе Хика. Также была предложена формулировка индекса сложности для задач, задействующих зрительно-пространственную память оператора, – по итогам экспериментального исследования, частично основанного на аппарате клеточных автоматов. Было показано, что информационная сложность в наибольшей степени определяется количеством информационных единиц, выделяемых согласно правилам окрестности фон Неймана. Предложенная формулировка индекса сложности, состоящего из двух компонентов, информационного и пространственного, представляет собой произведение количества информационных единиц, логарифма размера словаря (количества разных типов элементов) и пространственной неупорядоченности элементов. Соответствующая регрессионная модель для сложности интерфейса показала высокую значимость и по показателю псевдо R-квадрат оказалась в 2,2 раза лучше, чем модель с широко используемым в исследованиях показателем JPEG-сжатия изображения. В рамках развития интеллектуальной информационной системы для поддержки проектирования интерфейсов нами был реализован программный инструмент для автоматического преобразования изображений (скриншотов) веб-интерфейсов в пространственно-семантическое представление в формате JSON и подсчёта характеристик сложности. Основные результаты работы по проекту, в том числе разработанный анализатор веб-интерфейсов, представлены на общедоступном портале знаний, посвящённом проектированию интерфейсов. В рамках выполнения проекта было проведено несколько экспериментальных исследований, в ходе которых было охвачено в общей сложности 184 участника и собрано около 20.000 наборов данных. По результатам проекта была опубликована 1 статья в журнале из списка ВАК, 1 статья в издании, индексируемом Scopus и WOS, 1 статья по итогам международной конференции (РИНЦ), 1 монография, получено 1 свидетельство о государственной регистрации программы для ЭВМ.