Программу для защиты от кибербуллинга в социальных сетях разработала Алена Минаева, студентка 4 курса НИТУ «МИСиС». Она позволяет отслеживать и фиксировать определенные когнитивные искажения в сообщениях пользователей, которые являются маркерами агрессии.
Исследование социальной сети ВКонтакте в 2019 году показало, что 58% россиян сталкивались с кибер-травлей в интернете. Опрос онлайн-школы «Фоксфорд» фиксирует, что каждый второй ребенок подвергался кибербуллингу — намеренным оскорблениям, угрозам и иным формам агрессивного поведения в интернете: социальных сетях, форумах, мессенджерах, на игровых платформах. Распространенности явления способствуют анонимность, возможность быстро и безнаказанно запугивать жертву и др. Это может иметь пагубные и долгосрочные последствия для жертв, основными социальными угрозами кибербуллинга являются террористические и суицидальные явления.
Важную роль в предотвращении негативных последствий кибербуллинга занимает его обнаружение на начальном этапе. Оперативный способ выявления — встроенные аналитические фильтры сообщений и комментариев в социальных сетях и мессенджерах. Одной из сложностей при разработке таких программ является выбор адекватного критерия, по которому ПО будет оценивать сообщение и «метить» его в случае угрозы.
Когнитивные искажения — это систематические ошибки мышления, которые могут сопутствовать любому эпизоду кибербуллинга и быть логическим критерием для анализа. Они нарушают правильное видение ситуации человеком и могут служат катализатором для обидчика. Аналитика свидетельствует, что в буллинг-системе чаще всего фигурируют следующие когнитивные искажения: дихотомическое или черно-белое мышление, и навешивание ярлыков.
Студентка 4 курса кафедры инженерной кибернетики Института информационных технологий и компьютерных наук НИТУ «МИСиС» Алена Минаева разработала математическое обеспечение и программу для распознавания определенных когнитивных искажений посредством анализа текстов сообщений пользователей социальных сетей.
«Для решения поставленной задачи использовался целый комплекс методов машинного обучения (классификаторы): метод К-ближайших соседей, метод опорных векторов, „наивный Байес“, деревья решений, логическая регрессия. Кроме того, для обучения и тестирования методов был создан датасет или база данных, состоящая из комментариев пользователей популярных интернет-форумов. Для оценки работы созданных алгоритмов были выбраны следующие метрики: ROC-AUC и F1-метрика», — рассказала автор разработки Алена Минаева.
В итоге была создана комбинация методов машинного обучения, которая умеет анализировать текст на русском языке и находить сообщения, содержащие когнитивные искажения, характерные для буллинга. Система может стать основой нейросети, встроенной в любой мессенджер, например, Телеграмм и в фоновом режиме мониторить беседу пользователей, и принимать меры для нейтрализации агрессии или запугивания при их появлении.
Проект вошел в число победителей студенческой конференции «Дни науки НИТУ «МИСиС».
