ОК сократили токсичность в комментариях почти вдвое с помощью ИИ

В соцсети "Одноклассники" внедрили систему на основе машинного обучения, чтобы снизить токсичность комментариев. Модель автоматически выявляет оскорбительные высказывания и ограничивает авторов в их публикации на определённое время — от одного до 24 часов, в зависимости от частоты негативных комментариев.

Исследование показало, что негативные комментарии вызывают злость у более чем 40% пользователей. Система была обучена на 400 тысячах примеров токсичных высказываний, собранных с платформы. Это позволило сократить долю негативных комментариев на 47% и ускорить обработку жалоб в три раза.

Мы заметили по запросам пользователей, что аудитория стремится к безопасному и уважительному общению. Около трети всех жалоб на платформе касаются негативных комментариев, а 80% обращений в службу поддержки связаны с «токсичностью». Модель, которая была обучена более года, продолжит совершенствоваться. В сочетании с другими нововведениями, ограничение токсичных комментаторов поможет не только быстрее вернуть на платформу редких пользователей, но и привлечь новых.

Александр Москвичев, директор по продукту ОК

Ранее соцсеть также внедрила другие меры для повышения безопасности, такие как автоматическое скрытие нецензурных слов и размывание эротических изображений. Модерация с использованием ИИ блокирует нежелательный контент, включая материалы для аудитории 18+ и сцены насилия.

Фото: ОК