Объявили охоту на троллей: ученые создали инструмент, находящий зашифрованные оскорбления

Токсичность в Интернете развивается по мере того, как люди находят способы обходить системы модерации, при этом чувствуя полную безнаказанность. Маскируя вредоносный контент с помощью таких приемов, как замена букв цифрами, объединение слов или добавление пробелов и символов при написании оскорблений, злонамеренные пользователи обходят традиционные фильтры, основанные на ключевых словах, и разносят негатив по всемирной паутине, с чем решили побороться ученые, пишет The Conversation.

У Фокус.Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и увлекательные новости из мира науки!

Такое поведение и изобретательность злоумышленников представляют собой серьезную проблему для онлайн-платформ, особенно для уязвимых групп, которые в несоразмерной степени страдают от такой тактики, говорит Джонни Чан, преподаватель школы бизнеса, в Оклендском университете. В ответ на эти изощренные методы им и его командой был разработан новый инструмент, который улучшает существующие системы защиты от интернет-грубиянов. Этот инструмент не заменяет существующие фильтры, а предварительно обрабатывает текст, удаляя манипулятивное форматирование, что облегчает обнаружение вредоносного контента, говорится в исследовании, опубликованном в журнале MethodsX.

Его процесс включает упрощение текста путем удаления лишних символов, стандартизацию вариаций, таких как опечатки, и выявление шаблонов, маскирующих оскорбительные слова. Благодаря такому комплексному подходу скрытая токсичность становится более прозрачной для автоматизированных инструментов модерации, что повышает их эффективность, говорят авторы. Применение этого инструмента в различных онлайн-средах дает широкие социальные преимущества и защиту для миллионов людей. Платформы социальных сетей могут обеспечить более безопасное пространство, минимизируя воздействие скрытых оскорблений, что очень важно для защиты молодых и более уязвимых пользователей от онлайн-издевательств, говорит Чан.

Для бизнеса же эта система служит защитой от скрытых клеветнических кампаний, позволяя оперативно принимать меры по защите репутации бренда. Политики и организации, заботящиеся о поддержании здоровой общественной дискуссии, также могут использовать этот инструмент для поддержания уважительных диалогов, особенно в жарких или деликатных дебатах.

Эта инновация представляет собой значительное достижение в области модерации контента. Она показывает, как постепенные улучшения в выявлении тонких проявлений токсичности могут оказать глубокое влияние на повышение безопасности онлайн-взаимодействия людей и улучшение психологического состояния подростков и детей, сидящих в Интернете. По мере развития цифрового общения будущие разработки могут включать в себя более тонкий анализ контекста, учитывающий динамику разговора, культурные нюансы и намерения, тем самым рассматривая не только то, что сказано, но и то, как и почему это выражено.

Путь совершенствования систем онлайн-модерации продолжается и является очень важным, считают авторы. Будущие инструменты, вероятно, будут включать в себя расширенное понимание контекста, что позволит более эффективно распознавать тонкости человеческого общения. Интегрировав эти инструменты в существующие системы модерации, платформы могут рассчитывать на снижение уровня незамеченной токсичности, создавая более благоприятную онлайн-среду и сообщества.

Ранее Фокус писал о том, что ученые узнали, как чувство гнева повреждает наше сердце. Ежедневно мы испытываем целый спектр эмоций, от радости до злости, не задумываясь об их влиянии на наше здоровье. Но ученые утверждают, что одна эмоция способна серьезно навредить нам.

Также Фокус писал о том, как благодаря ученым из Университета Нагои в Японии, стало известно о еще одном способе контроля негативных эмоций.