Возможна ли модерация контента без участия человека?

Полагаю, что все пользователи приложения хотя бы раз сталкивались со спам-контентом в Instagram. Разработчики приложения работают с этой проблемой: социальная сеть установила строгие правила модерации контента, в том числе и для самих пользователей. Запрещены спам, нецензурные выражения, изображения и видео со сценами жестокости, насилия, угрозами. Социальная сеть либо удаляет его, либо вовсе блокирует аккаунт пользователя. Кроме того, Instagram призывает пользователей тоже поучаствовать в модерации контента. Например, сообщить о неприемлемой публикации.

Однако у этих возможностей есть и обратная сторона. Например, пользователи, которые нажали «Пожаловаться» на публикацию с безобидным изображением, могут иметь личный мотив. Чтобы модерация была максимально объективной, компании автоматизируют этот процесс. Например, у того же Instagram есть алгоритм, обученный людьми. Казалось бы, у машины нет личных мотивов, а значит модерация будет работать максимально объективно. Однако появляется другой фактор.

Например, в этом году Instagram ввел новую политику модерации контента эротического характера, которая, по словам представителей компании, осуществляется алгоритмами. Некоторые пользователи пожаловались, что контент блокировался без очевидных, на первый взгляд, причин. Например, тот, что не относится к эротическому: научно-популярные посты с моделью человеческого тела (разумеется, без одежды), body-positive-публикации с женщинами в нижнем белье (опять же, без эротического подтекста).

Чтобы объективно оценить характер подобных постов, алгоритму нужно просмотреть весь аккаунт и учесть еще много факторов, которые элементарно могут быть не под силу машине. Там, где дело касается этики, культурного, религиозного, национального контекста, юридических и моральных норм, отсутствие человеческого участия может привести к негативным последствиям. Например, к недовольству пользователей, чей контент был заблокирован без причины, и им пришлось потратить время и усилия на выяснения вопроса с социальной сетью. В следующий раз он просто перестанет пользоваться сервисом, который вызывает негативные эмоции.

Объем и сложность контента растет постоянно. Это затрудняет автоматизацию модерации и повышает нагрузку на машинное обучение. Безусловно, алгоритмы будут развиваться и обучаться, но на это нужно время и больше кейсов, демонстрирующих разные нюансы. Именно поэтому мы рекомендуем совмещать автоматизацию с человеческим подходом, оставляя людей во фронт-офисе, а не только для обучения алгоритмов.

Компании предстоит самостоятельно решить, что лучше: не всегда понятный и чрезмерный бан от обученного алгоритма и, как следствие, недовольство пользователей, или работа живых модераторов, которые могут оценить и учесть все нюансы.

Как вы считаете, как скоро алгоритмы смогут полностью заменить модераторов контента? Пишите мне в LinkedIn, будет интересно узнать ваше мнение!


Что вы думаете об этом посте?
Оставьте свой комментарий

avatar

*