Нидерландский институт прав человека вынес свое первое определение о том, что алгоритм дискриминировал человека. Студентка Vrije Universiteit в Амстердаме (VU) подала жалобу, утверждая, что программное обеспечение, используемое для удаленного контроля экзамена, не распознало ее из-за цвета ее кожи, когда она попыталась войти в систему чтобы сдать экзамен. Теперь VU должно продемонстрировать, что используемое им программное обеспечение не допускает дискриминации, говорится в промежуточном решении правления организации.
В разгар коронавирусного кризиса экзамены в учебных заведениях часто сдавали онлайн. Чтобы предотвратить мошенничество, студенты должны были установить на свои компьютеры античитерское программное обеспечение. Прежде чем им был предоставлен доступ к экзаменационным вопросам, им пришлось пройти несколько проверок, в том числе одну с использованием веб-камеры.
По словам студентки, программа не распознала ее лицо. Затем она получала сообщения об ошибках, такие как «лицо не найдено» или «в комнате слишком темно». Программное обеспечение также несколько раз выбрасывало ее из экзамена, заставляя снова входить в систему.
Эта ситуация вызвала у нее сильный стресс и «чувство незащищенности». Женщина сказала, что, по ее мнению, программное обеспечение не может работать должным образом из-за ее цвета кожи. «Общеизвестно, что алгоритмы распознавания лиц хуже работают с людьми с более темным цветом кожи», — пишет институт. Организация постановила, «что женщине удалось предоставить достаточно фактов для подозрения в дискриминации».
VU обратился к поставщику программного обеспечения, но поставщик не обнаружил никаких признаков дискриминации со стороны алгоритма. Одна из возможных причин возникшей ситуации — это результат плохого интернет соединения, утверждает университет.
Однако институт заявил, что VU не предоставил достаточно поддающихся проверке данных, показывающих, что программное обеспечение не является предвзятым. У университета есть десять недель, чтобы доказать,свою правоту.
Источник: NOS.nl
