Доверие к технологиям обернулось катастрофой

Опытные пользователи цифровых технологий прекрасно знают, что слепо доверять искусственному интеллекту в критически важных вопросах нельзя, даже если до этого нейросеть неоднократно демонстрировала точность и полезность. Однако фермер из китайского города Чучжоу убедился в обратном на собственном горьком опыте, обратившись к чат-боту за рекомендациями по борьбе с сорняками и вредителями. Результатом такого опрометчивого доверия стала гибель 25 акров урожая.

67-летний земледелец получил от алгоритма совет использовать комбинацию химических препаратов: «высокоэффективный флупириметиламин» и «флусульфасульфаэфир» (флуфенацет), смешав их с «тиаметоксазином» и «метиловой солью». Как сообщает тайваньское издание CTWANT, ссылаясь на портал Tom’s Hardware, фермер в точности последовал предложенной инструкции, не удосужившись проверить безопасность процедуры. Лишь на следующее утро он осознал фатальность своей поспешности: около 24,7 акра посевов кунжута оказались полностью уничтожены.

Ошибка в расчетах и последствия использования ИИ

Потрясенный фермер вновь обратился к ИИ, чтобы выяснить причину произошедшего. Выяснилось, что виновником стал «флусульфасульфаэфир». Этот гербицид предназначен для борьбы с широколистными сорняками на полях сои, но поскольку кунжут также относится к широколистным культурам, химикат попросту убил полезные растения. Более того, ИИ признал, что препарат следовало наносить исключительно локально на проблемные участки, а не распылять по всему полю, как это сделал фермер. Разгневанный мужчина посетовал, что алгоритм не предупредил его об опасности подобных действий. Впрочем, любой современный чат-бот при прямом вопросе подтвердит: нейросети могут ошибаться, неверно интерпретировать контекст или опираться на неполные данные. Именно поэтому ChatGPT всегда содержит дисклеймер о необходимости перепроверки важной информации.

Ирония ситуации заключается в том, что поначалу фермер относился к приложению с недоверием, но изменил свое мнение после нескольких удачных советов. Учитывая печальный финал, ему следовало бы прислушаться к своей интуиции. История знает немало примеров, когда слепая вера в ответы ИИ приводила к печальным последствиям. Один из самых вопиющих случаев произошел в прошлом году с 60-летним мужчиной: изучив данные о вреде избытка хлорида натрия, он решил исключить обычную поваренную соль из рациона. В ответ на вопрос ChatGPT о том, чем можно заменить соль, чат-бот порекомендовал бромид натрия. Это вещество действительно применяется в определенных технических целях, например для чистки, но абсолютно непригодно в пищу. Итогом такого эксперимента стало бромизм — хроническое отравление бромидами, психическое расстройство, которое практически не встречалось со времен XIX века.

Источник: techspot.com