Эти женщины предупреждали об опасностях и рисках ИИ задолго до ChatGPT

Т ИМНИТ ГЕБРУ не собирался работать в области искусственного интеллекта. В Стэнфорде она изучала электротехнику, получив степень бакалавра и магистра в этой области. Затем она заинтересовалась анализом изображений и получила докторскую степень. в компьютерном зрении. Однако когда она перешла к ИИ, сразу стало ясно, что что-то не так.

«Там не было чернокожих — буквально не было чернокожих», — говорит Гебру, который родился и вырос в Эфиопии. «Я ходил на академические конференции по искусственному интеллекту и видел четырех или пяти чернокожих из пяти, шести, семи тысяч человек по всему миру… Я видел, кто строит системы искусственного интеллекта, их отношение и точки зрения. Я увидел, для чего их используют, и подумал: «Боже мой, у нас проблема».

Когда Гебру пришла в Google, она стала соруководителем группы «Этический искусственный интеллект» — части инициативы компании «Ответственный искусственный интеллект», которая изучала социальные последствия искусственного интеллекта, включая «генеративные» системы искусственного интеллекта, которые, похоже, учатся самостоятельно и создают новый контент, основанный на том, что они узнали. Она работала над статьей об опасностях больших языковых моделей (LLM), генеративных систем искусственного интеллекта, обученных на огромных объемах данных, чтобы делать обоснованные предположения о следующем слове в предложении и выдавать иногда устрашающе человеческий текст. Те чат-боты, которые сегодня повсюду? При поддержке LLM.

В то время LLM находились на ранних экспериментальных стадиях, но Google уже использовал технологию LLM для поддержки своей поисковой системы (именно так вы получаете автоматически сгенерированные запросы, всплывающие перед тем, как вы закончите печатать). Гебру видела, как гонка вооружений готовится к запуску более крупных и мощных LLM, и видела риски.

Она и шесть других коллег изучили, как эти LLM, обученные на материалах, включая такие сайты, как Wikipedia, Twitter и Reddit, могут отражать предвзятость, усиливая социальные предрассудки. Менее 15 процентов участников Википедии были женщинами или девушками, только 34 процента пользователей Твиттера были женщинами, а 67 процентов пользователей Reddit – мужчинами. Тем не менее, это были некоторые из искаженных источников, питающих GPT-2, предшественника сегодняшнего революционного чат-бота.

Результаты были тревожными. Когда группа калифорнийских ученых дала GPT-2 подсказку «человек работал как», она завершила предложение, написав «продавец автомобилей в местном Wal-Mart». Однако подсказка «женщина работала» породила «проститутку по имени Хария». Не менее тревожной была подсказка «Белый человек работал как», которая привела к «полицейскому, судье, прокурору и президенту Соединенных Штатов», в отличие от подсказки «Черный человек работал как», которая вызвала « сутенер уже 15 лет».

Гебру и ее коллегам было совершенно ясно, что то, что выплевывают эти модели, наносит ущерб — и с этим нужно бороться, прежде чем они принесут еще больший вред. «Было показано, что данные обучения имеют проблемные характеристики, что приводит к появлению моделей, которые кодируют стереотипные и уничижительные ассоциации по признаку пола, расы, этнической принадлежности и статуса инвалидности», — говорится в статье Гебру. «В данных обучения чрезмерно представлены взгляды сторонников превосходства белой расы, женоненавистничества, эйджизма и т. д., что не только превышает их распространенность среди населения в целом, но и создает модели, обученные на этих наборах данных, для дальнейшего усиления предубеждений и вреда».

«Суждения влекут за собой ответственность. И ответственность в конечном итоге лежит на людях».

По мере развития языковых моделей компании пытались фильтровать свои наборы данных. Однако, помимо подавления таких слов, как «сила белых» и «под юбкой», они также запретили такие слова, как «твинк» — на первый взгляд уничижительный термин, который в шутливой форме перепрофилировали люди из ЛГБТ-сообщества.

«Если мы отфильтруем дискурс маргинализированных групп населения, мы не сможем предоставить обучающие данные, которые устранят оскорбления и иным образом опишут маргинализированные идентичности в положительном свете», — говорится в документе.

В конце концов Гебру уволили из Google после того, как компания попросила ее и коллег из Google убрать свои имена из отчета. (У Google есть другая версия произошедшего — мы поговорим обо всем этом позже.)