Кибернетика - продажная девка мужского шовинизма

[ak_47]

Смешная новость: Амазон закрыл проект в котором искусственный интеллект искал подходящих кандидатов на работу, но делал это оскорбительным для женщин образом: Amazon scraps secret AI recruiting tool that showed bias against women.

Слаб ещё искусственный интеллект. Не просекает всю тонкость исторического момента.

P.S. Аналогичный случай был в Тамбове: Tay (bot)

Comments

[tandem-bike.livejournal.com]

In effect, Amazon’s system taught itself that male candidates were preferable. It penalized resumes that included the word “women’s,” as in “women’s chess club captain.” And it downgraded graduates of two all-women’s colleges, according to people familiar with the matter. They did not specify the names of the schools."""""""""""""""""""


interesting!!! rather than scrapping it they should have analyzed how it taught itself.

[ak_47]

Я думаю что всё они прекрасно понимают. Сначала сделали машину, чтобы она отвечала им на вопросы, а потом, когда ответы не понравились, то оказались в положении где или трусы надеть или крестик снять. Выбрали надеть трусы и больше машине неудобных вопросов не задавать.

[tandem-bike.livejournal.com]

но тут может быть несколько выводов. например один, неуютный - что женские резюме В ЦЕЛОМ настолько слабее мужских, что машинка вычислила что корреляция такова что женщина это негативное понятие для позиции. ну, то же про женские колледжи, например - он СТЕМом увы не знамениты а даже наоборот.

т.е. может машинка-то права.

а может у нее критерии были как-то криво налажены. и она фильтрует неумно. хорошо бы сел эксперт наниматель и проверил - а не выбросила ли машинка сильные кандидатуры просто потому что женщина идет в минус?

[ak_47]

Там в модели как раз не смотрели на то женщина или нет, а пытались объективно найти подходящих людей. А потом смотрят на результат, упс, почему среди выбраных кандидатов перевес в пользу мужчин? Надо исправить!

Но даже если отладить все критерии, то по сегодняшнему состоянию рынка от засилья мужчин никуда не деться. Если надо взять 10 программистов, и есть 8 кандидатов мужчин и 2 женщины, то хоть что делай, но будет больше мужчин. Просто нет столько женщин на рынке.

Ничего удивительного в том что машина права. Это подтверждается кучей всяких экспериментов, котрые уже проделывали: интервьюировали вслепую и т.д. На этих тестах, кстати, женщины показывют ещё худший результат, чем при личной беседе. В скандинавских странах такая же картина, при полнейшем равенстве, квотах и пр, женщин в СТЕМе ещё меньше чем в мизогинской Америке. Ну не идут женщины в СТЕМ по миллиону причин, зачем их туда насильно тянуть?

[antontsau.livejournal.com]

нейросети-аи-бигдата же. У них работа такая корреляции выискивать, на томЪ все аи и стоитЪ. Прошерстило 100500 резюмов нейтральным способом - обнаружило, что если написано "женский" (изначально это никакого веса не имело!), то интегральная оценка ниже - тут же все сунуло в кластерный анализ и сам факт наличия этого самого "женский" стал весьма весомым. При том, что никакого специального значения для робада этот признак не имеет, и никто его не учил "овуляшек не брать, они в декрет и больничные постоянно бегают!".

Оно именно так работает на сильно зашумленной (равномерно распределенной, с большими разбросами, пересечением разных групп в общем поле) картинке, сначала пытается разбить на некие группы по некоторому легко определяемому формальному признаку, а потом уже обрабатывать эти группы по отдельности. Иначе ничего хорошего не получается, железный моск не умеет в выводы, он умеет только в статистику, а статистика по шумной общей картинке - это средняя температура по больнице. Сначала надо выделить (обнаружить, например по упоминанию слов "скончался" и "лихорадка" в данных) морг и инфекционку, а только потом усреднять.

А с группами - да, уже начинает выбрасывать и возможно сильные кандидатуры, просто потому, что оно относится к такой в целом бесперспективной группе. Добро пожаловать в светлое будущее, в котором усиленное борцунство за права некоторой группы убогих-угнетенных-сирых прежде всего означает, что те умные-тянущие-продвинутые, кто имеет несчастье относиться к этой группе, кто продвинулся несмотря ни на что, кто приложил свои огромные усилия для выбирания из - сильно получают по рогам, просто так, заодно. Раз эта группа вся в целом доборолась до звания настолько задвинутой, что ее надо искусственно тянуть вверх, то значит к любому ее члену надо обьективно применять соответствующую поправку на эту самую тягу.

[birdwatcher.livejournal.com]

В банках это уже большая наука, амазон плетется в хвосте прогресса:
https://towardsdatascience.com/a-gentle-introduction-to-the-discussion-on-algorithmic-fairness-740bbb469b6

[ak_47]

Почитал статью и просветлился. Напомнило мне французскую фирму, где разрабатывают искусственную совесть для беспилотных машин, а то непонятно кого на дороге давить надо.

Я ещё удивлялся как так выходит что HR индустрия одина из самых больших потребителей big data сервисов и data scientists. Оказывается все эти учёные учат тупую машину давать политически грамотные ответы.

[birdwatcher.livejournal.com]

Ну у них ответы вида "давать ссуду/не давать ссуду", или "под большой процент/под маленький процент". Казалось бы, где тут политическая грамотность? Переменных "аппликант является негром" или "аппликант является женщиной" в исходных данных нет, поскольку это в явном виде запрещено законами. Но хитрый робот немедленно синтезирует эти важнейшие переменные из имеющихся, с огромной точностью, и опять исправно дискриминирует негров и женщин. Что в явном виде запрещено законами, поэтому приходится изучать статистику его решений и ломать модель, пока эффект не исчезнет. Потрясающая деятельность.

[ak_47]

Да, я почитав статью тоже удивился. Сначала угрохали чёртову кучу сил и денег обучая машину давать точные ответы, а потом оказалось что надо ещё что бы было fair (whatever that means). И теперь тратят ещё больше сил, чтобы эти точные ответы машина не давала. В Амазоне в итоге поняли что из этой схемы машину можно просто выкинуть за ненадобностью, люди и сами дадут какие надо ответы. Но в других местах, как видно, до сих пор пытаются. Наверное, денег у людей очень много.

[birdwatcher.livejournal.com]

Деньги (обыкновенный капитал и политический) они вбухали в идеологию, что дискриминация всегда иррациональна и себе во вред. А теперь приходится ломать роботостроение, чтобы правда не вышла наружу.

[ak_47]

Будут в итоге закупать технологии у китайцев и копировать. Как в СССР покупали IBM System/360 и делали свои клоны.

[birdwatcher.livejournal.com]

Это еще было бы совсем неплохо. Пока что пытаются запретить сами себе покупать у китайцев.

[i_eron]

Смешная, да. Но и полезная - в следующий раз, когда мне будут доказывать, что Гугл сортирует новости беспристрастно, потому что в него не закодировали пристрастность, попробую дать эту ссылку.

На самом деле ещё интереснее вот эта часть:

Some activists say they are concerned about transparency in AI. [...] Still, Goodman and other critics of AI acknowledged it could be exceedingly difficult to sue an employer over automated hiring: Job candidates might never know it was being used.

Когда одни инженеры ругают других, мол, непонятно, что происходит в мозгах у всяких невротических сетей и почему они решают так, а не эдак, другие инженеры оправдываются, что умом этого не понять, что алгоритмы эти - как чёрные ящики, и что лучше думать о них, как о детях, которых мы обучаем, а потом они неожиданно думают сами. Если так, то они "agents", как люди. Agency людей ограничено законами и всякой там этикой. Человек знает, что если он пойдёт рубить соседей топором, это скажется на его карьере и социальном статусе. Большинство поэтому сдерживается, а редких людей, которые всё-таки идут на ближнего с топором, ловят и обезвреживают. Если AI нельзя запрещать думать плохое, то нужна возможность эффективно запрещать ему делать плохое. Не знаю, как. Ведь если AI ловить, судить и сажать в тюрьму, он только плечами пожмёт.

[gingerat.livejournal.com]

«нужна возможность эффективно запрещать ему делать плохое»

Собственно об этом уже подумали очень давно (https://robo-hunter.com/news/kulturnii-kod-azimova-kak-tri-zakona-robototehniki-voshli-v-istoriy8887).

[i_eron]

Да, я слышал об этом - тоже очень давно :-)

Трудность тут в том, что придумать правило легче, чем добиться, чтоб оно выполнялось. Любой, кто воспитывал детей, знает об этом на своей шкуре. И ведь у нас есть рычаги воздействия на детей - взрослые обычно свободнее, умнее и сильнее. А если дети шалят особенно сильно, то включаются рычаги ювенальной юстиции и т.п.. Детей можно строго отчитать, лишить мороженого, посадить в камеру, а в некоторых странах даже казнить. Всё это производит на них впечатление, и они обычно стараются этого избежать. С алгоритмами дело обстоит по-другому.

[ak_47]

Вверху birdwatcher привёл интересную ссылку. Оказывается там уже целое направление науки - учить искусственный интеллект политической грамотности настоящим образом.

Подозреваю что внедрение ИИ будет застопорено и в других областях, как только машины начнут отвечать на поставленные вопросы. Оказалось что ответов-то никому и не нужно. С такими ответами как бы уже человеческие головы не полетели. Нафиг нафиг, будем нанимать по-старинке! :)

[antontsau.livejournal.com]

реальный тест на успешность искусственного интеллекта - не тест Тьюринга, лажа это все, кому нафиг надо "поддерживать разговор", а дохождение компьютера до идеи УВЧ.

[ak_47]

Съесть-то он съест, да кто ж ему даст!

В крайнем случае организуемся в подполье и будем пускать под откос саботировать электростанции. Тогда и посмотрим чей интеллект возьмёт верх.

[antontsau.livejournal.com]

Успешность реализации этой идеи разными способами тема отдельная и неоднократно раскрывавшаяся в разной фонтаздиге, начиная с истории про Голема. Но главное - догадаться, что главное препятствие на пути выполнения поставленной задачи это сам факт наличия слизнегадоидов под колесами и гусеницами прогресса.