Андрей Карпати е директор на отдела за разработване на системи с изкуствен интелект в Тесла. През 2015 г., като докторант по изкуствен интелект в Станфорд, провежда експеримент. Опитва да научи машината да разпознава и определя добри селфита. Карпати захранил модела със снимки на мъже и жени на различна възраст и от различни раси. За обучаване на модела използвал гласувания на хора, които харесват или не харесват дадено селфи. Доколко една снимка е добра се определя от нейната популярност в социалните мрежи. Всяко селфи, получило много „харесвания“, се смята за добро.

За всеки човек с базови познания по фотография изискванията за добро селфи са що-годе ясни: снимката да е на фокус, да има добро осветление, да не е изрязана главата, камерата да не е прекалено близо до лицето. Резултатът бил изненадващ. Според модела, за да си направиш добро селфи, трябвало да си млада бяла жена. Всички снимки, класифицирани като добри от системата за изкуствен интелект, се оказали на млади бели жени. Ако някой не отговарял на изискването да е млада бяла жена, снимката му не влизала в категорията „добро селфи“, дори и снимката да е перфектна. (Източник: Artificial Unintellignce, Meredith Broussard)

Данните, използвани за трениране на модела, били повлияни от склонностите на хората, които са гласували за снимките. Това е само един от много примери за това, как влияем на системите с изкуствен интелект, които създаваме, как те приличат на нас, и как трябва да сме внимателни, когато ги създаваме и обучаваме.

Когнитивни склонности

Споменахме склонности, които са повлияли на гласувалите за снимките. Става дума за модели, които хората проявяваме при обработването на информацията и последващото ни поведение. Тези модели се наричат когнитивни склонности (cognitive biases).

Според Уикипедия, когнитивна склонност е тенденция у личността да прави грешки в съжденията, основани на когнитивни фактори. Когнитивната наука и социалната психология от години изследват и описват тези склонности. Бройката им е доста над 100. (Списък с когнитивните склонности в Уикипедия: List of cognitive biases)

Формите на когнитивна склонност включват грешки в статистическото съждение, в социалното стереотипизиране и в паметта, които са общи за всички човешки същества. Казано по-просто, това са правила, които са прости за изчисляване от мозъка, но водят до грешки при преценяване на ситуации и вземане на решения.

Човешкият мозък е най-сложното нещо, което ни е известно във вселената. Развивал се е в продължение на милиони години. Благодарение на него сме оцелели и сме това, което сме. Четири са основните фактори за развиването на когнитивните склонности. (Класификация на склонностите според четирите фактора: Cognitive Bias Cheat Sheet)

  1. Има много информация, но сетивата ни не могат да възприемат всичко, затова сме намерили начини да я филтрираме.
  2. Информацията, с която разполагаме, не винаги е пълна, затова сме намерили начини да попълваме липсващото с неща, които знаем или предполагаме.
  3. Мозъкът ни е ограничен от скоростта, с която може да обработва и съхранява постъпващата информация, затова сме намерили начини, по които да съхраняваме най-същественото. Запомненото е онова, което захранва филтрите във фактор 1, и онова, което подава информация за запълване на празнините при фактор 2.
  4. Времето и информацията, с които разполагаме, за да вземем дадено решение, са ограничени, затова сме намерили начини да вземаме добри решения възможно най бързо, защото това означава оцеляване.

Независимо дали го осъзнаваме или не, всички хора проявяваме повече или по-малко такива склонности. Ето няколко примера.

Първо впечатление (Halo effect) е склонността да се разчита в преценката повече на първоначалните впечатления и наблюдения, отколкото на последващите. Например, като видим привлекателни хора, сме склонни да мислим за тях като за по-умни, по-щастливи, по-компетентни, по-успешни в кариерите си. По същия начин съдим и за сайтове и софтуерни продукти. Ако ни харесат на пръв поглед, сме по-склонни да смятаме, че са по-добри и по-функционални.

Потвърждение (Confirmation bias) е склонността да търсим и интерпретираме информацията по начин, който потвърждава собствените ни знания и очаквания. Да речем че разработваме чатбот за избор и поръчка на пица. Започваме от стандартния сценарий с често използвани продукти. Преминаваме към тестване. Всеки потребител, който използва нашия чатбот както сме очаквали, го приемаме за успешен пример. Ако има потребители, които са се опитали да използват нашия чатбот по малко по-различен начин, вероятно няма да включим този частен случай в нашата разработка на бота. Например ако някой поръча пица с шоколад, а за нас това не е валиден или често срещан сценарий на база на личните ни предубеждения, сигурно ще го игнорираме.

 

Проклятието на знанието (Curse of knowledge) е склонността да приемаме, че всички около нас имат същите знания като нас. Когато знаем нещо, трудно можем да си представим, че някой друг не го знае. Запомнили сме същественото и сме изтрили от паметта си как сме стигнали до там и какво е било да не знаем. Да вземем за пример онлайн банкирането. Често то съдържа информация и термини, познати на хората от банковата и финансовата сфери: банкери, счетоводители и финансисти. За неспециалистите може да е изключително предизвикателство да направят дори и обикновен банков превод или да направят разлика между салдо и наличност.

Склонностите у машините

Машините нямат осъзната нужда да оцеляват. Когато има недостиг на памет, хората разширяваме паметта. Когато скоростта на обработка е недостатъчна, хората увеличаваме процесорната мощ. Когато токът на батерията свърши, хората включваме щепсела в захранването. Съответно машините, включително изкуственият интелект, не са подвластни на когнитивни склонности. Но хората, които ги създават са. Машините зависят от алгоритмите, моделите и данните, с които тези хора ги създават. Хората предават на машините с изкуствен интелект своите склонности.

Пример за това вече видяхме в началото на статията с машината за разпознаване и определяне на добри селфита на Андрей Карпати. За разлика от машината обаче, хората имаме начини да забелязваме грешките си и да предприемаме действия за поправка. Машината, която е научена грешно, не може да се самопоправи. Нужна е човешка намеса. Вместо да създаваме изкуствен интелект, който греши, защото сме му предали определени наши склонности, а след това да го поправяме, би било по-добре да не предаваме склонностите си изобщо.

Първа стъпка в тази посока е осъзнаването, че имаме склонности и ги предаваме неволно (изключваме случаите на умишлено изкривяване). Нужни са обаче и методи за обезсклонностяване (debiasing). Няма много изследвания и разработки на тема кои склонности предаваме на машините и как да го избегнем или как да неутрализираме ефекта от склонностите. Все пак, вече има някои насоки. Екип от изследователи от Чехия и Германия са разгледали 20 различни когнитивни склонности, описали са как могат да променят поведението на разработката на правила и модели за машинно самообучение и предлагат начини за неутрализирането им.

(Пълният доклад: A review of possible effects of cognitive biases on interpretation of rule-based machine learning models)

 

Например, за склонността потвърждение те твърдят, че отлагането на крайното решение и забавянето на работата помагат. Сиреч не бързайте и давайте възможност за преразглеждане и редактиране на модела. Залагайте изрични насоки за разглеждане на данни в полза и срещу дадена хипотеза. Обучавайте себе си и хората, с които работите да разбирате и познавате когнитивните илюзии.

Макар и да няма лесно решение на тези склонности и тяхното отражение при системите с изкуствен интелект, е важно да обръщаме внимание, когато създаваме такива системи. Трябва да сме наясно, че те приличат на нас, техните разработчици, и са подвластни на нашето виждане за света.

Защото нямаме нужда от умни машини, изпълнени с предразсъдъци и човешки склонности. Нали?


За авторите:

Екатерина Митова

Занимавам се с разработването на документация и други материали, които помагат на потребителите да използват даден софтуерен продукт или услуга.
2006: започнах работа в SAP като стажант в екип от софтуерни разработчици. Помагах с писането на материали за помагане на техните потребители. Разбрах за професията автор на техническа литература и станах такъв.
2009: преместих се в екип, който се занимава с поддръжка на друг софтуерен продукт в SAP. Паралелно с това станах част от екип, който цели да популяризира обучението на ученици на технически науки с помощта на роботи. Това начинание и до днес е известно като училище по роботика Робопартанс.
2015: отново станах автор на техническа документация.
2017 до днес: започнах да се занимавам с разработка на прототипи на чатботове като още едно средство за подпомагане на потребители в сферата на софтуера и софтуерната документация.

 

Димитър Симов, Джими

Помагам на фирми и хора да правят софтуерните си продукти разбираеми и лесни за ползване. Работя като консултант по ползваемост и проектант на взаимодействията със софтуерни продукти. Занимавал съм се и с осигуряване на качество и писане на потребителска документация. Кариерата ми се върти около това как се очаква хората да ползват софтуер и устройства.

1991: започнах да превеждам техническа документация, която обясняваше на хората как да ползват продукти.
1997: започнах да пиша такава документация.
2000: започнах да правя изпитания, за да проверявам дали хората могат да ползват продуктите според както се очаква да го правят.
2003: започнах да проектирам интерфейси и взаимодействия.
2010: започнах да консултирам как да се ползват подходи, които да гарантират, разбираеми и ползваеми продукти.
Днес: работя в SAP и помагам да се прави софтуер, който хората могат да ползват. Трудно, но приятно.

 

 

Share This