Виждат ли машините лица в контактите? Парейдолията и ИИ

Погледнете един електрически контакт: две дупки отгоре, чертичка отдолу, и той вече се усмихва. Авторът на изследване от MIT казва, че човек гледа контакт и веднага си го представя как пее (MIT CSAIL). Компютрите, научени да откриват лица по снимки, обикновено минават покрай него. Защо е така, и какво казва тази разлика за нас, проверили изследователи от Лабораторията по компютърни науки и изкуствен интелект на MIT (CSAIL).

Пет хиляди лица, които не са лица

Екипът на Марк Хамилтън (Mark Hamilton) и Уилям Фрийман (William T. Freeman) събра набор от снимки, наречен „Faces in Things“, тоест „Лица в предмети“. В него има пет хиляди снимки от мрежата, на които лицата в предметите са обградени с рамка (Европейска асоциация по компютърно зрение (ECCV 2024), arXiv). Кандидатите били около 20 000 и идват от голямата база LAION-5B (MIT CSAIL). За всяко лице се отбелязвали още настроението, възрастта и дали е случайно, или нарочно. По-ранните изследвания са работили с по 20–30 снимки, пише CSAIL.

Няколко числа за самия набор. Тридесет и един процента от лицата са трудни за забелязване, 31% са оценени като щастливи, а 47% са случайни, не заложени от дизайнера (arXiv). Предметите, които приличат на животно, и тези, които приличат на човек, са почти поравно. Има лек превес на мъжките лица над женските, 16% срещу 3%. Това се връзва с опита, описан в статията защо измислените лица изглеждат мъжки.

Една уговорка. Снимките са означени от един човек и после проверени от авторите. Те признават, че означаването отразява гледната точка на този човек, а не усреднено мнение на много хора (arXiv).

Детекторът мълчи, докато не види животни

Изследователите взели RetinaFace, един от най-добрите детектори на лица, обучен върху голям набор с човешки лица, WIDER FACE (arXiv). Пуснали го върху „Лица в предмети“ и той открил малко от тези лица. Таблицата показва средната точност (AP) за две версии на модела. Колкото по-висока е, толкова по-добре.

Редът с контролата е важен (arXiv). Той показва, че самото дообучение не променя много. Подобрението идва от това какви лица е видял детекторът.

Най-неочакваното е третият ред. Когато детекторът бил дообучен с лица на животни, а не с лица в предмети, способността му да открива такива лица приблизително се удвоила (arXiv). Авторите смятат, че така се затваря около половината от разликата до модела, който е учил направо от снимки на предмети с лица.

Хамилтън го обяснява така: парейдолията може да не идва от общуването между хората, а от нещо по-дълбоко, като бързото забелязване на тигър в тревата или на посоката, в която гледа елен (MIT CSAIL). Авторите са предпазливи. Според тях това е един възможен механизъм, а не цялото обяснение (arXiv). Пиетро Перона (Pietro Perona) от Caltech, който не е участвал в работата, отбелязва, че ученето от примери, включително от лица на животни, обяснява само половината от явлението.

Златната среда

Защо не виждаме лица във всяка шарка? Според Фрийман, ако изображението е твърде просто, няма достатъчно детайли за лице, а ако е твърде сложно, то се превръща в шум (MIT CSAIL). Екипът направил два прости математически модела и ги проверил с шумови изображения с различна сложност. Хората, които казвали колко лица виждат във всяко, съобщавали най-много при средна сложност. Моделите също откривали най-много „лица“ при средна сложност (arXiv). Същия пик показва и по-старият детектор Viola–Jones.

Мрежа, която не е виждала лица

Друг екип, от корейския институт KAIST, проверява нещо съседно: дали една мрежа трябва да е виждала лица, за да реагира на тях. В модела на зрителния път AlexNet, който изобщо не е обучаван и чиито връзки са зададени на случаен принцип, се появяват единици, избирателни към лица (Nature Communications). Те приличат на наблюдаваните при маймуни и позволяват на необучената мрежа да различава лице от не-лице. Появяват се и единици, избирателни към други предмети. Авторите смятат, че случайните връзки в ранните слоеве може да са достатъчни за първична избирателност.

Това е модел, не опит с живи клетки. Какво показват записите от мозъка на маймуни, четете в статията Как мозъкът открива лице там, където няма никого.

За какво е полезно

CSAIL посочва две приложения. Първото е по-малко фалшиви откривания в системите за лица, например в самоуправляващите се коли и в роботиката (MIT CSAIL). Второто е дизайнът. Хамилтън си представя как автоматично се нагласява формата на кола или детска играчка, за да изглежда по-дружелюбна, или как се проверява дали медицински уред случайно не прилича на заплаха. Колкото до колите, за тях има отделна статия.