Великі мовні моделі та генератори зображень (штучний інтелект), як з'ясувалося, буквально сходять з розуму, коли їх намагаються навчати на контенті, який був згенерований ними самими. Таке, схоже на уроборос (міфологічний змій, що обвиває Землю, схопивши себе за хвіст) самоспоживання призводить до того, що цифровий мозок генеративної моделі ламається.
Про це йдеться у дослідженні вчених з Університету Райса і Стенфордського університету, яке доступне на сайті препринтів arXiv. Таким чином вчені виявили своєрідний криптоніт (камінь, який перетворював Супермена на звичайну людину, позбавляючи суперсил) штучного інтелекту.
Як пояснили дослідники, значні досягнення в генеративних алгоритмах ШІ для зображень, тексту та інших типів даних призвели до того, що у його розробників виникла спокуса використовувати синтетичні дані для навчання моделей ШІ наступного покоління. Але ніхто не знав, як саме реагуватиме ШІ, якщо згодувати йому його ж власні творіння.
"Наш основний висновок з усіх сценаріїв полягає в тому, що без достатньої кількості свіжих реальних даних у кожному поколінні автофагової (самопоглинаючої) петлі майбутні генеративні моделі приречені на поступове зниження якості (точності) або різноманітності", – заявили вчені за результатами дослідження.
Стан, який виникає внаслідок таких дії вони назвали MAD (прямий переклад – божевілля). Абревіатура походить від Model Autophagy Disorder, що в перекладі з англійської означає "Розлад аутофагії у моделі".
Ймовірно, розмови про революцію ШІ можна дещо призупинити, оскільки без "свіжих реальних даних", а простіше – оригінальної людської роботи, результати ШІ стануть суттєво гіршими.
Дослідникам вдалося встановити, що при багаторазовому навчанні на синтетичному контенті видача ШІ стає більш примітивною, аж поки не перетворюється на одноманітну.
Термін MAD, придуманий дослідниками, відображає цей процес самопоглинання.
Як детально описано в статті, протестована модель ШІ пройшла лише п'ять раундів навчання з синтетичним контентом, перш ніж почали з'являтися серйозні негаразди.
Така ситуація може стати справжньою проблемою для команії OpenAI, яка є одним з головних гравців на ринку ШІ прямо зараз. З'ясувалося, що компанія для навчання свого штучного інтелекту використовувала величезну кількість текстів, які були згенеровані користувачами інтернету, і часто це робилося в порушення авторського права.
І, оскільки проти OpenAI уже подано судові позови, що пов'язані із незаконним використанням контенту, компанії потрібно щось власного виробництва, аби ШІ продовжував розвиватися. Але тепер виникла ситуація, коли найпростіший варіант, який міг усе врятувати – використання того, що було створене самим ШІ, ні до чого доброго не призведе.
За матеріалами obozrevatel
Коментарі
Дописати коментар