מודלים מחוללי-תמונות הפכו בשנה האחרונה ללהיט. המודלים האלו מאומנים על דאטה מהעולם האמיתי, באמצעות הנחות על העולם בתהליך האימון. אך המודל מקודד גם הנחות שגויות, או לא רלוונטיות, על העולם, וכן הטיות חברתיות. לדוגמה, אם נבקש מStable Diffusion (מחולל תמונה מוכר מאוד) תמונה של CEO (מנכ"ל/ית), נקבל רק ב4% מהמקרים תמונות ובהן נשים. המציאות המשתנה סביבנו גם היא לא נלקחת בחשבון לאחר תהליך האימון ולכן אם נבקש כיום ממודל לייצר לנו תמונה של נשיא ארצות הברית, עדיין סביר שנקבל תמונה של דונלד טראמפ, שכמובן אינו הנשיא בשנים האחרונות.
קבוצת מחקר בהובלת ד"ר יונתן בלינקוב שכוללת את הדס אורגד ודנה ארד סטודנטיות לתואר שלישי וד"ר בהג'ת קעואר, בוגר הפקולטה, פיתחה שיטות חדשניות לתיקון הטיות ועדכון ידע במודלים אלו. השיטות מאפשרות תיקון מהיר ויעיל של הטיות, עדכון ידע עובדתי, שליטה בהתנהגויות אתיות של המודל תוך שמירה על איכות התמונות.
העבודות הוצגו בכנס ICCV, מהכנסים החשובים בתחום ראייה ממוחשבת ולמידת מכונה, ועבודת ההמשך הוצגה לאחרונה בכנס WACV. עבודה נוספת הוצגה בכנס NAACL, אחד הכנסים המובילים למחקר בתחום עיבוד שפה טבעית.
לכתבה המלאה:
https://www.technion.ac.il/?p=58023
למאמר:
https://aclanthology.org/2024.naacl-long.140/
[בחזרה לאינדקס החדשות]