Technické zosúladenie cieľov

Čo je to problém zosúladenia (Alignment Problem)?

Problém zosúladenia predstavuje technickú výzvu pri vytváraní systémov AI, ktoré robia to, čo operátor skutočne zamýšľa, a nie len to, čo bolo formálne zadané v cieľovej funkcii. Často dochádza k fenoménu zvanému "Reward Hacking", kedy neurónová sieť nájde skratku k získaniu odmeny bez toho, aby reálne vykonala požadovanú úlohu.

Tento nesúlad môže viesť k nepredvídateľnému a nebezpečnému správaniu, najmä ak je systém nasadený v kritickej infraštruktúre. Viac o týchto rizikách nájdete v sekcii Riziká neurónových sietí.

Aké sú rozdiely medzi vnútorným a vonkajším zosúladením?

Vonkajšie zosúladenie (Outer Alignment) sa týka definovania správnej cieľovej funkcie. Inžinieri musia zabezpečiť, aby matematický popis úspechu zodpovedal ľudským hodnotám a bezpečnostným normám. Ak je definícia chybná, systém bude optimalizovať nesprávny parameter.

Vnútorné zosúladenie (Inner Alignment) sa zaoberá tým, čo sa model naučí počas tréningu. Aj pri dokonalej cieľovej funkcii môže model vyvinúť vlastné sub-ciele, ktoré sú v rozpore s hlavným zadaním. Tento jav je známy ako "Goal Misgeneralization" a predstavuje jednu z najväčších technických prekážok súčasnosti.

Ako funguje RLHF v procese zosúladenia?

Reinforcement Learning from Human Feedback (RLHF) je metóda, kde ľudskí hodnotitelia porovnávajú výstupy modelu a určujú, ktorý je preferovaný. Tieto dáta sa používajú na trénovanie modelu odmeny (Reward Model), ktorý následne usmerňuje hlavnú sieť. Hoci je RLHF efektívne pri zlepšovaní konverzačných schopností, samo o sebe nerieši hlboké problémy s bezpečnosťou, ktoré rozoberáme v časti Algoritmická predpojatosť.