Modelele de inteligență artificială ale Anthropic se îmbunătățesc de aproape două ori mai rapid decât în trecut, potrivit unei evaluări independente publicate joi de organizația METR, specializată în siguranța AI. După 11 săptămâni de acces la cercetări interne, angajați și sisteme încă nelansate, cercetătorii au estimat că asistența oferită de AI explică o mare parte din accelerare. Raportul, realizat la sediul companiei din San Francisco, descrie un proces susținut în principal de instrumente care ajută cercetătorii, nu de sisteme care dezvoltă deja, complet autonom, următoarea generație de modele.
- METR estimează că ritmul progresului modelelor Anthropic a crescut de 1,9 ori față de trecut.
- Compania a încheiat în ultimele șase luni antrenarea a trei modele care nu sunt disponibile publicului.
- AI ar putea explica aproximativ 80% din accelerarea actuală, însă estimarea este incertă.
- METR afirmă că Anthropic a eliminat din raport majoritatea dovezilor considerate cele mai relevante pentru concluziile sale.
Evaluarea a urmărit cercetarea internă timp de 11 săptămâni
Înaintea publicării raportului, șase cercetători METR au intervievat angajați, au urmărit conversații interne pe Slack și au examinat modele nelansate, folosind echipamentele companiei. Organizația a descris accesul primit drept unul fără precedent pentru propria activitate.
Investigația a surprins și diferența dintre instrumentele disponibile publicului și cele folosite în interiorul Anthropic. Potrivit Business Insider, compania a finalizat antrenarea a trei modele noi în ultimele șase luni, fără să le lanseze public. Aceste sisteme contribuie, conform estimărilor METR, la accelerarea dezvoltării.
Angajații au raportat câștiguri importante de productivitate. Un sondaj intern pe Slack indica, în octombrie, o creștere medie declarată de aproximativ 12 ori pentru utilizarea celui mai capabil model intern. METR tratează însă aceste răspunsuri drept dovezi slabe: participanții ar putea să nu reprezinte întregul personal, iar estimările lor ar putea să nu fi fost atent cântărite.
Raportul indică un progres echivalent cu doi ani într-unul singur
Concluzia centrală a evaluării este că Anthropic a realizat, într-un an, progrese comparabile cu cele obținute anterior în aproximativ doi ani. Potrivit relatării Reuters, citată de Agerpres și G4Media, ritmul de îmbunătățire a capacităților modelelor a fost de 1,9 ori mai mare decât în trecut.
METR estimează că AI ar putea explica aproximativ 80% din accelerarea actuală, dar avertizează că această cifră este incertă.
Organizația afirmă că accelerarea nu se explică printr-o intensificare a creșterii puterii de calcul folosite la antrenare. Cercetătorilor li s-a spus că avansul provine în principal din asistența AI, nu din contribuții complet autonome.
Această distincție limitează concluziile despre autoîmbunătățirea recursivă, perspectiva în care sistemele creează versiuni mai puternice ale lor fără intervenție umană. METR precizează că AI nu produce deocamdată contribuții extrem de importante și pe deplin autonome în etapele esențiale ale antrenării.
Transparența evaluării are, la rândul ei, limite. METR spune că a putut publica liber concluziile generale despre riscuri, dar că Anthropic a eliminat majoritatea dovezilor pe care cercetătorii le considerau cele mai relevante pentru susținerea lor.
METR vede posibilitatea unei accelerări suplimentare în anul următor
Pentru anul următor, cercetătorii nu au identificat dovezi concludente ale unor obstacole majore care să încetinească progresul. Raportul semnalează și indicii că aportul complet autonom al AI ar putea căpăta un rol mai mare.
METR avertizează însă că absența unor obstacole observate nu exclude existența unor limite importante pe care evaluarea nu le-a surprins.
