Superalignment Fast Grants: Ein Schritt in Richtung sicherer Superintelligenz

Künstliche Intelligenz (KI) hat das Potenzial, unsere Welt grundlegend zu verändern. OpenAI, ein führendes Unternehmen im Bereich der KI-Forschung, hat kürzlich das Superalignment Fast Grants Programm ins Leben gerufen, um technische Forschungen zur Ausrichtung und Sicherheit von superintelligenten KI-Systemen zu fördern. Mit einem Fördervolumen von 10 Millionen Dollar zielt dieses Programm darauf ab, die Herausforderungen im Zusammenhang mit der Entwicklung von KI-Systemen zu bewältigen, die menschliche Intelligenz übertreffen könnten.

Die Herausforderung der Superintelligenz

Die Möglichkeit einer Superintelligenz, also KI-Systeme mit Fähigkeiten, die weit über menschliche Kapazitäten hinausgehen, könnte innerhalb der nächsten zehn Jahre Realität werden. Solche Systeme könnten enorm vorteilhaft sein, bergen aber auch große Risiken. Aktuelle Techniken zur Ausrichtung von KI-Systemen, wie das Lernen durch Verstärkung auf Basis menschlichen Feedbacks, könnten bei superintelligenten KI-Systemen an ihre Grenzen stoßen. Diese Systeme könnten komplexe und kreative Verhaltensweisen entwickeln, die für Menschen schwer nachvollziehbar sind. Die zentrale Frage ist, wie Menschen KI-Systeme lenken und ihnen vertrauen können, die viel intelligenter als sie selbst sind.

Förderprogramm und Teilnahme

Das Superalignment Fast Grants Programm, in Partnerschaft mit Eric Schmidt, bietet finanzielle Unterstützung für akademische Labore, gemeinnützige Organisationen und Einzelforscher. Die Fördersummen liegen zwischen 100.000 und 2 Millionen Dollar. Außerdem gibt es ein spezielles Stipendienprogramm für Graduierte, das OpenAI Superalignment Fellowship, welches eine einjährige Unterstützung von 150.000 Dollar umfasst. Erfahrungen in der KI-Ausrichtung sind für die Teilnahme am Programm nicht erforderlich, da auch Forscher, die neu in diesem Bereich sind, unterstützt werden sollen. Der Bewerbungsprozess ist unkompliziert gestaltet, und die Entscheidung über die Förderung erfolgt innerhalb von vier Wochen nach Bewerbungsschluss.

Forschungsschwerpunkte

Das Programm fokussiert sich auf verschiedene Forschungsrichtungen:

• Schwache zu starke Generalisierung: Hier geht es darum, zu verstehen und zu steuern, wie leistungsfähige Modelle aus schwacher Überwachung lernen.
• Interpretierbarkeit: Dies umfasst das Verständnis der inneren Abläufe von Modellen und die Anwendung dieses Wissens, beispielsweise zur Entwicklung eines KI-Lügendetektors.
• Skalierbare Aufsicht: Wie können KI-Systeme Menschen dabei unterstützen, die Ausgaben anderer KI-Systeme bei komplexen Aufgaben zu bewerten?
• Weitere Forschungsrichtungen: Dazu gehören Ehrlichkeit, Ketten-der-Gedanken-Treue, gegnerische Robustheit, Evaluierungen und Testumgebungen.

Abschluss

Das Superalignment Fast Grants Programm stellt eine außergewöhnliche Gelegenheit für Forscher dar, die an der Schnittstelle von KI und Ethik arbeiten möchten. Es ist ein junger Forschungsbereich mit vielen bearbeitbaren Problemen, und herausragende Beiträge könnten nicht nur die Richtung des Feldes beeinflussen, sondern auch entscheidend für die Zukunft der KI sein. Es war nie ein besserer Zeitpunkt, um mit der Arbeit an der Ausrichtung von KI zu beginnen.

Quelle: OpenAI