Research Scientist (AI Alignment)

tl;dr: Research Scientist, Berkeley, $230k–930k/year

В начале сентября ИИ решил Навье — Стокса, одну из семи задач тысячелетия. Само доказательство вышло на 165 страниц, и его проверка заняла бы годы. Но математикам повезло, у них есть Lean. А как вообще людям проверять результаты работы очень умных моделей — сейчас, а тем более в будущем?

Если что, хороших ответов на этот вопрос у человечества пока нет! Но есть какие-то — например, пересказ. Если доказательство на 165 страниц нам не осилить, пусть модель перескажет его по кускам, потом перескажет пересказы — и на n-ом шаге останется текст, который человек уже сможет проверить сам. Фаундер Resolution Джеффри Ирвинг развивал другую ветку: дебаты. Две модели спорят за противоположные ответы и ищут дыры друг у друга, а человек как судья решает, чей аргумент выстоял 🏬

Область науки, которая всё это придумывает, называется scalable oversight, и ею очень прикольно заниматься — эксперименты понятные, реализовывать их технически сложно, а ответы на вопросы, которые перед вами стоят, очень нужны человечеству уже сегодня.

Scalable oversight — одна из нескольких ресёрч-адженд , и они очень активно ищут в неё исследователей. В другие ищут чуть менее активно, но всё ещё да — так что если вам ближе теоретический компьютер саенс, философия, статфизика или что-нибудь ещё, напишите нам, и мы про всё расскажем.

Опыт в сейфти будет очень полезен, но, в целом, необязателен — нужны и сильные учёные из других сфер 🤓

Примерный список того, что вам понадобится:
🟡PhD или эквивалентный ему ресерч-опыт: в ML, CS, математике, физике, статистике, философии или чем-то близком;
⚪️статьи, препринты или сопоставимый результат + опыт внятного их описания;
🔴сильная математика;
🟡вы готовы много, но внимательно использовать AI в работе;
⚪️вас правда мотивирует алайнмент и вы хотите лично в него контрибьютить.

Конкретно для scalable oversight будут плюсом: опыт с дебатами, prover-verifier играми или RLHF на фронтирном масштабе, бэкграунд в теории игр, теории сложности, mechanism design или теории принятия решений.

Работа из офиса в Беркли, с визой и переездом помогают. Платят $230k–930k в год.

Пишите Наро: Показать контакты 🐦