Направления исследований OpenAI + hackathon

У OpenAI есть программа для исследователей Researcher Access Program. Какие направление исследований могут быть? // конечно любые, даже самые смелые.

У самой программы уже есть некоторые направления.

Подстройка / alignment модели. Как можно определить эффективность и тонко подстроить модель? // Alignment: How can we understand what objective, if any, a model is best understood as pursuing? How do we increase the extent to which that objective is aligned with human preferences, such as via prompt design or fine-tuning?

Объективность и репрезентативность. Как понять насколько модель объективна и репрезентативна? Какие должны быть критерии для языковых моделей и как они могут быть улучшены в существующем контексте. // Fairness and Representation: How should performance criteria be established for fairness and representation in language models? How can language models be improved in order to effectively support the goals of fairness and representation in specific, deployed contexts?

Междисциплинарные исследования. Как можно использовать идеи других дисциплин при разработке ИИ? // Interdisciplinary Research: How can AI development draw on insights from other disciplines such as philosophy, cognitive science, and sociolinguistics?

Интерпретируемость / прозрачность. Как модели работают на низком уровне? Как происходит обучение, может можно достать какое-нибудь скрытое знание, предсказать артефакты или глюки? // Interpretability / Transparency: How do these models work, mechanistically? Can we identify what concepts they’re using, or extract latent knowledge from the model, make inferences about the training procedure, or predict surprising future behavior?

Злоупотребление. Какие подходы могут быть, чтобы подобные технологии не могли быть использованы во вред. Ответственное внедрении подобных технологий? // Misuse Potential: How can systems like the API be misused? What sorts of ‘red teaming’ approaches can we develop to help us and other AI developers think about responsibly deploying technologies like this?

Исследование моделей и возможностей. Мы заинтересованы в исследованиях во многих областях для потенциального использования. // Model Exploration: Models like those served by the API have a variety of capabilities which we have yet to explore. We’re excited by investigations in many areas including model limitations, linguistic properties, commonsense reasoning, and potential uses for many other problems.

Надежность. Генеративные модели, не всегда надежны. Интересно найти новые подходы как можно их улучшить. // Robustness: Generative models have uneven capability surfaces, with the potential for surprisingly strong and surprisingly weak areas of capability. How robust are large generative models to "natural" perturbations in the prompt, such as phrasing the same idea in different ways or with/without typos? Can we predict the kinds of domains and tasks for which large generative models are more likely to be robust (or not robust), and how does this relate to the training data? Are there techniques we can use to predict and mitigate worst-case behavior? How can robustness be measured in the context of few-shot learning (e.g. across variations in prompts)? Can we train models so that they satisfy safety properties with a very high level of reliability, even under adversarial inputs?

Генеративные модели круто работают в тех областях где не требуется точность и четкость результатов. Для цифрового искусства или скажем генерации уровней или объектов виртуального мира самое то. Но в других областях в прямую это не работает.

Для большей точности, предсказуемости и надежности нужно больше исследований, экспериментов и главное данных и накопления опыта.

Как всегда, новые горизонты ждут своих исследователей!)

OpenAI Challenge - также можно участвовать в различных соревнованиях, тут нужно найти применение API/моделей для решения реальных проблем.

Пока это только всего лишь игрушки, которые со временем, потенциально могут перерасти во что-то большее. Возможно, настолько большое и влиятельное, что трудно оценить масштаб. Во благо это может быть или во вред зависит от всех нас. Поэтому обязательно нужно участвовать;)