Скотт Александр написал пост о том, что AI-суперпредсказатели (современные LLM со специальной обвязкой, заточенной под эту задачу) дескать уже сейчас соревнуются в корректной оценке вероятностей разных событий плюс-минус на равных с топовыми человечьими суперфоркастерами.
Он там приводит в пример FutureSearch – один из таких специализированных ИИ-инструментов, который находится в более-менее открытом доступе. Естественно, я не мог упустить возможность потестировать его!
Смотрите, я на той неделе писал о возможности сделать на Полимаркете ставку на то, что Путин останется у власти как минимум до конца текущего года, по «цене» 86% (что эквивалентно «доходности к погашению» в размере 37,5% годовых в долларах). Сейчас уже вероятность поднялась до 89% (прибыль 3,5% за неделю, noice!), но всё равно остается на глаз довольно низкой.
Так вот, я попросил этот самый FutureSearch оценить вероятность ухода Путина с поста президента до конца года по любым причинам – результат можно наблюдать на приложенном скриншоте.
Три «нейроисследователя» прошерстили 146 источников и пришли к выводу, что вероятность составляет около 5%: 1,5% по базовым медицинским причинам и 3,5% на прочие силовые методы. С первым компонентом всё понятно, а вот как конкретно эти ребята вышли на 3,5% – я, к сожалению, так и не понял. Но концептуально это не сильно далеко от моей собственной «прикидочной» оценки.
Для сравнения, что ответили другие современные модели (без какой-либо специальной обвязки, просто ответы на тот же самый вопрос):