Новый бенчмарк Remote Labor Index разрушает иллюзии о скорой автоматизации интеллектуального труда, демонстрируя катастрофический разрыв между маркетинговыми обещаниями и реальными возможностями искусственного интеллекта.

Технологическая индустрия последние годы живет в состоянии коллективной галлюцинации. Венчурные капиталисты вкладывают миллиарды в AI-стартапы, обещающие автоматизацию практически любой интеллектуальной работы. Главы ведущих компаний выступают с апокалиптическими прогнозами о массовой безработице. Amazon сокращает 14,000 сотрудников, ссылаясь на «трансформационное влияние» генеративного интеллекта. Однако свежее исследование Scale AI и Center for AI Safety отрезвляет: даже самые продвинутые AI-агенты справляются с реальной фрилансерской работой хуже, чем можно было представить в самых пессимистичных сценариях.

Remote Labor Index — первый бенчмарк, измеряющий не абстрактные способности моделей решать искусственные задачи, а их практическую ценность в реальной экономике. Методология проста и безжалостна: исследователи взяли настоящие задания с Upwork, охватывающие графический дизайн, видеомонтаж, разработку игр, парсинг данных и административную работу. Каждое задание включало детальное описание, необходимые файлы и пример готовой работы от живого специалиста. Никаких подвохов — чистый эксперимент.

Результаты оказались сокрушительными. Лучшие AI-агенты рынка — китайский Manus, Grok от xAI, Claude от Anthropic, ChatGPT от OpenAI и Gemini от Google — смогли выполнить менее 3% заданий, заработав жалкие $1,810 из потенциальных $143,991. Для сравнения: средний фрилансер справился бы с большинством этих задач за пару недель работы, получив полную сумму. Это не просто неудовлетворительный результат — это провал с оценкой «неудовлетворительно» в университетском понимании.

Особенно болезненным этот провал выглядит на фоне недавних заявлений индустрии. В марте Дарио Амодеи, CEO Anthropic, предсказал автоматизацию 90% программирования в ближайшие месяцы. В сентябре OpenAI представила бенчмарк GDPval, согласно которому модели уровня GPT-5 якобы приближаются к человеческим способностям в 220 офисных задачах. Remote Labor Index безжалостно обнажает разницу между синтетическими тестами, оптимизированными под сильные стороны AI, и суровой реальностью рынка труда.

«Надеюсь, это даст более точное представление о реальных возможностях AI», — комментирует Дэн Хендрикс, директор CAIS. Его слова звучат как приговор всей индустрии хайпа. Проблема не в недостатке обучающих данных или вычислительной мощности. Фундаментальные архитектурные ограничения современных моделей делают их непригодными для сложной многошаговой работы: отсутствие долгосрочной памяти, неспособность к континуальному обучению, невозможность адаптироваться и «набираться опыта» в процессе работы.

AI-агенты научились блестяще решать узкие, четко формализованные задачи — написать функцию на Python, перевести текст, сгенерировать изображение. Но реальная работа фрилансера требует совершенно иного: понимания контекста, работы с множеством инструментов одновременно, способности задавать уточняющие вопросы клиенту, принятия креативных решений при возникновении непредвиденных проблем. Это именно те метакогнитивные навыки, которыми современный AI не обладает даже в зачаточной форме.

«Мы годами обсуждали влияние AI на занятость, но большинство дискуссий были гипотетическими», — отмечает Бин Лю, директор по исследованиям Scale AI. Remote Labor Index переводит дискуссию из области футурологических спекуляций в плоскость измеримой экономической реальности. И эта реальность оказывается значительно менее драматичной, чем предсказывали технологические евангелисты.

История уже знает подобные циклы необоснованного энтузиазма. Десять лет назад индустрия предрекала скорое исчезновение профессии радиолога — алгоритмы машинного обучения должны были превзойти врачей в анализе медицинских снимков. Сегодня радиологи по-прежнему работают, используя AI как вспомогательный инструмент, но никак не замену. Паттерн повторяется с удивительной точностью.

Исследователи честно признают ограниченность своего бенчмарка. Многие профессии включают задачи, не охваченные тестированием. Более того, в реальности фрилансеры активно интегрируют AI в свой рабочий процесс, многократно усиливая продуктивность. Будущее, скорее всего, за гибридной моделью human-in-the-loop, где человек и машина дополняют друг друга, а не конкурируют.

Но тогда возникает неприятный вопрос: если AI-агенты настолько несостоятельны в реальной работе, чем объясняются массовые сокращения вроде недавнего решения Amazon? Возможно, корпоративная риторика об AI-революции служит удобным прикрытием для стандартной оптимизации издержек. Технологический хайп становится инструментом управления ожиданиями инвесторов и оправданием непопулярных решений.

Remote Labor Index — это не просто академическое исследование. Это отрезвляющий звонок для индустрии, увлеченной собственными нарративами о неизбежном технологическом сингулярности. Возможности современного AI впечатляют, но пропасть между демонстрациями на конференциях и практической заменой человека в реальной экономике остается огромной. И преодоление этой пропасти потребует не просто увеличения параметров моделей, а фундаментальных прорывов в архитектуре и понимании природы интеллекта.

Новости технологий в Telegram

Подписаться