Исследователи Multiverse Computing сделали прорыв в квантовом улучшении языковых моделей! 🚀
Они создали гибридную схему, которая объединяет 156-кубитный процессор Heron от IBM и классические методы обучения модели Речь идет о первой такой схеме на сверхпроводящем процессе для генерации текста
📊
В эксперименте использовали популярную модель Llama 3.1 8B от Meta Они не тренировали ее заново, а просто добавили квантовые адаптеры и подключили к гибридной схеме
Это позволило снизить перплексию модели на 1,4%! 💰
Тесты провели на IBM Quantum System Two с помощью 156-кубитного чипа Heron Гибридная версия показала лучшие результаты, чем базовая модель, в частности, правильно ответила на вопросы по астрономии и биологии
🐋
По словам ведущего автора исследования Борхи Айспуруа, это доказательство концепции квантовых улучшений При минимальных затратах вычислительных мощностей квантовые блоки позволяют точнее предсказывать следующий токен в тексте
⚡
Команда рассчитывает улучшить еще больше перплексию и точность при меньшем числе параметров Это может открыть возможности для новых приложений квантовой техники! 📉
Помните, что это только начало
После финансирования США в $2 млрд в рамках программы CHIPS R&D, мы можем увидеть еще больше прорывов в квантовых технологиях! 💸
Читайте дальше, чтобы узнать больше о квантовом улучшении языковых моделей https://forklog.com/news/v-polshe-zapustili-vtoroj-kvantovyj-kompyuter-iqm/
За матеріалами ForkLog