Информационное агентство Bloomberg представило большую языковую модель BloombergGPT, способную отвечать на вопросы из финансовой отрасли и бизнеса.
Алгоритм с 50 млрд параметров построен на базе той же технологии, что и OpenAI GPT. По данным компании, их нейросеть «со значительным отрывом» превосходит открытые модели аналогичного размера в финансовых и NLP задачах без ущерба для производительности.
Специалисты обучили LLM на массиве из 363 млрд токенов финансовых данных на английском языке, собранных аналитиками компании за последние 40 лет. Они включают внутренние сведения Bloomberg, документы о ценных бумагах, пресс-релизы, новости и публикации различных изданий.
Также эксперты дополнили датасет тренировочным набором общего назначения из 345 млрд токенов, содержащим информацию из GitHub, «Википедии», YouTube и других источников.
При обучении модели Bloomberg использовала ускорители Nvidia A100 в облаке AWS. Процесс тренировки занял около 1,3 млн GPU-часов.
Модель может определять, являются ли заголовки новостей медвежьими или бычьими для инвесторов. Она умеет заменять названия компаний на биржевые котировки, обнаруживать важные наименования в документации и отвечать на вопросы о бизнесе вроде «кто является генеральным директором фирмы».
Также технология обладает некоторыми возможностями генеративного ИИ. Например, может писать заголовки материалов на основе коротких аннотаций.
В агентстве заявили, что не планируют открывать алгоритм из-за риска утечки конфиденциальных данных.
Также компания не намерена конкурировать с чат-ботом ChatGPT OpenAI. Пока Bloomberg использует ИИ для расширения функциональности своего сервиса Terminal для изучения и анализа финансового рынка.
Напомним, в январе 2023 года стало известно, что информационный портал CNET почти 75 раз использовал искусственный интеллект для написания серии статей.
Позже читатели и редакторы обнаружили в текстах ошибки. Из-за этого издание приостановило публикацию новых материалов.
Однако спустя две недели в CNET заявили, что продолжат писать статьи с помощью ИИ.