Bloomberg의 ML 제품 및 연구 그룹은 회사의 AI 엔지니어링 팀과 협력하여 회사의 기존 데이터 생성, 수집 및 큐레이션 리소스를 활용하여 지금까지 가장 큰 도메인별 데이터 세트 중 하나를 구성했습니다. 금융 데이터 회사로서 Bloomberg의 데이터 분석가들은 40년 동안 금융 언어 문서를 수집하고 유지해 왔습니다. 팀은 이 광범위한 재무 데이터 아카이브에서 영어 재무 문서로 구성된 포괄적인 3,630억 개의 토큰 데이터 세트를 생성했습니다. 이 데이터는 3,450억 개의 토큰 공개 데이터 세트로 보강되어 7,000억 개가 넘는 토큰이 있는 대규모 교육 코퍼스를 생성했습니다. 이 훈련 코퍼스의 일부를 사용하여 팀은 500억 개의 매개변수 디코더 전용 인과 언어 모델을 훈련했습니다. 결과 모델은 기존 금융 관련 NLP 벤치마크, Bloomberg 내부 벤치마크 모음 및 널리 사용되는 벤치마크(예: BIG-bench Hard, Knowledge Assessments, Reading Comprehension 및 Linguistic Tasks)의 광범위한 범용 NLP 작업 범주에서 검증되었습니다. . 특히, BloombergGPT 모델은 일반 NLP 벤치마크에서 동등 이상의 성능을 유지하면서 재무 작업에 대해 비슷한 크기의 기존 개방형 모델보다 큰 차이로 성능이 뛰어납니다.
LLM 배포로 인해 여러 분야에서 발생하고 있는 일. 얼마전에는 LLaMA를 가지고 자기가 가진 데이터를 활용해 세무상담 챗봇을 만들었다는 세무사도 보았다. 뉴스를 가지고 비슷한 작업을 했을때도 가치있는 무언가를 만들어낼 수 있을까 하는 생각을 해봤다.