<모델 조사>
- HyperCLOVA는 한국어 뉴스 50년 치, 네이버 블로그 9년 치로 구성한 한국어 코퍼스로 학습 5,600억 토큰 규모인데, BERT 학습데이터인 33억 단어와 비교하면 대략 100배(토큰과 단어는 다른 단위이므로) 이상의 많은 데이터로 학습 함.
<학습 가능 여부>
- 하이퍼클로바X는 각자 분야에서 열심히 일하고 있는 ‘우리’의 필요에 따라 커스터마이징이 가능. 각 산업 군에서 필요로 하는 데이터들을 활용해 하이퍼클로바X를 원하는 방향으로 튜닝할 수 있음
<clocva studio 이용하여 학습 가능 여부>
- 플레이그라운드에서 작업 시 토큰 제약(2048 토큰)이 있으나, 튜닝 이용 시 토큰 제약 없이 더욱 다양한 예제 구성 가능
- 원하는 방식으로 데이터셋을 구성하여, 니즈에 적합한 방향으로 출력 가능
- 모델이 가벼워지며 Task의 수행 시간 단축되고 비용 절감 가능
- 프롬프트만으로 성능이 오르지 않는 정체 구간에서 성능 제고 가능
https://guide.ncloud-docs.com/docs/clovastudio-tuning
튜닝 화면
guide.ncloud-docs.com
https://guide.ncloud-docs.com/docs/clovastudio-tuning01
작업 관리
guide.ncloud-docs.com
<api 적용 가능 여부>
- - 플레이그라운드에서 테스트 앱을 생성하고 API를 발급받아 서비스에 손쉽게 적용 가능
https://engineering.clova.ai/posts/2022/02/hyperclova-part-2
HyperCLOVA API 기능 확장 | CLOVA Engineering Blog
HyperCLOVA 기반 서비스에 Early Stop과 시맨틱 검색, 프롬프트 튜닝 기능을 적용하기 위해 연구했던 내용을 실제 사례 중심으로 공유드리고자 합니다.
engineering.clova.ai
https://api.ncloud-docs.com/docs/ai-naver-clovastudio-completion
(naver cloud platform - AI Application Service - AI NAVER API