ai
[LLM] 로컬에서 LLM 실행하기
올해는 chatgpt로 인해 연구 단계가 아닌 일반인 입장에서 체감할 수 있는 진짜 인공지능 시대가 열렸다고 해도 과언이 아니다. chatgpt는 회원가입만 한다면 쉽게 사용할 수 있지만, 기업에서는 사용하기에 기업의 중요 데이터들이 노출될 수 있기 때문에 on-premise 환경에서 실행할 수 있는 LLM들을 고려하고 있을 것 같다. 일반 사용자 입장에서도 보면 내가 작성하는 대화 내용이 LLM의 학습 데이터로 활용될 수 있다는 점이 좀 껄끄러울 수도 있는데, 오픈소스로 제공하는 각종 LLM들이 존재하기 때문에, 아직은 부족한 점이 많지만 앞으로 더 모델들이 발전한다면 고객의 데이터를 보내지 않고도 생성형 AI를 활용할 수 있는 날도 오지 않을까 한다. 이번 글에서는 현 시점에서 로컬로 내려 받아 간편..
2023. 12. 31. 11:22
