0. 이번 주 진행사항 요약

• 실 운영 서버 환경에서 로컬 LLM 모델 업로드 및 부하/안정성 테스트 완료
• 로컬 LLM 모델 선정 완료
• 프론트 디자인 초안 확정
• 상세 기획 조정 (일일 횟수 제한 조정 등)
• 5월까지 스케줄 확정 및 개인별, 팀별 타임 테이블 작성 완료
• 졸업 요건 대체 테스트 모니터링

1. 로컬 LLM 가용성 평가 결과

50명 동시접속 시 3.4초 내 응답 가능 [ 현 코드플레이스 운영 서버 로컬 환경에서 테스트 결과 / RTX5090 ]

• 따라서 외부 API 도입이 불필요하다고 판단하였습니다.

• Streaming 방식 도입 시 평균 응답 시간을 더 줄일 수 있을 것으로 기대 (첫 출력 0.5초 미만)

  

2. 로컬 LLM 모델 선정

모델의 응답 속도와 용량, 성능, 서버 사양 등을 모두 고려하여 Qwen2.5 Coder 7B Instruct 모델로 선정하게 되었습니다.

• MVP 개발 완료 후 더 높은 성능의 모델로 변경하여 가용성 테스트 예정

3. 기획

3.1. 기본 디자인 구성

AI조교 UI