🎉 Version 1.1.2 Release 🎉

• upload ml, data, airflow readme by @0seob @sjz1 @lsvv1217
• update main readme by @0seob
• new airflow DAG file by @0seob

🎉 Version 1.1.1 Release 🎉

• Hotfix: swapped the color of the reaction button by @LimePencil
• Readme modification by @SangJunni

🎉 Version 1.1.0 Release 🎉

What's Changed

• [FISH-55] modi GridImage criterion by @lsvv1217 in #51
• [FISH-58] crop_image by @0seob in #49
• [FISH-56] fastapi cprofile by @LimePencil in #52
• [FISH-54] stress testing with locust by @LimePencil in #53
• [FISH-57] improve speed of user data logging by @LimePencil in #54
• [FISH-59] api for refresh by @LimePencil in #55
• [FISH-61] inference error by @lsvv1217 in #58
• [FISH-64] airflow dag file by @0seob in #59
• [FISH-60] frontend refactoring by @LimePencil in #56
• [FISH-63] user feedback logging by @LimePencil in #60
• [FISH-62] delete output by @sjz1 in #57
• [FISH-66] sweep setting kfold by @lsvv1217 in #61

Full Changelog: v1.0.0...v1.1.0

🎉 Version 1.0.0 Release 🎉

Data

• Data
  • Fish
    • 광어, 우럭 등 다양한 생선과 자바리, 능성어, 방어, 부시리 등 헷갈릴 수 있는 생선 분류
    • Data : AI Hub 어류 개체 촬영 영상 + Crawling Image
    • AI Hub 데이터셋의 이미지 별 bounding box 값을 활용해 전처리
  • Sashimi
    • 광어, 연어 등 자주 먹는 회와 참돔회, 민어회, 틸라피아회 등 헷갈릴 수 있는 회 분류
    • Data : Crawling Image
• Crawling
  • Selenium을 이용하여 웹 스크롤링 자동화
  • 구글과 네이버에서 데이터 크롤링
• Annotation
  • Annotation guide 작성
  • Notebook 파일로 Annotation tool 제작 및 사용

ML

• setting
  • poetry를 활용하여 쉽게 환경 설정을 할 수 있도록 구축
  • pytorch 1.7.1 + cu110
• pipeline
  • config.yaml 파일에서 train 설정을 하고 학습을 돌릴 수 있음
  • sweep.yaml 파일의 설정을 이용해 wandb sweep 생성하고 agent로 학습을 시킬 수 있음
  • hyper parameter들을 다른 파일의 class로 구성하여 train 코드를 간결하게 작성하였고, getattr 함수를 활용하여 원하는 값에 접근할 수 있도록 함
  • best 값의 pth와 onnx파일을 생성하고 이를 train 학습 과정 내에서 gcp bucket에 업로드
• EDA
  • 카테고리 별 이미지 개수 및 크기 시각화
  • Validation 결과 시각화
    • Confusion matrix
    • GridImage
  • CAM
    • Hook을 이용하여 최종 Conv layer의 Feature map 과 class weight를 곱하여 모델 시각화
    • 원하는 이미지를 넣으면 모델의 판단 기준을 확인할 수 있음
• 실험 관리
  • Wandb 실험 이름을 config에 따라 변경되도록 설정하여 관리
  • f1 score을 metric으로 선정

Front-end

• React로 만든 웹페이지 (https://ficv-74b93.web.app/)
  • Material-UI로 통일된 UI느낌
  • Google Firebase로 배포
• Demo Streamlit 테스트 페이지 (https://fast-api-frontend-nzhkc6v44a-du.a.run.app/)
  • Serverless with Google Cloud Run

Back-end

• FastAPI backend server
  • Onnx runtime으로 입력 데이터에 대한 CPU 추론 진행
  • 유저 입력 데이터를 log로 저장
  • Serverless with Google Cloud Run
    • 서버 비용 상당히 절감
  • 간단한 테스트 코드 작성

CI/CD

• Travis CI based CI/CD
  • 특정 커밋 메시지가 입력된 경우 Auto-build를 통한 최신화
    • build
      : 프로젝트를 구성하는 backend server, streamlit, react 모두 빌드
    • build-backend
      : 백엔드 서버만 빌드
    • build-frontend
      : Streamlit 빌드
    • build-react
      : React Webpage 빌드
  • Travis Jobs을 이용한 병렬적인 빌드 가능
• Google Cloud
  • Container Registry에서 Artifact Registry로 변환하여 서버 비용 감소(리전 간 데이터 이동에 따른 비용 발생 상황 제거)
  • Google Artifact Registry로 back-end, front-end 도커 이미지 빌드
  • Google Cloud Storage로 유저 로그, ONNX, 그리고 데이터 관리(Google Drive)
    • 최신 데이터나 모델을 실시간으로 확인 가능
• Firebase
  • Firebase SDK를 사용한 react 앱 자동 배포
• Google Cloud Run
  • Serverless 구조를 통한 서버 비용 절감
  • 도커 경량화를 통한 새로운 백엔드 서버 인스턴스 시작 시간 3초