성능 개선 : 공모주 스크래핑, 상장 공모주 시초가 갱신

[csct3434]

개요

• 공모주 스크래핑, 상장 공모주 시초가 갱신 작업 소요시간 단축
• close 성능 최적화 #88

측정 기준

• 로컬 환경
• 공모주 스크래핑 : IPO38_수요예측결과 페이지 40개 스크래핑 (총 데이터 : 800개)
• 상장 공모주 시초가 갱신 : 스크래핑 후 등록된 754건의 데이터를 대상으로 금융위원회_주식시세정보 API 호출

개선 결과

공모주 스크래핑 : 53.7s -> 7.67s (86% 단축)

상장 공모주 시초가 갱신 : 348s -> 14.2s (96% 단축)

변경 사항

공모주 스크래핑

• 개선 전
  • 외부 반복자 사용 (for문)
  • 각 페이지를 순차적으로 처리 & 페이지에 존재하는 20건의 데이터를 순차적으로 처리
• 개선 후
  • 내부 반복자 사용 (스트림)
  • 병렬 스트림 적용 : 각 페이지 및 개별 데이터를 병렬로 처리

상장 공모주 시초가 갱신

• 병렬 스트림 적용 : stream() -> parallelStream()