#크롤링

2개의 글

목록만 긁는 크롤러로는 '신상'을 판정할 수 없었다

상품 목록 페이지만 수집하던 구조를 상세 스펙(실측·소재·세탁) 직접 추출로 바꾸고, 신상 판정 기준을 다시 세운 기록. 요청 수가 곱절로 늘어나는 걸 감수한 이유.

증분 크롤이 첫 카테고리만 보고 멈춘 이유

신상 피드가 비던 문제를 추적해보니 종료 판정 범위가 잘못돼 있었다. 카테고리 단위와 전체 순회 단위의 차이.

#크롤링 · peppercode 개발 노트