[Feat] 커뮤니티 데이터 DAG 작성

[JeonHyerim86]

어떤 기능인가요?

특정 커뮤니티 데이터를 크롤링하여 자연어처리를 진행해 원하는 키워드들을 추출하는 DAG 파일을 작성한다.
현재 크롤링 하기로 확정된 커뮤니티는 다음과 같다.

• [클리앙] 주식한당
• [네이버카페] 거북이투자법

작업 상세 내용

1. raw data 추출

• 사용할 커뮤니티 게시글을 기간에 맞게 크롤링하여 자연어 처리를 진행한다.
• 종목 명, 테마 등 주식과 관련된 키워드를 최대한 목적에 맞게 추출할 수 있도록 한다.
• 저장되는 경로: team6-s3/raw_data

2. data 정제

• raw_data 에 저장된 데이터를 활용해 etl 작업을 진행하는 DAG 코드를 작성
• 저장되는 경로: team6-s3/transformed_data

참고할만한 자료(선택)