분류 전체보기 62

[Project]한국 광고 분류 모델 개발(1)

Abstract 본 프로젝트는 뉴스 데이터를 분석하기 위한 전처리 과정에서 사용자가 원하지 않는 정보를 자동적으로 필터링하여 전처리 진행 속도와 정확도를 상승시키는 것을 목적으로 한다. 수집한 뉴스 데이터에 광고인지 아닌지 라벨링을 진행하고 pretrained된 Korean Pre-trained Language Models을 활용해 fine-tuning을 진행해 한국 광고 분류 모델을 개발하고 성능을 테스트해 사용해보도록 하겠다. 그 과정을 기록하고 피드백을 하기 위해 이 글을 작성한다. 1. INTRO 뉴스 데이터를 수집하고 보면 아래와 같은 광고성 기사를 종종 접할 수 있다. 이러한 광고성 기사들은 뉴스 키워드 추출 및 토픽 모델링에서 많은 noise를 발생시키고 토픽 모델링의 성능을 저하 시키는 요..

Project 2022.12.30

[Environment] Window11 딥러닝 환경 구축

항상 새로운 환경에서 딥러닝 환경을 구축하다보니 매번 비슷한 시행착오를 겪는거 같아서 작성함. 우선 아나콘다는 설치돼있다는 가정하에 시작. 1. GPU모델 확인 및 NVIDA 설정 - 기존에 설치된 설정 삭제하고 진행 1) 제어판 - 프로그램 추가/제거 - NVIDIA가 들어가있는 것 삭제 2) 그래픽 드라이버 다운로드 - 자신에게 맞는 드라이버 확인(하단 장치관리자 참고) https://www.nvidia.co.kr/Download/index.aspx?lang=kr 3) 장치관리자 그래픽카드 삭제 4) 재부팅 후 기존에 다운받은 그래픽카드 실행 - 모두 "예" 하여 설치(중간에 Experience 설치는 자유, 저는 안했어요) 5) cmd에서 nvidia-smi 로 확인 2.CUDA 설치 1) 내 GP..

Environment 2022.12.29