전체 글 62

[DB]PostgreSQL 문법과 기능 정리 (DDL, DML, DCL)

0. PostgreSQL PostgreSQL은 오픈 소스 관계형 데이터베이스 시스템으로, 다양한 문법과 기능을 제공합니다. 여기에 주요 문법과 기능들을 간략하게 정리해 보겠습니다. 1. 데이터 정의 언어 (DDL) CREATE: 데이터베이스, 테이블, 인덱스, 뷰, 트리거, 함수 등을 생성합니다. CREATE TABLE table_name ( column1 datatype, column2 datatype, ... ); ALTER: 기존의 데이터베이스 객체를 수정합니다. ALTER TABLE table_name ADD column_name datatype; DROP: 데이터베이스 객체를 삭제합니다. DROP TABLE table_name; 2. 데이터 조작 언어 (DML) INSERT: 테이블에 새로운 데..

개발/DB 2024.01.16

[DB]PostgreSQL설치 및 DBeaver에서 연결하기 (로컬)

0. PostgreSQL? PostgreSQL은 속도, 안정성, 유연성 및 개방형 표준 지원 측면에서 좋은 평가를 받고 있는 오픈 소스 데이터베이스입니다. 1. PostgreSQL 설치하기 PostgreSQL 공식 웹사이트에서 운영체제에 맞는 버전을 다운로합니다. 저는 Window 64bit installer 16.1버전을 다운받았습니다. https://www.enterprisedb.com/downloads/postgres-postgresql-downloads Community DL Page Note: EDB no longer provides Linux installers for PostgreSQL 11 and later versions, and users are encouraged to use the ..

개발/DB 2024.01.16

[Dash]Python Dash Layout 구성 (3) feat. Dash AG Grid

Dash AG Grid Dash AG Grid는 Plotly의 Dash 프레임워크와 AG Grid라는 JavaScript 데이터 그리드 라이브러리를 함께 사용하여 데이터 시각화 및 조작을 위한 강력한 도구입니다. AG Grid는 빠르고 다양한 데이터 조작 및 시각화 기능을 제공하는 자바스크립트 그리드 라이브러리입니다. Dash AG Grid vs Dash Table Dash AG Grid와 Dash Table은 모두 Plotly의 Dash 프레임워크에서 사용할 수 있는 데이터 표시 및 조작 도구입니다. 그러나 두 라이브러리 간에 몇 가지 중요한 차이점이 있습니다. 다음은 Dash AG Grid가 Dash Table보다 유용한 점들입니다: 다양한 데이터 조작 기능: AG Grid는 데이터를 더 다양한 방식..

개발/Dash 2024.01.15

[Dash]Python Dash Layout 구성 (2) feat. dash_core_components

dash_core_components dash_core_components는 Dash 애플리케이션에서 사용되는 핵심적인 컴포넌트 라이브러리입니다. 이 라이브러리는 다양한 종류의 HTML 요소 및 기타 대화형 컴포넌트들을 포함하고 있어, 사용자 인터페이스를 구축하는 데 유용합니다. dash_core_components는 dcc라는 별칭으로 불리기도 합니다. 다음은 dash_core_components에서 주로 사용되는 몇 가지 컴포넌트 종류입니다: dcc.Graph: 그래프 및 차트를 표시하는 데 사용되는 컴포넌트입니다. Plotly 그래프를 지원하며, 다양한 차트 유형을 생성할 수 있습니다. dcc.Dropdown: 드롭다운 메뉴를 생성하는 데 사용되는 컴포넌트입니다. 사용자가 선택할 수 있는 항목 목록..

개발/Dash 2024.01.15

[Dash]Python Dash Layout 구성 (1) feat. dash-bootstrap-components

dash-bootstrap-components dash-bootstrap-components은 Dash 웹 프레임워크를 사용하여 Bootstrap CSS 프레임워크를 통합하는 파이썬 라이브러리입니다. 이를 통해 개발자들은 파이썬 코드로 웹 애플리케이션을 구축하면서 Bootstrap의 여러 디자인 및 레이아웃 기능을 활용할 수 있습니다. 다음은 dash-bootstrap-components의 주요 기능 및 특징입니다. 레이아웃(Grid System): dbc.Row와 dbc.Col을 사용하여 Bootstrap의 그리드 시스템을 파이썬으로 편리하게 다룰 수 있습니다. 이를 통해 반응형 및 레이아웃을 쉽게 작성할 수 있습니다. 컴포넌트(Component): Bootstrap의 다양한 UI 컴포넌트를 파이썬 코..

개발/Dash 2024.01.15

[Dash]Python Dash를 활용한 Dashboard 구축하기

1. DASH? Dash는 Flask, Plotly.js 및 React.js 위에 작성된 Python 웹서비스 개발용 프레임워크로 Plotly에 기반하고 있음 Dash는 Python과 HTML을 이용하여 쉽게 웹사이트나 대시보드 같은 대화형 웹응용프로그램을 작성할 수 있음 Dash는 데이터 시각화 및 웹 애플리케이션을 구현하는데 유용하게 사용할 수 있습니다. 2. Dash 설치 (feat. anaconda) 우선 가상환경을 먼저 구축하도록 하겠습니다. 가상환경을 구축하는 방법은 아래 게시글을 참고하시면 될 것 같습니다. https://mz-moonzoo.tistory.com/4 [Environment]아나콘다 가상환경 구성 및 주피터 노트북 커널 연결 INTRO 가상환경은 개발을 진행할 때 각 프로젝트 ..

개발/Dash 2024.01.12

[NLP]파이썬 re 모듈을 활용한 정규표현식

정규표현식? 정규표현식(Regular Expression 또는 Regex)은 문자열 패턴을 검색하고 조작하기 위해 쓰이는 형식 언어입니다. 주로 텍스트 처리 작업에서 사용되며, 특정 규칙에 맞는 문자열을 찾거나 변환하는 데에 유용합니다. 예를 들어, 이메일 주소, 전화번호, URL 등과 같은 특정 형식을 갖춘 문자열을 찾거나, 특정 단어나 패턴을 추출하거나 대체할 때 자주 사용됩니다. 메타 문자와 정규 문자 정규 표현식의 모든 문자는 메타 문자와 정규 문자 두가지로 분류됩니다. 메타 문자는 약속된 용법으로 사용되는 문자로, 특별한 의미를 가지고 있는 문자들을 의미합니다. 이러한 메타문자들은 특정 문자열 패턴을 찾거나 조작하는데 유용하게 쓰입니다. 정규 문자는 알파벳, 숫자 등 약속된 의미 없이 문자 그대..

DL/NLP 2024.01.12

[Project]문장 유형 분류 AI 경진대회

INTRO 평소에 NLP에 관심이 많아 프로젝트와 논문 공부를 하던 중 우연히 문장을 입력받아 문장의 ‘유형’, ‘시제’, ‘극성’, ‘확실성’을 예측하는 Text Multilabel Classfication Task의 DACON 문장 유형 분류 AI 경진 대회에 참가하게 됐습니다. 대회기간이 짧아 모델의 구조를 수정하기보다는 데이터의 품질을 향상시키고 여러 Pretrained모델 중 가장 성능이 잘나오는 몇개의 모델을 찾고자 했습니다. - 데이터 증강, 데이터 전처리 기법을 사용해 데이터셋의 품질과 양을 향상시켰습니다. - Pretrained 모델의 일부분을 얼리고 미세조정을 진행했습니다. - 여러 한국어 Pretrained 모델의 성능을 비교해보면서 성능이 좋은 모델들을 앙상블 했습니다. 이러한 과정..

Project 2023.03.07

[Project]한국 뉴스 감성분류, NER모델 Inference

INTRO https://mz-moonzoo.tistory.com/3 [Project]한국 광고 분류 모델 개발(1) Abstract 본 프로젝트는 뉴스 데이터를 분석하기 위한 전처리 과정에서 사용자가 원하지 않는 정보를 자동적으로 필터링하여 전처리 진행 속도와 정확도를 상승시키는 것을 목적으로 한다. 수집 mz-moonzoo.tistory.com 한국 광고 분류 모델의 경우 학습에 활용할 적당한 데이터셋이 없어서 직접 데이터 라벨링을 진행해야 하기 때문에 시간이 오래 걸리는 관계로 한국 광고 분류 모델 개발에 앞서 감정 분류 모델 개발을 우선 진행하기로 했습니다. 이것 외에도 한국 뉴스 NER 모델 개발도 진행 중입니다. 최종 학습 모델과 학습 데이터셋을 사정상 따로 공개할 수 없어서 베타 버전으로 간..

Project 2023.02.15

[Project]한국 뉴스 NER 모델 개발 (feat. KCELECTRA)

INTRO https://mz-moonzoo.tistory.com/3 [Project]한국 광고 분류 모델 개발(1) Abstract 본 프로젝트는 뉴스 데이터를 분석하기 위한 전처리 과정에서 사용자가 원하지 않는 정보를 자동적으로 필터링하여 전처리 진행 속도와 정확도를 상승시키는 것을 목적으로 한다. 수집 mz-moonzoo.tistory.com 한국 광고 분류 모델의 경우 학습에 활용할 적당한 데이터셋이 없어서 직접 데이터 라벨링을 진행해야 하기 때문에 시간이 오래 걸리는 관계로 한국 광고 분류 모델 개발에 앞서 한국 경제 뉴스 기사 감정 분류 모델 개발을 우선 진행하기로 했다. 이것 외에도 한국 뉴스 NER 모델 개발도 진행 중이다. 최종 학습 모델과 학습 데이터셋을 사정상 따로 공개할 수 없어서 ..

Project 2023.02.15