MZ._.GPT

최신 기술의 발전 속도가 워낙 빠르다 보니 시기를 조금 놓친 감은 있지만, 예전에 정리해두었던 내용을 그대로 두기는 아쉬워서 간단하게 요약해서 공유하고자 합니다. 자세한 내용들이 궁금하시면 위키독스 같은 곳에서 찾아보시면 좋습니다. LLM의 근간이 되는 트랜스포머(Transformer) 아키텍처가 목적에 따라 어떻게 분화되었는지, 그리고 현재 RAG(검색 증강 생성) 시스템에서는 이 모델들이 어떤 역할을 하고 있는지 정리해 보았습니다. 기초적인 내용이지만, NLP(자연어 처리)의 흐름을 이해하는 데 도움이 되기를 바랍니다. 1. 트랜스포머 아키텍처의 분화2017년 구글이 'Attention Is All You Need' 논문을 통해 트랜스포머(Transformer) 모델을 발표한 이후, NLP 모델은 사..

https://mz-moonzoo.tistory.com/80 [DL] RNN - Recurrent Neural Networks 이론 정리0. RNN (Recurrent Neural Network) RNN(Recurrent Neural Network)은 시간적으로 순차적인 데이터를 처리할 수 있도록 설계된 인공신경망으로, 과거 정보를 현재의 계산에 활용할 수 있는 순환 구조를 가진 모델mz-moonzoo.tistory.com https://mz-moonzoo.tistory.com/105 [NLP] LSTM - Long Short-Term Memory 이론 및 단점 (+ GRU)https://mz-moonzoo.tistory.com/80 [DL] RNN - Recurrent Neural Networks 이론..

https://mz-moonzoo.tistory.com/80 [DL] RNN - Recurrent Neural Networks 이론 정리0. RNN (Recurrent Neural Network) RNN(Recurrent Neural Network)은 시간적으로 순차적인 데이터를 처리할 수 있도록 설계된 인공신경망으로, 과거 정보를 현재의 계산에 활용할 수 있는 순환 구조를 가진 모델mz-moonzoo.tistory.com 안녕하세요! 오늘은 과거에 작성했던 RNN의 한계점을 개선한 LSTM에 대해 깊이 있게 알아보고자 합니다.그래도 바로 LSTM으로 들어가는 것보다는 간단하게 RNN에 대해 짚고 넘어가는게 좋겠죠?1. 순환 신경망 (RNN, Recurrent Neural Network)의 작동 원리 및..

https://mz-moonzoo.tistory.com/103 [NLP] 기업명으로 특정 산업군 분류 : RNN 구조만을 사용하여 성능 개선 (feat. Tensorflow / Keras)https://mz-moonzoo.tistory.com/80 [DL] RNN - Recurrent Neural Networks 이론 정리0. RNN (Recurrent Neural Network) RNN(Recurrent Neural Network)은 시간적으로 순차적인 데이터를 처리할 수 있도록 설계된 인공신경망으로, 과거mz-moonzoo.tistory.com 안녕하세요! 지난 1편에서는 '업체명'이라는 단일 텍스트 정보만을 사용하여 산업군을 분류하는 RNN 모델의 성능을 개선하기 위해 다양한 데이터 전처리, 불균형..

https://mz-moonzoo.tistory.com/80 [DL] RNN - Recurrent Neural Networks 이론 정리0. RNN (Recurrent Neural Network) RNN(Recurrent Neural Network)은 시간적으로 순차적인 데이터를 처리할 수 있도록 설계된 인공신경망으로, 과거 정보를 현재의 계산에 활용할 수 있는 순환 구조를 가진 모델mz-moonzoo.tistory.com https://mz-moonzoo.tistory.com/102 [NLP] RNN 메커니즘 Numpy 직접 구현 실습https://mz-moonzoo.tistory.com/80 [DL] RNN - Recurrent Neural Networks 이론 정리0. RNN (Recurrent N..

0. RNN (Recurrent Neural Network) RNN(Recurrent Neural Network)은 시간적으로 순차적인 데이터를 처리할 수 있도록 설계된 인공신경망으로, 과거 정보를 현재의 계산에 활용할 수 있는 순환 구조를 가진 모델입니다. 시간에 따라 동일한 가중치를 공유하는 것이 특징이라고 할 수도 있습니다. 이러한 특징은 시계열 데이터, 자연어 처리(NLP), 음성 인식, 주가 예측 등 순서와 맥락이 중요한 데이터 처리에서 강점을 보입니다. 1. First-order System과 RNN의 유사성First-order system은 시스템 동역학(dynamics)을 기술할 때 사용되는 수학적 모델로, 시스템의 현재 상태가 이전 상태와 현재 입력에 의해 결정되는 구조를 가집니다. 주로..

0. 요약 본 논문에서는 딥러닝 객체 인식을 기반으로 한글 문서 내 표 및 박스의 텍스트 정보를 추출하고 이를 재배열하여 문장화하는 방안을 제시하였습니다. 객체 감지 모델 Yolo를 통해 추출한 문서 내 표 및 박스의 좌표 정보를 토대로 OpenCV와 Google Cloud Platform의 Vision API를 적용하여 문서로부터 표 및 박스 이미지를 분리하고 텍스트를 감지하였습니다. 추출한 표 및 박스 내 텍스트를 문장화하기 위한 규칙 기반의 텍스트 재배열 방법을 제안하였으며 이를 통해 표의 텍스트 정보가 원래 의도된 문장으로 도출되는지 확인하였습니다. 1. 서론 문서 내에는 본문의 텍스트 정보뿐만 아니라 다양한 형태의 그림이나 표 등의 자료를 포함하고 있는 경우가 많습니다. 이러한 자료 중 표 내부..

1. 서론 문서 내 표 영역의 경우, 표 내부 항목명과 항목 내용을 인식하는 것은 업무 자동화를 위한 문서 처리 에 있어서 중요한 부분입니다. 하지만 OCR만을 통해서는 표 내부의 문자를 인식하는 것에만 국한되어있고, 해당 내용이 무슨 의미를 가지는지는 인식을하지 못합니다. 따라서 문서 인식을 수행한 후, 사람의 손으로 항목을 분류해야 한다는 불편함이 있으며, 표 영역 내 구분자는 문자 인식의 정확도를 떨어뜨리는 요인이 되기도 합니다. 본 논문에서는 딥러닝 신경망을 통해 표 항목 내의 문자를 인식하고, 이를 통해 문서를 디지털화하는 방법을 제안합니다. 먼저 스캔된 문서 이미지 파일에서 CNN을 통해 표 영역을 검출합니다. 그 후, 표 영역 내 수직선과 수평선의 구분자로 분리된 각 영역을 검출한 후, 각각..

0. 요약 NLP 사전 학습 모델이 널리 사용되고 있지만, 대부분 텍스트에만 집중하고 문서 이미지 이해에 필수적인 레이아웃과 스타일 정보는 간과하고 있습니다. 본 논문에서는 스캔된 문서 이미지 전반에 걸쳐 텍스트와 레이아웃 그리고 이미지 정보를 고려한 joint 모델 LayoutLM을 제안합니다. (BERT + Fast R-CNN) LayoutLM이 문서 이미지 이해를 위해 텍스트와 레이아웃의 정보를 단일 프레임워크에서 학습하는 첫 번째 사례입니다. 이는 여러 Downstream task에서 최고 성능을 달성했습니다. form understanding (70.72 → 79.27) receipt understanding(94.02 → 95.24) document image classification (93..

1. Document Layout Analysis? 사람이 문서를 읽을 때에는 어떤 부분이 제목인지, 표는 어떻게 읽어야하는지, 이미지 아래에 작게 들어간 글자는 캡션이라고 이해하는 것 등 문서 내 정보에 대해 자연스럽게 인식할 수 있습니다. 하지만 OCR 기술은 단순히 글자만 인식할 뿐, 문서에 대해 자동으로 이해하고 각 글자들이 어떤 맥락에서 배치되어 있는지는 전혀 읽어내지 못합니다. 그래서 등장한 것이 Document Layout Analysis 기술입니다. 컴퓨터 비전(CV) 또는 자연어 처리(NLP)에서 사용하는 기술로, 주로 텍스트 문서내에서 관심 영역을 식별하고 분류하는 기술입니다. 이 기술은 문서의 레이아웃을 분석하여 텍스트, 이미지, 표, 그래프 등 다양한 요소를 구분하고, 이러한 요소들..