분류
2025년 2월
작성일
2024.10.09
수정일
2024.10.09
작성자
조상현
조회수
22

다양한 도메인과 데이터 형식에 강건한 사전학습 언어모델 기반의 표 질의응답 방법

표 데이터는 다양한 도메인의 문서에 존재하며, 표 데이터가 존재하는 문서나 데이터의 도메인에 따라 표의 형태와 사용되는 데이터가 크게 달라질 수 있다. 이에 따라, 이러한 다양한 형태나 도메인의 표 데이터에 대응할 수 있는 적합한 학습 방법이 요구된다. 본 논문에서는 다양한 도메인과 형태의 표 데이터를 처리하기 위한 표 질의응답 학습 방법을 제안한다. 표와 텍스트가 결합된 데이터에서 동시에 추론하고 정보를 처리할 때, 표와 텍스트 데이터를 결합된 모델에서 동시에 인코딩하면서 표의 구조적 정보를 효율적으로 인코딩할 수 있는 하이브리드 모델을 설계하여, 하나의 인코더로 결합된 정보를 처리할 수 있도록 하였다. 해당 모델은 KorQuAD 2.0 데이터셋과 TAT-QA 벤치마크에서 기존 방법들보다 우수한 성능을 나타냈다. 또한, 다양한 도메인과 언어의 표 데이터를 강건하게 처리할 수 있는 적대적 학습 및 대조 학습 방법을 제안하여, 다양한 도메인 데이터 및 다중 언어에서의 표 기반 기계독해 모델의 일반화 성능을 향상시켰다. 마지막으로, 표의 정답을 얻기 위한 연산 과정이나 셀 정보가 태깅되지 않은 데이터셋에서 생성형 언어 모델을 활용한 효과적인 약한 감독 기반 학습 방법을 적용하기 위해서 기존의 정답을 직접적으로 생성하는 방식 대신 연산에 필요한 정보를 간접적으로 생성하도록 하고 강화학습과 자가학습을 통해서 성능을 개선하는 SWING 프레임워크를 제안하였다. 해당 프레임워크를 통해 학습된 모델들은 WTQ 데이터셋에서 기존 모델보다 향상된 성능을 보였다.

학위연월
2025년2월
지도교수
권혁철
키워드
표 질의응답, 기계독해, 다중 도메인, 다중 언어, 언어모델, 사전학습
소개 웹페이지
https://delosycho.co.kr/%eb%b0%95%ec%82%ac-%ed%95%99%ec%9c%84%eb%85%bc%eb%ac%b8-%eb%8b%a4%ec%96%91%ed%95%9c-%eb%8f%84%eb%a9%94%ec%9d%b8%ea%b3%bc-%eb%8d%b0%ec%9d%b4%ed%84%b0-%ed%98%95%ec%8b%9d%ec%97%90-%ea%b0%95%ea%b1%b4/
첨부파일
첨부파일이(가) 없습니다.
다음글
An Enhancement of Neural Network by a Nested Rule-Based Approach for Entity Type Identification in Nested Named Entity Recognition
양홍진 2024-10-09 19:06:25.42
이전글
Trust Guard Extension for Enhanced Security Features in Light-weight Embedded Environment
김해용 2024-05-04 15:28:23.25
RSS 2.0 122
게시물 검색
박사학위논문
번호 제목 작성자 작성일 첨부파일 조회수
122 Effective Deep Learning Primitives Design for Bina 황선진 2024.10.14 0 11
121 Toward Immersive Multi-view Video Streaming 탄중 디온 2024.10.14 0 10
120 A Low-cost Deep Learning Model for Real-time Surve 등 제강 2024.10.10 0 22
119 An Enhancement of Neural Network by a Nested Rule- 양홍진 2024.10.09 0 27
118 다양한 도메인과 데이터 형식에 강건한 사전학습 언어모델 기반의 표 질의응답 방법 조상현 2024.10.09 0 22
117 Trust Guard Extension for Enhanced Security Featur 김해용 2024.05.04 0 58
116 Task-Specific Differential Private Data Publish Me 신진명 2024.04.09 0 57
115 Advanced Defense Framework against Physical Advers 김용수 2024.04.08 0 73
114 한글 메신저 채팅의 크로스 텍스팅 탐지를 위한 저자 검증 모형 이다영 2024.04.05 0 83
113 상태 기반 테스트 시나리오 보강 방법 이선열 2023.10.17 0 150
112 Manufacturing Testing Automation FrameworkBased on 강효은 2023.10.17 0 172
111 Synthesizing Robust Physical Camouflage for Univer 수랸토 나우팔 2023.10.16 0 166
110 복잡도 다양성을 고려한 C 프로그램의 시험 용이성 예측 모형 구축 방법 최현재 2023.10.16 0 140
109 Design and Optimization of Quantum Arithmetic Circ 라라사티 하라스타 타티마 2023.10.13 0 168
108 Improving 6TiSCH Network Formation and Transmissio 파와즈 자키 자키얄 2023.10.10 0 157
107 저지연 고신뢰 운전자 프로파일링을 위한 딥러닝 모델 및 조기 종료 기법 임재봉 2023.10.08 0 220
106 802.11ax 대규모 Wi-Fi 환경의 심층 생성 모델을 활용한 트래픽 모델링 및 AP 이재민 2023.04.07 0 132
105 뉴런 클러스터를 활용한 합성곱 신경망 이미지 분류 신뢰성 향상 방법 이영우 2023.04.06 0 124
104 Trust Guard Extension Framework for Enhanced Secur 김해용 2023.04.06 0 105
103 노이즈 오염 하에서의 효율적 최적화를 위한 확률적 평가 샘플 누적 전략 김정민 2023.04.06 1 135