더보기TL;DR이 문서는 RAG(Retrieval-Augmented Generation)에 대한 최적의 방법을 탐색하고, 각 모듈에 대한 가장 효과적인 접근 방식을 제안합니다. Query Classification 모듈, Retrieval 모듈, Reranking 모듈, Repacking 모듈, Summarization 모듈에 대한 최적의 방법을 제시하며, Multimodal Extension 및 Limitations에 대해서도 다룹니다.https://arxiv.org/abs/2407.01219[Searching for Best Practices in Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) techniques have pro..
Introduction 사용자(및 아이템)의 규모가 커짐으로 인하여 모델의 크기가 지속적으로 증가한다. 많은 연산 시간과 메모리 비용이 필요하기 때문에 실사건 플랫폼에 대규모 모델을 적용하기 어렵다. Knowledge distillation(KD, 지식 증류)는 성능을 유지하면서 모델의 크기를 줄이기 위해 RS에 적용됐다. 여기서 KD는 이전에 학습된 대형 모델(교사)로부터 지식을 이전하여 새로운 소형 모델(학생)의 학습을 가속화하는 전략이다. 이 프로세스의 핵심 아이디어는 교사 모델이 예측한 소프트 라벨이 학습 세트에 명시적으로 포함되지 않은 엔티티(즉, 사용자 및 항목) 간의 숨겨진 관계를 드러내 학생 모델의 학습을 가속화하고 향상시킨다는 것이다. 기존의 방법에는 한계가 있다. 학생 모델의 학습이 교..
Introduction 협업 필터링(CF) 모델은 항목에 대한 사용자의 선호도에 대한 정보를 활용해 개인화된 추천을 제공하는 것을 목표로 합니다. 넷플릭스의 도전으로 인하여 다양한 CF 모델이 제안되었고 그중 MF와 neighborhood model이 널리 사용되고 있습니다. 해당 논문에서는 AutoEncoder 기반의 새로운 CF 모델 AutoRec을 제안합니다. 본 논문은 AutoRec이 CF에 대한 기존 neural approach에 비해 표현적, 계산적인 이점이 있다고 말하고 SOTA 모델임을 경험적으로 입증했다고 합니다. The AutoRec Model Rating-based CF 모델에선 \( m \)명의 사용자와 \( n \)개의 item이 있을 때, user-item rating matri..
Introduction 추천 시스템은 종종 과거 사용자 행동에만 의존하고 명시적인 프로필 작성이 필요하지 않은 CF를 기반으로 합니다. 이는 도메인 지식이 필요하지 않고 광범위한 데이터 수집이 필요하지 않으며 예상치 못한 패턴을 찾을 수 있습니다. 그 결과로 아마존, TiVo 및 넷플릭스를 포함한 일부 상업 시스템에 채택되었습니다. Collaborative Filtering 시스템은 기본적으로 서로 다른 대상(사용자에 대한 항목)을 비교해야 됩니다. 이를 쉽게 하기 위해서는 크게 두 가지로 접근할 수 있습니다. 1) Neighborhood approach 이는 항목 간 또는 사용자 간의 관계를 계산하는 것이 핵심입니다. item-oriented approach는 동일한 사용자에 의한 유사한 item의 평..
Introduction 기존의 연구들은 아래의 방법으로 모델을 선택한다고 합니다. 먼저 대규모 데이터셋으로부터 사전 학습 모델을 뽑아냅니다. 이후 fine-tuning 과정을 거칩니다. (1) hyperparameter를 다양하게 설정 (2) 가장 accuracy가 높은 모델을 채택 여기서 여러 모델의 결과를 앙상블하는 방법이 하나의 싱글 모델을 선택했을 경우보다 더 뛰어는 경우도 있지만, computational cost가 많이 발생한다는 단점이 존재합니다. 본 논문에서는 사전 학습된 대규모 모델을 fine-tuning하는 맥락에서 해당 접근법의 두 번째 단계를 재평가하는데 중점을 두고 있습니다. 이를 통해 추가 추론이나 메모리 비용 없이 많은 모델의 가중치를 평균화하는 "model soups"을 제안..
논문 정보 Xiting Wang, Kunpeng Liu, Dongjie Wang, Le Wu, Yanjie Fu, and Xing Xie. 2022. Multi-level Recommendation Reasoning over Knowledge Graphs with Reinforcement Learning. In Proceedings of the ACM Web Conference 2022 (WWW '22). Association for Computing Machinery, New York, NY, USA, 2098–2108. https://doi.org/10.1145/3485447.3512083 Multi-level Recommendation Reasoning over Knowledge Graphs wit..
