티스토리

JS LAB

검색하기

블로그 홈

JS LAB

ai-innovation.tistory.com/m

Ai, DataScience, RecSys, Generative Ai, MoE, LLM

구독자: 2

방명록 방문하기

공지 Hello_World 모두보기

728x90

반응형

주요 글 목록

[1] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts ContributionThey propose a novel Multi-gate Mixture-of-Experts model which explicitly models task relationships.They conduct control experiments on synthetic data. They report how task relatedness affects training dynamics in multi-task learning and how MMoE improves both model expressiveness and trainability.They conduct experiments on real benchmark data and a large-scale production recommenda.. 공감수 0 댓글수 0 2025. 3. 23.
[3] Switch Transformers: Scaling to Trillion Parameter Modelswith Simple and Efficient Sparsity GShardMoE Tranformer encoder with device placementlimitationstok-k experts lead to load imbalance problem for trainingexpensive network routinggating function should not choose the same few experts Switch TransformerContributionsSwitch Transformer simplifies and improves over MoE.Scalilng properties and a benchmark against T5 model, with 7x + pre-training speedups and same FLOPS over token.Succe.. 공감수 0 댓글수 0 2025. 3. 12.
꽤 괜찮은 논문 요약 프롬프트 Ver.11) 논문의 abstract를 요약2) 논문이 제기한 문제상황3) 논문이 제안하는 해결책과 핵심 아이디어4) 논문이 제안한 것을 구현하기 위한 실험 설계 과정 및 방식5) 논문에 사용된 데이터나 모델아키텍처6) 논문의 novelty7) 향후 연구 방향8) 논문의 결론을 정리해서 단계별로 정확하게 기술해줘. 공감수 0 댓글수 0 2025. 3. 8.
[2] Recommending What Video to Watch Next: A MultitaskRanking System(2019 RecSys) 깃허브 : https://github.com/JsuccessJ/youtube_ranking_system GitHub - JsuccessJ/youtube_ranking_system: Recommending What Video to Watch Next: A Multitask Ranking System(2019 RecSys)Recommending What Video to Watch Next: A Multitask Ranking System(2019 RecSys) - JsuccessJ/youtube_ranking_systemgithub.com 1. Introduction유튜브(YouTube)와 같은 대규모 비디오 추천 시스템에서 “다음에 시청할 영상을 추천”하는 문제를 다룹니다. 기존의 대규모 추천 시스템은 다.. 공감수 1 댓글수 0 2025. 3. 4.
LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading1) 어떤 저널 or 학회인가?Association for the Advancement of Artificial Intelligence (AAAI), 20252) 논문의 제목LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading3) 논문의 주제금융 시장에서의 Mixture-of-Experts (MoE) 모델을 활용한 트레이딩 전략 개선**Large Language Models (LLMs)**을 MoE의 라우터(router)로 활용하여 **문자 데이터(뉴스)와 수치 데이터(주가)**를 통합기존 MoE의 정적 라우.. 공감수 2 댓글수 2 2025. 2. 16.
Modeling Interactions Between Stocks Using LLM-Enhanced Graphs for Volume Prediction Modeling Interactions Between Stocks Using LLM-Enhanced Graphs for Volume Prediction1) 저널/학회 및 연도Proceedings of the Joint Workshop of the 9th FinNLP, the 6th FNP, and the 1st LLMFinLegal(2025)출판 연도: 2025년주최: Association for Computational Linguistics (ACL)2) 논문 제목Modeling Interactions Between Stocks Using LLM-Enhanced Graphs for Volume Prediction3) 논문의 주제대형 언어 모델(LLM)을 활용한 주식 간 상호작용 모델링거래량 예측을 위한.. 공감수 2 댓글수 0 2025. 2. 16.
TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations "TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations"1) 저널 or 학회 및 년도IEEE Transactions on Knowledge and Data Engineering (TKDE), 2024.IEEE TKDE는 데이터 마이닝, 머신러닝, 추천 시스템 등의 연구에서 권위 있는 저널 중 하나.2) 논문의 제목TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations.3) 논문의 주제대형 언어 모델(LLM)을 활용한 **생성형 추천 시스템(Generative Recommendation)**에서,사용자 및 아이템 ID를 효과적으로 토큰화(Tokeni.. 공감수 0 댓글수 0 2025. 2. 15.
Learnable Item Tokenization for Generative Recommendation "Learnable Item Tokenization for Generative Recommendation"1) 저널 or 학회 및 년도ACM International Conference on Information and Knowledge Management (CIKM '24), 2024.2) 논문의 제목Learnable Item Tokenization for Generative Recommendation.3) 논문의 주제대형 언어 모델(LLM) 기반 생성형 추천 시스템에서 아이템 토큰화(Item Tokenization) 문제를 해결하기 위한 새로운 방법론 LETTER (LEarnable Tokenizer for generaTivE Recommendation) 제안.기존 토큰화 방식(ID 기반, 텍스트 기.. 공감수 0 댓글수 0 2025. 2. 15.
Large Language Models for Next Point-of-Interest Recommendation "Large Language Models for Next Point-of-Interest Recommendation"1) 저널 or 학회 및 년도International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '24), 2024.2) 논문의 제목Large Language Models for Next Point-of-Interest Recommendation.3) 논문의 주제다음 방문할 장소(Next Point-of-Interest, POI) 추천 시스템을 위한 대형 언어 모델(LLM) 기반 프레임워크(LLM4POI) 제안.위치 기반 소셜 네트워크(Location-Based Social Network,.. 공감수 0 댓글수 0 2025. 2. 15.
Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System "Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System"https://arxiv.org/pdf/2404.11343 1) 저널 or 학회 및 년도ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '24), 2024.2) 논문의 제목Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System.3) 논문의 주제대형 언어 모델(LLM)과 협업 필터링(CF)을 결합한 추천 시스템(A-LLMRe.. 공감수 0 댓글수 0 2025. 2. 15.
라그랑주 승수법 (Lagrange Multipliers) 라그랑주 승수법 (Lagrange Multipliers)란?라그랑주 승수법은 제약 조건이 있는 최적화 문제를 풀기 위한 수학적 방법이야.즉, 어떤 함수의 극값(최대값 또는 최소값)을 찾되, 특정한 조건을 만족해야 할 때 사용하는 방법이지.1. 기본 개념우리는 보통 함수를 최적화(최대값, 최소값을 찾는 것)할 때, 단순히 미분해서 f'(x) = 0을 푸는 방식으로 해결할 수 있어.하지만, 어떤 제약 조건(constraint)이 주어졌을 때는 일반적인 미분만으로 풀기가 어려워져.예를 들어:"어떤 2차 함수의 최대값을 구하되, 반드시 원 위에서만 값을 찾아야 한다."이런 경우, 라그랑주 승수법을 사용하면 쉽게 최적화 문제를 해결할 수 있어.2. 문제 설정우리는 어떤 함수 f(x,y) 를 최적화(최대 또는 최소.. 공감수 1 댓글수 0 2025. 2. 14.
[회의록] 사투리번역 진행도3 - api 사용과 추가 연구에 대한 생각 사투리) 데이터셋에서 (표준어->영어) 번역 작업 중> 무료버전으로 하는 중이라 그런지 이틀째 실행 중인데 꽤 걸리는 것 같다.. 115000 문장 정도.... 진행하다가 생긴 질문인데 구글API도 무료버전이라 중간에 자꾸 끊기거나 에러가 많아서 sleep(0.3)을 추가하고 4개씩 병렬 작업 하게 하는 등 추가 코드를 많이 입력했는데 네이버나 chatGPT는 무료,유료 제약차이가 좀 큰 것 같다. chatGPT API 기준 요금이 많이 비싼 것 같진 않았는데 아직 실제로 돌려보진 않아서 체감이 잘 안된다 유료버전의 후기가 궁금하다. 그리고 데이터셋이 모두 만들어졌다는 가정하에 ..(네이버API) ..(구글API) ..(chatGPT API) 1) 아무작업없이 KoBART 기본모델에 (사투리->영어) 번.. 공감수 0 댓글수 0 2023. 8. 27.
[회의록] 사투리번역 진행도2 - 구글 trasnslate api 오류 'Translator' object has no attribute 'raise_Exception' "Translator' object has no attribute 'raise_Exception'"와 같은 오류는 코드에서 Google 번역기 객체를 잘못 사용했을 때 발생할 수 있습니다. 이 오류 메시지는 'raise_Exception'라는 속성이 Translator 객체에 존재하지 않는다는 것을 나타냅니다. 이러한 오류가 발생하는 원인은 다양할 수 있지만, 주로 다음과 같은 이유로 발생합니다. 버전 호환성 문제: 코드와 사용 중인 라이브러리/패키지 버전 간의 호환성 문제가 있을 수 있습니다. Google Translate API의 라이브러리가 업데이트되거나 변경될 때 코드와의 호환성 문제가 발생할 수 있.. 공감수 0 댓글수 0 2023. 8. 26.
[회의록] 사투리번역 진행도1 - 사투리를 영어로 바로 번역해보자 내가 진행하는 논문 주제는 트랜스포머를 이용한 사투리의 영어 번역 조사해본 바로는 사투리가 번역되려면 사투리 -> 표준어 -> 영어 이런 식으로 두 단계를 거쳐야 하는 걸로 알고 있다. 사투리 -> 영어로 바로 번역을 하는 방법이나 정확도를 높이기 위한 방법에 대해서 팀원과 연구해보고 있었다. 1차진행 데이터셋 : AI허브에서 사투리-표준어(경상도,전라도,강원도,제주도,충청도) 텍스트 자료를 이용하여 표준어 -> 번역모델( Helsinki-NLP/opus-mt-ko-en ) -> 영어 사투리 -> 번역모델( Helsinki-NLP/opus-mt-ko-en ) -> 영어 를 작업한 뒤 비교.. 애매했다 1차 자문 자연어처리 연구실 박사과정 대학원생분께 자문을 구함 1. 사투리 -> 영어 바로 번역하는 방법.. 공감수 1 댓글수 0 2023. 8. 26.
[회의록] 2023.07.10 질의응답모델 공감수 0 댓글수 0 2023. 7. 10.
[회의록] 2023.07.03 지식인 소아과 데이터로 크롤링 해보기로 결정 하이닥은 크롤링이 자체적으로 막혀 있어서(?) 전화해보기로 교수님 말씀 단순 질문에 대한 1차 답변 모델을 만들 것인지 챗봇처럼 질의응답이 가능하게 할 것인지 고민해볼 것 지식인은 추가 질문과 답변이 많이 없어서 모델훈련에 대한 고민을 해볼 것 생성모델은 어떤 것을 쓸 지 고민 다음 주 월요일 9시 미팅까지 또 추가적인 조사가 필요해보인다 그래도 주제 방향은 많이 정해진 것 같아 다행이다 계절학기가 얼른 끝나면 더 많이 집중하고 싶다 공감수 0 댓글수 0 2023. 7. 3.
[회의록] 2023.06.26 주제 : (의료?) 데이터를 이용해 챗봇 개발 데이터셋 사이트 1. 보건의료빅데이터개방시스템 의료데이터라 관련서류 제출필요 https://opendata.hira.or.kr/home.do 보건의료빅데이터개방시스템 건강보험심사평가원에서 보유하고 있는 다양한 보건의료데이터를 국민에게 개방합니다. 서비스 소개 바로가기 이전 일시정지 시작 다음 opendata.hira.or.kr 2. Aihub 소아관련 음성+텍스트 https://www.aihub.or.kr/aihubdata/data/list.do?pageIndex=1&currMenu=115&topMenu=100&dataSetSn=&srchOrder=&SrchdataClCode=DATACL001&searchKeyword=%EC%86%8C%EC%95%84&src.. 공감수 0 댓글수 0 2023. 6. 26.
NLP_6_미리 학습된 모델 언어 모델이란 단어 시퀀스에 확률을 부여하는 모델이다. 문장에서 i번째로 등장하는 단어를 $$w_{i}$$ 로 표시하면 n개 단어로 구성된 문장이 해당 언어에서 등장할 확률, 즉, 언어 모델의 출력은 다음 수식처럼 쓸 수 있다 $$P(w_{1},w_{2},w_{3},w_{4},...,w_{n})$$ 이 수식은 n개 단어가 동시에 나타날 결합 확률(joint probability) 잘 학습된 한국어 모델이 있다면 P(무모, 운전) 보다 P(난폭, 운전) 이 큰 확률 값을 가질 것 그렇다면 난폭이 나타난 다음 운전이 나타날 확률은 ? 공감수 0 댓글수 0 2023. 6. 26.
[논문리뷰] Medical Specialty Recommendations by an Artificial Intelligence Chatbot on a Smartphone: Development and Deployment https://www.jmir.org/2021/5/e27460/ Medical Specialty Recommendations by an Artificial Intelligence Chatbot on a Smartphone: Development and Deployment Introduction The COVID-19 pandemic has encouraged the development of telemedicine and the use of digital platforms []. In the field of remote medical support, various digital tools help minimize the number of face-to-face interactions between pat.. 공감수 2 댓글수 0 2023. 6. 25.
[딥러닝] 데이터셋 제공 사이트 국내 1. 네이버 데이터랩 http://datalab.naver.com/ 2. 공공데이터 포털 https://www.data.go.kr/ 3. 서울시 데이터 - 서울연구데이터 서비스 http://data.si.re.kr/ - 서울 열린데이터광장 http://data.seoul.go.kr/ - 서울특별시 빅데이터 캠퍼스 https://bigdata.seoul.go.kr/data/selectPageListDataSet.do?r_id=P210 4. 빅데이터 분석 최신 동향 및 실습 데이터 제공 https://kbig.kr/#none 5. 금융관련 데이터 - 금융통계정보시스템 http://fisis.fss.or.kr/ - 금융위원회 http://www.fsc.go.kr/ - 한국금융연구원 http://www.k.. 공감수 0 댓글수 0 2023. 6. 25.
[논문리뷰] Detection of Depression and Suicide Risk Based on Text From Clinical Interviews Using Machine Learning: Possibility of a New Objective Diagnostic Marker https://www.frontiersin.org/articles/10.3389/fpsyt.2022.801301/full Detection of Depression and Suicide Risk Based on Text From Clinical Interviews Using Machine Learning: Possibility of a New Obj BackgroundDepression and suicide are critical social problems worldwide, but tools to objectively diagnose them are lacking. Therefore, this study aimed to diagnose depression through machine learning .. 공감수 0 댓글수 0 2023. 6. 24.
[딥러닝 개념] AUC 성능지표 이진 분류기 성능을 평가하는데 널리 사용되는 AUC 성능지표 이진분류기(binary classifier)는 양성과 음성 , 1과 0, +와 -, 앞과 뒤 같은 두 가지의 클래스를 분류하는 분류기를 뜻함 이진 분류기의 성능을 평가하는데 사용되는 것 중 하나의 지표가 AUC(Area Under the ROC curve) AUC는 ROC 곡선 아래 부분의 넓이로 해석 ROC 곡선이란?! ROC (Receiver Operation Characteristic Curve) 우리말로 수신자 판단 곡선 ROC 곡선과 이에 기반한 AUC 스코어는 이진 분류의 예측 성능 측정에서 중요하게 사용되는 지표 ROC 곡선은 FPR (False Positive Rate) 이 변할 때 TPR (True Positive Rate) 이.. 공감수 0 댓글수 0 2023. 6. 24.
NLP_4_토큰화란? 토큰화 tokenization 문장을 토큰 시퀀스로 나누는 과정 수행 대상에 따라 문자, 단어, 서브워드 등 세 가지 방법 존재 트랜스포머 모델은 토큰 시퀀스를 입력받으므로 문장에 토큰화를 수행 필요 토크나이저 tokenizer 토큰화를 수행하는 프로그램 대표적 한국어 토크나이저 은전한닢(mecab), 꼬꼬마(kkma).. 이들 분석기는 토큰화뿐만 아니라 품사 부착 Part of Sepeech tagging 까지 수행 단어 단위 토큰화 가장 쉽게는 공백으로 분리 example 어제 카페 갔었어 -> 어제, 카페, 갔었어 어제 카페 갔었는데요 -> 어제, 카페, 갔었는데요 공백으로 분리하면 별도로 토크나이저를 쓰지 않아도 된다는 장점이 있지만, 어휘 집합 vocabulary 의 크기가 매우 커질 수 있다 .. 공감수 0 댓글수 0 2023. 6. 21.
NLP_3_파인튜닝 외의 다운스트림 태스크 학습법 파인튜닝(fine-tuning) 다운스트림 태스크 데이터 전체 사용 다운스트림 데이터에 맞게 모델 전체를 업데이트 프롬프트 튜닝(prompt tuning) 다운스트림 태스크 데이터 전체 사용 다운스트림 데이터에 맞게 모델 일부만 업데이트 인컨텍스트 러닝(in-context learning) 다운스트림 태스크 데이터의 일부만 사용 모델을 업데이트 하지 않음 인컨텍스트 러닝 1 : 제로샷 러닝(zero-shot learning) 다운스트림 태스크 데이터를 전혀 사용하지 않음 모델이 바로 다운스트림 태스크 수행 인컨텍스트 러닝 2 : 원샷 러닝(one-shot learning) 다운스트림 태스크 데이터를 1건만 사용 모델은 1건의 데이터가 어떻게 수행되는지 참고한 뒤 다운스트림 태스크 수행 인컨텍스트 러닝 3.. 공감수 0 댓글수 0 2023. 6. 21.
NLP_2_트랜스퍼 러닝 트랜스퍼 러닝(transfer learning) 트랜스퍼 러닝이란 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법을 가리킨다. 다음 그림처럼 태스크2를 수행하는 모델을 만든다고 가정하면 트랜스퍼 러닝이 도움이 될 것이다. 모델이 태스크2를 배울 때 태스크1을 수행해 봤던 경험을 재활용하기 때문이다! 트랜스퍼 러닝이란 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법이다. 트랜스퍼 러닝을 적용하면 기존 보다 모델의 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 있다. BERT, GPT 등도 트랜스퍼 러닝이 적용되었다. 그림 1-6에서 태스크1은 업스트림 태스크라고 부르고 태스크2는 다운스트림 태스크 라고 부른다. 태스크1은 다음 단어 맞히기, 빈칸 채우기 등의 .. 공감수 1 댓글수 0 2023. 6. 20.
NLP_1_딥러닝 기반 자연어 처리 모델 기계의 자연어 처리 기계가 사람 말을 알아듣는 것처럼 보이게 하려면 어떤 요소들이 있어야 할까? model model은 입력을 받아 어떤 처리를 수행하는 함수이다. model의 출력은 확률이다. 확률이란 어떤 사건이 나타날 가능성을 의미하는 수치이며 0에서 1사이의 값으로 나타난다. 다시 말해 model은 어떤 입력을 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 그렇다면 자연어 처리 모델에서 model의 입력은 무엇일까! 바로 사람의 말, 즉 '자연어' 이다. 자연어 처리 모델은 자연어를 입력받아서 해당 입력이 특정 범주일 확률을 반환하는 확률 함수! 딥러닝 모델의 학습 딥러닝 자연어 처리 모델을 만들려면 무엇을 해야할까? 우선 데이터를 준비 각 문장에 레이블을 달아 놓은 자료가 있어야.. 공감수 0 댓글수 0 2023. 6. 20.

728x90

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.