본문 바로가기

분류 전체보기43

[논문 리뷰] Are Emergent Abilities of Large Language Models a Mirage? HTML 삽입 미리보기할 수 없는 소스 한 줄 요약: LLM에서 나타나는 emergent ability들은 모델 평가에 어느 메트릭을 선택하느냐에 따라 나타나지 않을 수 있다. Emergent ability란? Emergent ability에 대해 설명하기 전에 조금 더 포괄적인 개념인 emergent property에 대해 설명하겠습니다. Emergent property이라는 것은 작은 부분들이 모였을 때 예상하지 못하게 나타나는 새로운 특성을 말합니다. 예를 들어, a라는 특성을 가지는 A와 b라는 특성을 가지는 B가 결합을 해 AB가 되었을 때 전에 없던 c라는 특성이 생겨나 abc 특성을 가지게 될 때 c를 emergent property라고 합니다. 아래의 표를 참고해주세요: 집합 A B -> .. 2024. 1. 14.
[논문 리뷰] A Time Series is Worth 64 Words:Long-Term Forecasting With Transformers 요약: transformer 기반의 시계열 예측 모델 PatchTST를 개발했다. PatchTST는 두 가지 특징을 가진다: 1. Channel-independence; 2. Patching. Channel-independence라는 것은 다변량 시계열 데이터(multivariate time series)의 각 채널을 분리하여 여러개의 단변량 시계열 데이터(univariate time series)로 만들어 독립적으로 처리하는 것을 의미한다. Patching은 하나의 긴 시계열에서 연속된 time step들을 한 단위로 묶어 토큰화 하는 것을 말한다. 1. 서문 트랜스포머 기반의 모델들은 자연어처리분야와 컴퓨터비전 분야에서 두루 활용되는 방법입니다. 그러나 시계열 데이터 예측에서만큼은 MLP 기반 모델들.. 2024. 1. 1.
[Bootcamp AI Tech 6기] 8주차 주간 학습 정리 보호되어 있는 글 입니다. 2023. 12. 29.
Tensor 연산에서 dimension을 지정하는 것에 관하여 HTML 삽입 미리보기할 수 없는 소스 numpy와 pytorch를 공부하면 자주 맞딱뜨리면서도 매번 헷갈리는 개념이 있습니다. 바로 행렬 연산에서 dimension을 지정하는 것인데요. 다음 예시 행렬을 보겠습니다: a = torch.arange(0, 18).view(3, 6) a >>> tensor([[ 0, 1, 2, 3, 4, 5], [ 6, 7, 8, 9, 10, 11], [12, 13, 14, 15, 16, 17]]) a는 $3 \times 6$ 행렬 또는 텐서입니다. 우리는 일반적으로 dim=0은 행을, dim=1을 열로 알고있고 실제로도 그렇습니다. 그렇다면, 위의 예시 행렬에서 행의 값들을 더해서 3개의 값을 반환 받고싶다면 어떻게 해야할까요? 행의 값들을 더하고 싶기 때문에 a.sum(.. 2023. 12. 29.
[논문리뷰] Learning to Memorize Entailment and Discourse Relations for Persona-Consistent Dialogues Abstract 대화 시스템에서는 AI의 일관성과 함께 사용자의 몰입이 유지되는 것이 중요하다. 지금까지의 대화 시스템은 대화 참여자(사람)의 특성(성격, 스타일, 선호도 등)을 의도적으로 학습함으로써 대화 시스템의 성능을 향상시켰다. 그러나 이런 방법은 디테일한 라벨링과 함께 많은 데이터를 필요로 한다. 또한 이런 모델들은 맥락에서 벗어나는 문장을 생성하기도 한다. 이 논문은 인격 일관성(persona-consistence)이 있는 대화를 수행하기 위해 entailment와 discourse relation를 학습하는 방식을 제안한다. Entailment: 함축. 하나의 진술이 다른 진술을 논리적으로 내포하는 논리적 관계. 예를 들어, '모든 새는 날개를 가진다'라고 하면 '참새는 날개를 가지고 있다'.. 2023. 12. 27.
[Boostcamp AI Tech 6기] 7주차 주간 학습 정리 보호되어 있는 글 입니다. 2023. 12. 22.

티스토리툴바