본문으로 건너뛰기
Juhyeon's Blog
Search
검색
다크 모드
라이트 모드
탐색기
Home
❯
AI
❯
Papers
❯
Architecture
폴더: AI/Papers/Architecture
16건의 항목
2026년 4월 13일
A Survey on Mixture of Experts in Large Language Models
L
H
2026년 4월 13일
Architecture
2026년 4월 13일
Attention Is All You Need
2026년 4월 13일
Attention Residuals
paper
Architecture
ResidualConnection
DepthAttention
AttnRes
PreNorm
KimiLinear
ScalingLaw
MoE
2026년 4월 13일
Attention, Learn to Solve Routing Problems!
2026년 4월 13일
BERT - Pre-training of Deep Bidirectional Transformers for Language Understanding
bert
pre-training
bidirectional
mlm
nsp
baseline-selection
hyperparameters
2026년 4월 13일
Efficiently Modeling Long Sequences with Structured State Spaces
paper
SSM
StateSpaceModel
S4
HiPPO
LongRangeDependencies
NPLR
CauchyKernel
ICLR2022
Architecture
FoundationalPaper
2026년 4월 13일
GQA - Training Generalized Multi-Query Transformer Models
gqa
grouped-query-attention
multi-query-attention
inference
baseline-selection
2026년 4월 13일
Hyena Hierarchy - Towards Larger Convolutional Language Models
paper
Architecture
SubQuadratic
LongConvolution
HyenaOperator
AttentionFree
SSM
ICML2023
DataControlledGating
2026년 4월 13일
Improving Language Understandingby Generative Pre-Training
GPT1
2026년 4월 13일
Mamba - Linear-Time Sequence Modeling with Selective State Spaces
paper
SSM
SelectiveSSM
Mamba
Architecture
LinearTime
SelectionMechanism
HardwareAware
ParallelScan
StateSpaceModel
HiPPO
2026년 4월 13일
RoFormer - Enhanced Transformer with Rotary Position Embedding
rope
rotary-position-embedding
position-encoding
transformer
baseline-selection
2026년 4월 13일
Sentence-BERT-Sentence Embeddings using Siamese BERT-Networks
2026년 4월 13일
StripedHyena - Moving Beyond Transformers with Hybrid Signal Processing Models
paper
Architecture
HybridModel
StripedHyena
Hyena
Attention
LongContext
SubQuadratic
TogetherAI
BeyondTransformer
ModelGrafting
2026년 4월 13일
SwiGLU - GLU Variants Improve Transformer
swiglu
glu
ffn
activation
transformer
baseline-selection
2026년 4월 13일
Transformer Attention Variants Survey