대규모 언어 모델링: Gopher, 윤리적 고려 사항과 웹 검색(https://deepmind.com/.../article/language-modelling-at-scale) – 그들의 대규모 언어 모델에 대한 최신 연구를 간결하게 정리한 블로그 포스트. 아래 논문들도 확인하세요.(Gopher(https://storage.googleapis.com/.../Training%20Gopher.pdf), 윤리, 사회적 위험(https://arxiv.org/abs/2112.04359), RETRO(https://arxiv.org/abs/2112.04426)) GOPHER: 국지적 연속 시간 역학을 통한 그래프 구조를 사용하여 범주형 확률 예측하기(https://www.amazon.science/.../gopher-categorical...) 빠르게 진화하는 유해 콘텐츠를 해결하기 위해 우리의 새로운 AI 시스템은 적응적인 형태로써 변화합니다.(https://ai.facebook.com/.../harmful-content-can-evolve.../) – 샘플이 거의 또는 전혀 없는 상황에서 배포를 가속화하는, 일반적인 정책 설명으로부터의 퓨-샷 학습 방법론 PASS: 그래프 컨볼루션 네트워크를 위한 성능 적응형 표본 추출 전략(https://blog.ml.cmu.edu/.../pass-performance-adaptive.../) – GCN 손실을 표본 추출기로 전파하여 타깃 작업의 성능을 최대화하는, 더 크게 GCN을 확장하면서 정확도를 유지하는 방법 스크린 파싱을 통한 사용자 인터페이스 이해(https://blog.ml.cmu.edu/.../understanding-user.../) 통합된, 기반 모델을 향하여: 쌍을 이루지 않은 이미지와 텍스트로 트랜스포머 공동 사전 훈련하기(https://arxiv.org/abs/2112.07074) – GLaM: Mixture-of-Experts를 사용하여 언어 모델을 효율적으로 확장하기(https://arxiv.org/abs/2112.06905) – GPT-3에 비견할 정확도를 그것의 훈련 전력 소비량의 1/3만 써서 달성! ValueNet: 인간 가치 중심 대화 시스템을 위한 신규 데이터셋(https://arxiv.org/abs/2112.06346) – 학제 간 다양한 시각과 새로운 프레임워크(그리고 데이터셋)에 대해 알아보세요. 텍스트 생성을 위한 비(非) 자기 회귀 디노이징 오토 인코더(https://arxiv.org/abs/2112.06749) – 두문자어로 하면 SUNDAE! 분수 위치 인코딩을 사용한, 좀 더 효율적인 삽입(Insertion) 트랜스포머(https://arxiv.org/abs/2112.06295) –
GitHub-https://github.com/micro.../Bringing-Old-Photos-Back-to-Life Colab-https://colab.research.google.com/dri