Rogerspy's Home

2022


Dijkstra's Algorithm in 5 steps with Python

2021


预训练语言模型:CVT
预训练语言模型:Pre-trained seq2seq
预训练语言模型:Data noising smoothing
深入理解 einsum:实现多头注意力机制
预训练语言模型:context2vec
预训练语言模型-Semi-supervised Sequence Learning
数据结构与算法:双端队列(deque)
数据结构与算法:优先队列(priority queue)
数据结构与算法:循环队列(circular-queue)
数据结构与算法:队列(queue)
数据结构与算法:队列类型
数据结构与算法:栈(stack)
知识图谱:知识建模(三)RDFS/OWL 词汇表
预训练语言模型:CoVe
知识图谱:知识建模(二)构建本体的方法论
双数组前缀树
预训练语言模型:Word Embedding
算法与数据结构(Python):array
ROC-AUC原理及计算方法
Data Structures With Python
知识图谱:知识建模(一)不那么简要的知识建模简介
知识图谱:综述(三)Schema, Identity, Context
知识图谱:综述(二)Data Graphs
知识图谱:综述(一)前言
数据结构与算法:分治算法
24种二分类模型的评估方法
数据结构与算法:时间复杂度
数据结构与算法:数据结构简介
NL2SQL 综述
推荐系统发展里程碑
数据结构与算法:算法简介
预训练语言模型-神经网络语言模型:CNNLM
Text-to-Viz:根据语言描述自动创建信息图表
随机梯度下降中隐式正则化的起源
预训练语言模型-神经网络语言模型:LSTMLM
预训练语言模型-神经网络语言模型:RNNLM
预训练语言模型-神经网络语言模型:FFNNLM
预训练语言模型-对数线性语言模型
预训练语言模型-统计语言模型平滑技术(补充)
预训练语言模型-统计语言模型
神经网络的正则化
交叉熵与 KL 散度
模型压缩——网络量化
模型压缩——知识蒸馏

2020


预训练语言模型-前言
Transformer家族之Deep Transformer
Transformer家族之Guassian Transformer
Transformer家族之Universal Transformer
Transformer家族之Insertion-Deletion Transformer
Transformer家族之Levenshtein Transformer
Transformer家族之Transformer-InDIGO
Transformer家族之Non-Monotonic Transformer
Transformer家族之KERMIT
Transformer家族之Insertion Transformer
Transformer家族之Sparse Transformer
Transformer家族之Blockwise Transformer

2019


Transformer家族之Share Attention Networks
Transformer家族之Semi-Autoregressive Transformer
Transformer家族之NA Trasnsformer
Transformer家族之Latent Transformer
Transformer家族之Average Attention Network
Transformer家族之Weighted Transformer
Transformer的每一个编码层都学到了什么?
Transformer代码实现-Tensoflow版
Transformer代码实现-Pytorch版
关于Transformer的分析
NLP中的注意力机制简介(二)
NLP中的注意力机制简介(一)