自然语言处理：大模型理论与实践
AI智能总结
20249 40CCFA/B14IEEE Trans.TKDETNNLS TMM TMCTETCACLKDD ICME211211311 AAIA FellowCAAI FellowRen-CECps ChatGPT 2024917 Natural Language Processing, NLPNLPNLP2022ChatGPT NLPNLPPython NLPNLPNLP TransformerGPT GLM A 1 20249 (·)T|| · ||σ(·)Sigmoid⊙ReLU∑log(·)∏P(·)| · |maxO(·)sin(·)cos(·)RE(·)sim(·)∝ viii exp(·) lim ∫ ∇ i iii vii 1 1.1. . . . . . . . . . . . . . . . . . . . . . . . .11.2. . . . . . . . . . . . . . . . . . . . . . . . .21.3. . . . . . . . . . . . . . . . . . . .41.3.1. . . . . . . . . . . . . . . . . . . . . . . .41.3.2. . . . . . . . . . . . . . . . . . . . . . . . . .301.4. . . . . . . . . . . . . . . . . .401.5. . . . . . . . . . . . . . . . . . . . . . . . . . . .411.6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .421.7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42 45 2.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .472.2. . . . . . . . . . . . . . . . . . . . . . . . . . . .472.2.1. . . . . . . . . . . . . . . . . . . . . . . . . .482.2.2. . . . . . . . . . . . . . . . . . . . . . . . .492.3Word2Vec. . . . . . . . . . . . . . . . . . . . . . . . . . .502.3.1CBOW. . . . . . . . . . . . . . . . . . . . . . . .50 2.3.2Skip-gram. . . . . . . . . . . . . . . . . . . . . . .532.4GloVe. . . . . . . . . . . . . . . . . . . . . . . . . . . . .542.5ELMo. . . . . . . . . . . . . . . . . . . . . . . . . . . . .562.6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .582.7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59 61 3.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .613.2N-gram. . . . . . . . . . . . . . . . . . . . . . . . . . . .623.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .643.3.1. . . . . . . . . . . . . . . . . . . . . . . . . .643.3.2. . . . . . . . . . . . . . . . . . . . . . . . . .653.4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .673.5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67 71 4.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .714.2. . . . . . . . . . . . . . . . . . . . . . . . .714.2.1. . . . . . . . . . . . . . . . . . . . . . . .724.2.2. . . . . . . . . . . . . . . . . . . . . . . . . .724.2.3. . . . . . . . . . . . . . . . . . . . . . . . . .744.3. . . . . . . . . . . . . . . . . . .754.3.1. . . . . . . . . . . . . . . . . . . . .764.3.2RNNLM. . . . . . . . . . . . . . . . . . . .804.3.3RNNLM. . . . . . . . . . . . . . . . . . . .814.4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .824.5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .82 85 5.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .855.2Seq2Seq. . . . . . . . . . . . . . . . . . . . . . . . . . . .855.2.1. . . . . . . . . . . . . . . . . . . . . . . . . .865.2.2. . . . . . . . . . . . . . . . . . . .885.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . .905.3.1. . . . . . . . . . . . . . . . . . . . . . . . .91 xi 5.3.2-. . . . . . . . . . .915.3.3. . . . . . . . . . . . . . . . . . . . . . . .925.4Transformer. . . . . . . . . . . . . . . . . . . . . . . . . .935.4.1. . . . . . . . . . . . . . . . . . . . . . . .935.4.2. . . . . . . . . . . . . . . . . . . . . . . .975.5. . . . . . . . . . . . . . . . . . . . . . . . . . .1075.5.1BERT. . . . . . . . . . . . . . . . . . . . . . . . .1075.5.2GPT-1. . . . . . . . . . . . . . . . . . . . . . . . .1115.6. . . . . . . . . . . . . . . . . . . . . . . . .1135.6.1-. . . . . . . . . . . . . . . . . . . .1135.6.2-. . . . . . . . . . . . . . . . . . . .1145.7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1155.8. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .115 117 119 6.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1196.2Transformer. . . . . . . . . . . . . . . . . . .1196.2.1. . . . . . . . . . . . . . . . . . . . . . .1206.2.2. . . . . . . . . . . . . . . . . . . . . . .1216.2.3. . . . . . . . . . . . . . . . . . . . .1236.3Transformer. . . . . . . . . . . . . . . . . . . .1256.3.1FAT. . . . . . . . . . . . . . . . . . . . . . . . . .1256.3.2AFT. . . . . . . . . . . . . . . . . . . . . . . . . .1276.3.3RWKV. . . . . . . . . . . . . . . . . . . . . . . .1276.4. . . . . . . . . . . . . . . . . . . . . . . . . . .1296.4.1. . . . . . . . . . . . . . . . . . . . . . . . .1306.4.2. . . . . . . . . . . . . . . . . . . . . . . . . .1316.4.3. . . . . . . . . . . . . . . . . . . . . . . . . .1326.4.4. . . . . . . . . . . . . . . . . . . . . . . .1336.5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1356.6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .135 xii 137 7.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1377.2ViT. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1377.2.1ViT. . . . . . . . . . . . . . . . . . . . . . . .1387.2.2ViT. . . . . . . . . . . . . . . . . . . . .1397.2.3. . . . . . . .
