「你好呀」会被拆成「你」「好」「呀」。对模型来说,它们只是三个不同的记号。
「你」·「好」·「呀」01 · 动手试试
先给它几句话
从左到右走一遍:写下例子,看看它在猜什么,再让它多练几次。
02
它会怎么接下去?点左边的字,换一个开头看看
后面可能接 →现在看到
它看到始
→
03
每猜错一次,就改一点曲线越往下,说明它猜得越准
练了多少次0
还差多少0.000
比刚才好0%
猜错的程度0.00
“……”
02 · 看懂它
它究竟学了什么?
它没有真的理解这些句子,只是在一遍遍练习“这个字后面常接什么”。
看到「你」以后,它会给每个候选字一个可能性,然后选一个接下去。
你 → 好 23%如果正确答案是「好」,它却把「天」排在前面,这次就错得比较多。
答案「好」· 这次猜错了它会把「你」和「好」之间的关系调强一点。重复很多次,规律就慢慢浮出来。
你 → 好 + 一点它只是一个小模型
为了让学习过程看得见,这里只让它记住“一个字后面常接什么字”。真正的大语言模型会看更长的上下文,也有很多层网络;但训练时,它们也在反复做同一件事:猜下一个 token,再根据错误调整自己。