2.5 学习词嵌入(Learning Word Embeddings)

I want a glass of orange (juice).

这种算法的效果还不错,能够保证具有相似属性单词的embedding vector相近

为了让神经网络输入层数目固定,可以选择只取预测单词的前4个单词作为输入,例如该句中只选择“a glass of orange”四个单词作为输入。这里的4是超参数,可调

把输入叫做context,输出叫做target。对应到上面这句话里:

  • context: a glass of orange

  • target: juice

关于context的选择有多种方法:

  • target前n个单词或后n个单词,n可调

  • target前1个单词

Last updated