multimodal

【多模态学习】词嵌入

0 条评论 默认 note multimodal MisakaStone
0 什么是词嵌入词嵌入，Word Embedding 可以将词汇表中的词或短语映射为固定长度的向量。通过词嵌入，我们可以把one-hot所表示的高维稀疏向量，转换为低维且连续的向量。1 两个特征如果把这个例子中的七维向量降维至二维平面，可以发现语义相近的词语之间的距离也比较近。还有一个比较有意思的：2 总结词嵌入技术，能够有效的将自然语言中的词语转换为数值向量，从而表达词语之间的语义关系。3...

【多模态学习】神经网络

0 条评论 默认 note multimodal MisakaStone
神经网络是一种机器学习程序或模型，它以类似于人脑的方式做出决策，通过使用模仿生物神经元协同工作方式的过程来识别现象、权衡利弊并得出结论。0. 先了解几个公式L2范式$$ \|W\|_2=\sqrt{w_1^2+w_2^2+w_3^2+w_4^2+\cdots} $$Sigmod函数$$ sigmod(x) = \frac{1}{1+e^{-x}} $$softmax$$ \begin{ali...

【多模态学习】Transformer

0 条评论 默认 note multimodal MisakaStone
Attention Is All You Need1 编码&解码什么是“码”：剥离掉语言中符号等等发音等等形式的不同后，剩下来的单纯的语义关系。编解码两个步骤：语义关系数字化能正确表示token之间的距离两种方法：分词器 tokenizer：所有token表示为一维的一个数字独热编码 one-hot：所有token表示为一个维度，且模长为1，分布在一个高维球面上问题：分词器不能正确表现语义关...