本文目录
- 词向量与Embedding究竟是怎么回事
- word2vec和word embedding有什么区别
- NLP中Embedding层是否有用于百万词汇的情况，就是不单独训练词向量，Embedding层代替
- 什么是embedding space
- word embedding 是什么
- 有谁可以解释下word embedding
- 机器学习中，什么字段需要做 embedding
- 怎么形象理解embedding这个概念
- insert inset embed三个动词的区别是什么
词向量与Embedding究竟是怎么回事
其次,如果楼主指定了必须用流行的NN,俗称word-embedding的方法,当然首推word2vec(虽然不算是DNN)。然后得到了word2vec的词向量后,可以通过简单加权/tag加权/tf-id
word2vec和word embedding有什么区别
个人理解是，word embedding 是一个将词向量化的概念，来源于Bengio的论文《Neural probabilistic language models》，中文译名有“词嵌入“。word2vec是谷歌提出一种word embedding 的工具或者算法集合，采用了两种模型(CBOW与skip-gram模型)与两种方法(负采样与层次softmax方法)的组合，比较常见的组合为 skip-gram+负采样方法。可以查看以下两个来源，word embedding ：Word embedding - Wikipediaword2vec中的数学原理详解：word2vec 中的数学原理详解（一）目录和前言对于起源与其他的word embedding方法可以查看 Deep Learning in NLP （一）词向量和语言模型
NLP中Embedding层是否有用于百万词汇的情况，就是不单独训练词向量，Embedding层代替
1.可以直接在任务中学习词向量，也就是embedding层学习到词的表示，但是除非你的语料非常大，一般建议最好使用提前预训练好的词向量，用别人训练好的也可以。2.可能你的语料与词表非常大，可以缩小词表，把一部分出现频率较低的词给删掉。
什么是embedding space
就是嵌入的空间，比如输入的特征向量是1000维度的，现在通过线性或非线性变换投影到100维，这个变换后的空间就是一个embedding space
word embedding 是什么
word embedding的意思是：给出一个文档，文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应的向量为[0.1 0.6 -0.5]，B对应的向量为[-0.2 0.9 0.7] （此处的数值只用于示意）之所以希望把每个单词变成一个向量，目的还是为了方便计算，比如“求单词A的同义词”，就可以通过“求与单词A在cos距离下最相似的向量”来做到。
有谁可以解释下word embedding
作者：li Eta链接：当然，word embedding的方案还有很多，常见的word embedding的方法有:1. Distributed Representations of Words and Phrases and their Compositionality2. Efficient Estimation of Word Representations in Vector Space3. GloVe Global Vectors forWord Representation4. Neural probabilistic language models5. Natural language processing (almost) from scratch6. Learning word embeddings efficiently with noise contrastive estimation7. A scalable hierarchical distributed language model8. Three new graphical models for statistical language modelling9. Improving word representations via global context and multiple word prototypesword2vec中的模型至今(2015.8)还是存在不少未解之谜，因此就有不少papers尝试去解释其中一些谜团，或者建立其与其他模型之间的联系，下面是paper list1. Neural Word Embeddings as Implicit Matrix Factorization2. Linguistic Regularities in Sparse and Explicit Word Representation3. Random Walks on Context Spaces Towards an Explanation of the Mysteries of Semantic Word Embeddings4. word2vec Explained Deriving Mikolov et al.’s Negative Sampling Word Embedding Method5. Linking GloVe with word2vec6. Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective
机器学习中，什么字段需要做 embedding
文本类型的数据适合做embedding因为文本词如果直接做向量，那么向量很大而且很难发现同义词，做成embedding就小很多，并且降维了
怎么形象理解embedding这个概念
embedding 可以理解为比如降维，或者说把一些复杂难以表达的特征用相对来说可以用数学表达或者更易计算的形式来表达的一种映射。比如把单词转化成向量，把数字（的奇偶正负实复等性质）转化成n维矩阵。
insert inset embed三个动词的区别是什么
insert 英[ɪnˈsɜ:t] 美[ɪnˈsɜ:rt] vt. 插入; 嵌入; （在文章中） 添加; 加插; n. 插入物; 添入物（尤指一页印刷品图中插入或套印的小图）; （书报的） 插页; 添加物; [例句]He took a small key from his pocket and slowly inserted it into the lock他从口袋里掏出一把小钥匙，慢慢地插到锁眼里。[其他] 第三人称单数：inserts 现在分词：inserting 过去式：inserted过去分词：inserted inset 英[ˈɪnset] 美[ˈɪnˌsɛt, ɪnˈsɛt] n. 插入物，插进; [例句]I have attached a photo with explanation and inset images of the real truck.我附了一张照片的解释和插页图象的真正意义上的卡车。[其他] 复数：insets embed 英[ɪm’bed] 美[ɛmˈbɛd] vt. 把…嵌入; 栽种; 深留（记忆中）; [例句]One of the bullets passed through Andrea’s chest before embedding itself in a wall.其中一颗子弹射穿了安德烈亚的胸部，打入一面墙中。[其他] 第三人称单数：embeds 现在分词：embedding 过去式：embedded过去分词：embedded