人工智能

Embedding 基础

一、什么是Embedding 简单来说,Embedding 就是用一个数值向量"表示"一个对象(Object)的方法,这里说的对象可以是一个词、一个物品,也可以是一部电影等等。一个物品能被向量表示,是...
阅读全文
人工智能

NLP——Tokenizer

1.什么是Tokenizer 使用文本的第一步就是将其拆分为单词。单词称为标记(token),将文本拆分为标记的过程称为标记化(tokenization),而标记化用到的模型或工具称为tokenize...
阅读全文