LangChain:网络检索器与集成

网络检索器适用于需要从网络上获取最新数据的场景。比如用户可能相要获取最新的热点信息,此时检索器可以直接从网络上进行检索,以便获得最新的信息。

阅读更多

LangChain:检索器类型与使用方法

在 LangChain 中,检索器是一个遵循统一接口的组件:输入一个查询(字符串),输出一个文档(Document)列表

这个简单的接口极大地简化了信息检索的复杂性。你可以将任何能够返回相关文档的系统(如搜索引擎、数据库、向量存储)包装成一个检索器,然后在你的 LangChain 应用中以统一的方式调用它。

阅读更多

LangChain:检索器之知识库和检索增强生成(RAG)

LangChain 的检索器是 RAG(检索增强生成)系统的核心组件,它提供了一套统一的接口来连接各种不同的数据源。无论是向量数据库、搜索引擎,还是传统的数据库,都可以通过这个接口被 LLM 应用轻松调用。

阅读更多

LangChain:调用向量存储库的搜索方法

在 LangChain 中,向量存储库(VectorStore)提供了统一的接口,其中包含多种搜索方法。这些方法用于根据语义或向量来检索最相似的文档。下面将逐一介绍常用的搜索方法及其特点。

阅读更多

嵌入模型与向量数据库的关系与使用

嵌入模型(Embedding Model)与向量数据库(Vector Database)是RAG系统中密不可分的两个核心组件。它们的关系可以这样理解:嵌入模型负责“编码”,向量数据库负责“存储与检索”

简单来说,嵌入模型赋予数据“灵魂”(语义),向量数据库则提供了容纳和匹配这些“灵魂”的“家园”。要构建一个基于私有知识的智能应用,两者缺一不可。

阅读更多

LangChain:集成向量数据库

RAG(检索增强生成)中,向量存储库(通常指向量数据库)是连接大模型与外部知识源的核心“记忆中枢”,扮演着核心知识库的角色。它的主要作用是让大模型能够突破自身知识的局限,通过高效的语义搜索,实时、准确地利用私有的或最新的数据来生成更准确、更符合实际的答案。

阅读更多

自然语言处理使用的WordPiece分词算法详解

WordPiece 是一种广泛应用于自然语言处理(NLP)的子词分词算法,由Google 于 2016 在 BERT 模型中首次引入,旨在解决长尾词汇(如罕见词、复合词)的语义表示问题,同时平衡词表大小与语义覆盖率。现已成为 BERT、MPNet 等主流 Transformer 模型的核心分词技术。

阅读更多