tag 詞向量

標籤
貢獻6
35
04:24 PM · Nov 15 ,2025

@詞向量 / 博客 RSS 訂閱

未聞花名AI - 構建AI智能體:十一、語義分析Gensim — 從文本處理到語義理解的奇妙之旅

一、Gensim是什麼? 想象一下你面對成千上萬篇中文文章,想要快速瞭解這些文章主要討論什麼話題,或者找到相似的文檔,甚至讓計算機理解詞語之間的語義關係,並發現文本中的相似模式和語義結構,這就是Gensim的主要用途。Gensim非常高效,即使處理百萬級的文檔也能遊刃有餘。 Gensim是一個專門用於自然語言處理的Python庫,它的核心功能是: 從大

預處理 , sed , pytorch , 人工智能 , 詞向量

收藏 評論

未聞花名AI - 構建AI智能體:十二、給詞語繪製地圖:Embedding如何構建機器的認知空間

我們理解“蘋果”這個詞,能聯想到一種水果、一個公司、或者牛頓的故事。但對計算機而言,“蘋果”最初只是一個冰冷的符號或一串二進制代碼。傳統的“One-Hot”編碼方式(如“蘋果”是[1,0,0,...],“香蕉”是是[0,1,0,...])無法表達任何語義,所有詞之間的關係都是相等且無關的。 如何讓機器真正“理解”含義?這就需要一種新的表示方法——Embedding。它就像一

中心詞 , NLP , 加載 , 人工智能 , 詞向量

收藏 評論

mob64ca140ee96c - gensim word2vec 説明文檔 gensim訓練word2vec

Gensim(http://pypi.python.org/pypi/gensim)是一款開源的第三方Python工具包,用於從原始的非結構化的文本中,無監督地學習到文本隱層的主題向量表達。 主要用於主題建模和文檔相似性處理,它支持包括TF-IDF,LSA,LDA,和word2vec在內的多種主題模型算法。Gensim在諸如獲取單詞的詞向量等任務中非常有用。 1. gen

機器學習 , 默認值 , 人工智能 , 詞向量 , 迭代 , 自然語言處理NLP

收藏 評論

WangLanguager - GloVe介紹和代碼示例

GloVe 介紹 GloVe(Global Vectors for Word Representation)是一種用於生成詞嵌入的模型,由斯坦福大學的研究團隊於 2014 年提出。與 Word2Vec 的局部上下文窗口方法不同,GloVe 通過全局詞共現矩陣來捕捉詞與詞之間的關係。 GloVe 的基本原理 GloVe 的核心思想是利用詞

yyds乾貨盤點 , 自然語言處理 , 詞向量 , 前端開發 , Javascript , Python

收藏 評論

mob64ca12f6e9a0 - ollama的中文embedding效果

Ollama的中文embedding效果可以説是一個頗具挑戰性的課題。隨着自然語言處理技術的飛速發展,中文在embedding過程中的表現引起了越來越多的關注與研究。以下是我們在探索Ollama中文embedding效果這一問題時所經歷的過程,我們將從技術原理、架構解析、源碼分析、性能優化等多方面進行討論。 背景描述 在 2023 年初,Ollama 開始將其中文自然語言處理功能

性能優化 , aigc , 詞向量 , ci

收藏 評論

mob64ca140e76c8 - 帶有Python的AI –自然語言處理

在使用Python實現之前,我們先理解AI的運作模式,假如你面前有一個非常聰明,但完全不識字的“外星大腦”(AI)。它的記憶力超強,算得飛快,但它一開始完全不懂“蘋果”、“愛”、“運行”這些詞是什麼意思。你的任務就是教會它理解人類説的話。 這個過程我們可以分為幾個關鍵的步驟: 第一步:把話拆成“零件” —— 分詞 你對着外星人説:“我今天吃了一個大蘋果。

相似度 , 詞向量 , Css , 前端開發 , HTML , Python

收藏 評論

mob64ca1404baa2 - 評價文本生成模型生成效果

生活是美好的,佈滿每個角落,不要用良家婦女的心態去club,拜託!還是回家洗衣服去吧。 目的:評論自動分類 美護好評作為基礎數據,總共9萬6千條,數據越多訓練的模型越準確。 1. 首先對用户的評論進行標點符號去除,然後分詞,最後去掉停用詞。保存到一個文件中,一行是一條評論,每個詞之間用空格分開。 2. 使用word2vec訓練,得

聚類 , 評價文本生成模型生成效果 , 人工智能 , 深度學習 , 數據結構與算法 , 詞向量

收藏 評論

WangLanguager - Word2Vec介紹和代碼示例

Word2Vec 介紹 Word2Vec 是一種用於生成詞嵌入(word embeddings)的模型,由 Google 的研究團隊於 2013 年提出。它能夠將詞彙映射到一個低維度的向量空間,使得相似的詞在向量空間中距離較近。 Word2Vec 的兩種主要模型 Skip-Gram:給定一個詞,預測其上下文中的詞。適用於處理稀

yyds乾貨盤點 , 加載 , 自然語言處理 , 詞向量 , 前端開發 , Javascript

收藏 評論