博客 / 列表

極限實驗室 - Easysearch 冷熱架構實戰

在之前的文章中，我們介紹瞭如何使用索引生命週期策略來管理索引。如果要求索引根據其生命週期階段自動在不同的節點之間遷移，還需要用到冷熱架構。我們來看看具體如何實現。 冷熱架構 冷熱架構其實就是在 Easyearch 集羣中定義不同屬性的節點，這些節點共同組成冷熱架構。比如給所有熱節點一個 hot 屬性，給所有冷節點一個 cold 屬性。在 Easyearch 中分配節點屬性是通過配置文件(easys

nosql

極限實驗室 - 私密信息管理工具 Vault 快速入門

什麼是 Vault Vault 是一個基於身份的秘密和加密管理系統。秘密是您想要嚴格控制訪問的任何內容，例如 API 加密密鑰、密碼和證書。 Vault 提供由身份驗證和授權方法控制的加密服務。使用 Vault 的 UI、CLI 或 HTTP API，可以安全地存儲和管理、嚴格控制（限制）和審核對機密和其他敏感數據的訪問。 為什麼需要 Vault 執行密碼輪換策略很痛苦 掌握機密的員工離職後

加密 , 安全

極限實驗室 - 極限科技三週年慶典：追求極致，共創未來科技新篇章

2024 年 12 月 3 日，一場盛大的慶典活動在香港 IFS 集團旗下長沙瑪珂酒店璀璨啓幕，極限科技迎來了其三週年的輝煌慶典。此次慶典不僅是對極限科技過往成就的回顧與慶祝，更是對未來科技夢想的展望並開始新的啓航。 慶典現場，極限科技的全體員工、尊貴的合作伙伴以及長期以來給予我們堅定支持的客户歡聚一堂，共同見證了這一重要時刻。 活動伊始，極限科技的創始人曾勇回顧了公司創立至今的點點滴滴，他提

elasticsearch , 搜索引擎 , 科技 , 網關

極限實驗室 - Easysearch Java SDK 2.0.x 使用指南（一）

各位 Easysearch 的小夥伴們，我們前一陣剛把 easysearch-client 更新到了 2.0.2 版本！藉此詳細介紹下新版客户端的使用。 新版客户端和 1.0 版本相比，完全重構，拋棄了舊版客户端的一些歷史包袱，從裏到外都煥然一新！不管是剛入門的小白還是經驗豐富的老司機，2.0.x 客户端都能讓你開發效率蹭蹭往上漲！ 到底有啥新東西？ 更輕更快： 以前的版本依賴了一堆亂七八糟

搜索引擎 , 索引 , 數據庫 , JAVA

極限實驗室 - Easysearch 可搜索快照功能，看這篇就夠了

可搜索快照功能改變了我們對備份數據的查詢方式。以往要查詢備份數據時，要先找到備份數據所在的快照，然後在一個合適的環境中恢復快照，最後再發起請求查詢數據。這個處理路徑很長，而且很消耗時間。可搜索快照功能將大大簡化該處理路徑，節約時間。 角色設置 相信你對節點角色的概念已經有所熟悉。要啓用可搜索快照功能，Easysearch 集羣中必須至少有一個節點擁有 search 角色。參考設置如下。 node.

elasticsearch , 搜索引擎 , 數據庫

極限實驗室 - 快速上手 INFINI Console 的 TopN 指標功能

背景 在分佈式搜索引擎系統（如 Easysearch、Elasticsearch 和 OpenSearch）中，性能監控至關重要。為了確保系統的高效運行和資源的合理分配，我們通常需要關注一段時間內關鍵資源的使用情況，特別是索引、節點和分片的內存與 CPU 佔用情況。 通過對這些關鍵指標進行 TopN 查詢，我們能夠識別出資源使用最多的節點、索引或分片，幫助我們快速定位潛在的性能瓶頸或過度負載的區域

搜索引擎 , 監控工具

極限實驗室 - Easysearch Rollup 使用指南

背景 在現代數據驅動的世界中，時序數據的處理變得越來越重要。無論是監控系統、日誌分析，還是物聯網設備的數據收集，時序數據都佔據了大量的存儲空間。隨着時間的推移，這些數據的存儲成本和管理複雜度也在不斷增加。 為了解決這一問題，Rollup 技術應運而生。本文將帶你深入瞭解 Rollup 的概念、優勢以及如何在 Easysearch 中使用 Rollup 來優化時序數據的存儲和查詢。 什麼是 Rol

搜索引擎 , 數據庫

極限實驗室 - 如何使用 DataX 連接 Easysearch

DataX DataX 是阿里開源的一款離線數據同步工具，致力於實現包括關係型數據庫(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各種異構數據源之間穩定高效的數據同步功能。 本篇主要介紹 DataX 如何將數據寫入到 Easysearch，對於各種數據源的連接不會做深入的探討，感興趣的小夥伴可以訪問 DataX 的 Github 倉庫查看詳情。 下載與安裝

elasticsearch , 搜索引擎 , 數據庫 , 程序員

極限實驗室 - 搜索百科（1）：Lucene —— 打開現代搜索世界的第一扇門

大家好，我是 INFINI Labs 的石陽。 這是《搜索百科》專欄系列文章，每天 5 分鐘，帶你速覽一款搜索相關的技術或產品，同時還會帶你探索它們背後的技術原理、發展故事及上手體驗等。 搜索技術看似專業，但它早已深度融入我們的日常生活。無論是電商搜索、知識檢索，還是 AI 語義搜索、RAG、向量檢索，背後都有經典與新興技術的結合。希望這個系列能幫大家建立更清晰的認知，也歡迎留言交流。 引言：為什

搜索引擎 , lucene

極限實驗室 - 搜索百科（2）：Apache Solr — 企業級搜索的開源先鋒

大家好，我是 INFINI Labs 的石陽。 歡迎回到 《搜索百科》 專欄！每天 5 分鐘，帶你速覽一款搜索相關的技術或產品，同時還會帶你探索它們背後的技術原理、發展故事及上手體驗等。 上一篇我們認識了搜索技術的基石 Apache Lucene，今天我們將繼續這個旅程，瞭解基於 Lucene 構建的第一個成功商業級搜索平台 —— Apache Solr。 Solr 是什麼？ Solr 是一款極

搜索引擎 , lucene , solr

極限實驗室 - 如何實現一個充滿科技感的官網（二）

背景 在上一篇文章 《如何實現一個充滿科技感的官網（一）》 中，我們初步瞭解了該官網的整體設計，並與大家探討了它的視覺呈現和用户體驗。 我們前期的內部設計偏向簡潔，所以開始思考如何提升網站的整體設計感。這些嘗試便由此展開。 網站地址：https://infinilabs.com/ 如果你對動態背景的實現感興趣，這篇文章將帶你深入探索，揭秘如何從零打造一個兼具美感與功能性的企業官網！ 技術選型

react , three.js , next.js

極限實驗室 - 如何用 Scrapy 爬取網站數據並在 Easysearch 中進行存儲檢索分析

做過數據分析和爬蟲程序的小夥伴想必對 Scrapy 這個爬蟲框架已經很熟悉了。今天給大家介紹下，如何基於 Scrapy 快速編寫一個爬蟲程序並利用 Easysearch 儲存、檢索、分析爬取的數據。我們以極限科技的官網 Blog 為數據源，做下實操演示。 安裝 scrapy 使用 Scrapy 可以快速構建一個爬蟲項目，從目標網站中獲取所需的數據，並進行後續的處理和分析。 pip install

搜索引擎 , scrapy , 爬蟲

極限實驗室 - IK 字段級別詞典的升級之路

背景知識：詞庫的作用 IK 分詞器是一款基於詞典匹配的中文分詞器，其準確性和召回率與 IK 使用的詞庫也有不小的關係。 這裏我們先了解一下詞典匹配法的作用流程： 預先準備一個大規模的詞典，用算法在文本中尋找詞典裏的最長匹配項。這種方法實現簡單且速度快。 但面臨歧義切分和未登錄詞挑戰：同一序列可能有不同切分方式（例如“北京大學生”可以切成“北京大學/生”或“北京/大學生”），需要規則或算法消除

elasticsearch , 數據庫

極限實驗室 - IK 字段級別詞典升級：IK reload API

之前介紹 IK 字段級別字典 使用的時候，對於字典的更新只是支持詞典庫的新增，並不支持對存量詞典庫的修改或者刪除。經過這段時間的開發，已經可以兼容詞典庫的更新，主要通過 IK reload API 來實現。 IK reload API IK reload API 通過對詞典庫的全量重新加載來實現詞典庫的更新或者刪除。用户可以通過下面的命令實現： # 測試索引準備 PUT my-index-000

elasticsearch , 數據庫

極限實驗室 - ES 調優帖：Gateway 批量寫入性能優化實踐

背景：bulk 優化的應用 在 ES 的寫入優化裏，bulk 操作被廣泛地用於批量處理數據。bulk 操作允許用户一次提交多個數據操作，如索引、更新、刪除等，從而提高數據處理效率。bulk 操作的實現原理是，將數據操作請求打包成 HTTP 請求，並批量提交給 Elasticsearch 服務器。這樣，Elasticsearch 服務器就可以一次處理多個數據操作，從而提高處理效率。 這種優化的核心價

elasticsearch , gateway , bulk

極限實驗室 - 搜索百科（3）：Elasticsearch — 搜索界的“流量明星”

大家好，我是 INFINI Labs 的石陽。 歡迎關注 《搜索百科》 專欄！每天 5 分鐘，帶你速覽一款搜索相關的技術或產品，同時還會帶你探索它們背後的技術原理、發展故事及上手體驗等。 前兩篇我們探討了搜索技術的基石 Apache Lucene 和企業級搜索解決方案 Apache Solr。今天，我們來聊聊一個真正改變搜索遊戲規則，但也充滿爭議的產品 — Elasticsearch。 引言 如

elasticsearch , 搜索引擎 , lucene

極限實驗室 - 使用 Logstash 遷移 MongoDB 數據到 Easysearch

大家好！在前面的文章中，我們已經詳細介紹瞭如何通過 Logstash 和 Canal 工具實現 MySQL 數據向 Easysearch 的遷移。如果您正在使用 MongoDB 作為數據存儲，並希望將其中的數據遷移到 Easysearch 中，這篇指南或許能為您提供一些幫助。 為了實現 MongoDB 與 Easysearch 之間的數據遷移，Logstash 依然是一個非常成熟穩定的工具選擇。在

mongodb , logstash

極限實驗室 - 如何讓 localStorage 數據實現實時響應

重大事項 📣 ：重大事項提前通知！快來圍觀，不容錯過！ 極限科技 一直致力於為開發者和企業提供優質的開源工具，提升整個技術生態的活力。除了維護國內最流行的分詞器 analysis-ik 和 analysis-pinyin，也在不斷推動更多高質量開源產品的誕生。 在極限科技成立三週年之際，公司宣佈以下產品和工具已全面開源： INFINI Framework INFINI Gateway I

react , localstorage , Web

極限實驗室 - 如何實現一個充滿科技感的官網（一）

背景 前段時間完成一個公司官網項目，個人第一感覺是整體風格簡潔但充滿科技感。所以想着抽時間寫篇文章出來分享一下（其實想着拿出來炫一下，得瑟一下，滿足一下自身虛榮心，請大家包容一下我的虛榮心，莫噴。） 抽空寫下這篇文章，既是分享，也希望能夠聽到更多反饋。 官網地址是：https://infinilabs.com/， 大家可以先去看看。對了，也歡迎直接在評論區告訴我：“這樣的官網設計，你覺得怎麼樣？”

react , three.js , next.js , Web

極限實驗室 - 【第4期】搜索客 Meetup | INFINI Pizza 網站 SVG 動畫這麼炫，我教你啊！

本次 Meetup 活動由 搜索客社區、極限科技（INFINI Labs）聯合舉辦，活動主題將從設計師的角度出發，探討如何在零編程基礎下，藉助 ChatGPT 和 SVG，搞定 INIFNI Pizza 首頁動效，從設計到實現，探索 AI 的更多玩法。歡迎大家預約報名參加和交流。 活動主題：INIFNI Pizza 網站 SVG 動畫這麼炫，我教你啊！ 活動時間：2024 年 9 月 25

前端 , svg

極限實驗室 - Console 納管 Elasticsearch 9（二）：日誌監控

前面介紹過 INFINI Console 納管 Elasticsearch 9（一），進行指標監控、數據管理、DSL 語句執行，但日誌監控功能需要結合 Agent 才能使用。現在來實現一下： Agent 需要和 ES 部署到同一機器上，這裏是在我本地電腦上進行安裝。 安裝 Elastisearch curl -O https://artifacts.elastic.co/downloads/ela

console , elasticsearch

極限實驗室 - 使用 Docker Compose 簡化 INFINI Console 與 Easysearch 環境搭建

前言回顧 在上一篇文章《搭建持久化的 INFINI Console 與 Easysearch 容器環境》中，我們詳細介紹瞭如何使用基礎的 docker run 命令，手動啓動和配置 INFINI Console (1.29.6) 和 INFINI Easysearch (1.13.0) 容器，並實現了關鍵數據的持久化，解決了重啓後配置丟失的問題。 手動操作雖然能讓我們深入理解 Docker 的核心

console , 數據庫 , Docker

極限實驗室 - Easysearch 時序數據的基於時間範圍的合併策略

如果你正在使用 Easysearch 處理日誌、監控指標、事件流或其他任何具有時間順序的數據，那麼你一定知道索引的性能和效率至關重要。Easysearch 底層的 Lucene Segment 合併是保持搜索和索引性能的關鍵後台任務。然而，你是否意識到，默認的合併策略可能並不是處理時序數據的最佳選擇？ 今天，我們就來介紹 Easysearch 1.12.1 版本起引入的一個重要優化：基於時間範圍的

performance , merge , 數據庫

極限實驗室 - Easysearch Rollup 相比 OpenSearch Rollup 的優勢分析

背景 在處理時序數據時，Rollup 功能通過數據聚合顯著降低存儲成本，並提升查詢性能。Easysearch 與 OpenSearch 均提供了 Rollup 能力，但在多個關鍵維度上，Easysearch Rollup 展現出更優的表現。本文將從查詢體驗、索引管理、聚合能力、性能優化和任務管理五個方面，分析 Easysearch Rollup 相較於 OpenSearch Rollup 的優勢。

performance , rollup