博客 / 列表

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part6(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 孫建軍教授是該項目的首席專家。 回目錄 第六部分 學科網絡資源導航機制及可視化 12 網絡導航建設現狀 12.1 國內學科導航建設現狀 12.2 國外學科導航建設現狀 12.2.1 國外學科導航系統簡介 12.2.2

大數據

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part5(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 孫建軍教授是該項目的首席專家。 回目錄 第五部分 學科網絡資源聚合 10 學科網絡資源的主題聚合 10.1 基於關聯數據的學科網絡資源主題聚合 10.1.1 學科網絡資源主題聚合可行性分析 10.1.2 學科網絡資源主

大數據

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part4(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 孫建軍教授是該項目的首席專家。 回目錄 第四部分 學科網絡資源深度標註 6 本體學習和資源深度標註理論基礎 6.1 本體學習的現狀 6.1.1 概念學習理論 6.1.2 等級關係抽取方法 6.1.3 非等級關係抽取方法

大數據

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part3(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 孫建軍教授是該項目的首席專家。 回目錄 第三部分 學科網絡資源採集與獲取 4 學科網絡資源採集與預處理 4.1 信息資源採集 4.1.1 信息資源採集策略 4.1.2 信息資源採集技術與方法 4.2 信息資源預處理 4

大數據

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part2(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 孫建軍教授是該項目的首席專家。 回目錄 第二部分 學術網絡資源特徵及利用 2 學術網絡資源特徵、分步及模式 2.1 資源類型及分佈 2.1.1 學術數據庫 2.1.2 電子期刊 2.1.3 電子圖書 2.1.4 網絡學

大數據

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part1(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 孫建軍教授是該項目的首席專家。 回目錄 第一部分 概述 1 學科資源聚合與網絡導航 “聚合”在《現代漢語詞典》中意為“聚集到一起”,在信息科學中指的是將數據進行清洗、篩選、分析以得到所需結果的過程。 1.1 學科資源傳

大數據

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究_目錄(qbit學習記錄)

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 作者:孫建軍 等 出版社:南京大學出版社 出版時間: 2021年12月 ISBN:9787305252778 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果, 項目編號:12ZD221 孫建軍教授是該項目的首席專家。 內容簡介 書稿主要探討

大數據

qbit - ES Function score query中的Field Value factor

本文對 Elasticsearch 8.19 適用 Field Value factor 通常翻譯為 字段值因子(函數) Field Value factor 官方文檔:https://www.elastic.co/docs/reference/query-languages/query-d... ES 2.x 中的講解:https://www.elastic.co/guide/en/e

elasticsearch

qbit - pyparsing 2.x 案例(qbit)

前言 技術棧 Python 3.11 pyparsing 2.4.7 loguru 0.7.2 xmltodict 0.13.0 案例 測試解析 與 或 測試代碼 # encoding: utf-8 # author: qbit # date: 2023-12-14 # summary: pyparsing 2.x 解析測試,測試 AND OR import json i

ast , Python

qbit - 用 pyparsing 3.x 將與或非邏輯表達式轉換為Elasticsearch查詢語句(qbit)

前言 技術棧 Python 3.11 pyparsing 3.2.3 lark 1.2.2 loguru 0.7.2 案例 測試代碼 # encoding: utf-8 # author: qbit # date: 2024-04-23 # summary: 將與或非邏輯表達式轉換為 ES 表達式 import json import pyparsing as

ast , dsl , logical-operators , 抽象語法樹

qbit - 用 pyparsing 3.x 化簡括號冗餘的或非邏輯表達式(qbit)

前言 技術棧 Python 3.11 pyparsing 3.1.2 案例 測試代碼 # encoding: utf-8 # author: qbit # date: 2024-04-23 # summary: 化簡括號冗餘的與或非邏輯表達式 import pyparsing as pp line = '(((owner=111 AND doc_type=222))) OR

ast , logical-operators , 抽象語法樹

qbit - uvicorn 配置日誌格式(qbit)

前言 技術棧 Python 3.11.8 fastapi 0.115.12 uvicorn 0.34.2 loguru 0.7.3 uvicorn 默認日誌沒有時間戳,看起來不方便,主動配置日誌格式,使得 uvicorn 打印的日誌格式和 loguru 的默認格式一致 uvicorn main:app --host 0.0.0.0 --port 8888 --log-config

w3c , 日誌 , fastapi , wsgi

qbit - Python 下使用 SOCKS5 代理連接 Redis(qbit)

前言 技術棧 python = "~3.11.8" PySocks = "~1.7.1" redis = "~6.2.0" 示例代碼 import socket import socks from redis import Redis # 設置 SOCKS5 代理 socks.set_default_proxy(socks.SOCKS5, "127.0.0.1", 1080) # 替換標準

python3 , redis , 代理

qbit - Pthon httpx 使用代理下載文件(qbit)

前言 技術棧 Python 3.11.8 httpx 0.28.1 示例代碼 # encoding: utf-8 # author: qbit # date: 2025-06-30 # summary: httpx 使用代理下載文件 import httpx proxy = 'http://127.0.0.1:8081' def DownFile(url, file):

代理 , requests , Python

qbit - 獲取 Elasticsearch 的 token_count 類型的值(qbit)

前言 本文對 Elasticsearch 7.17 適用,官方文檔 Token count field type 測試 新建 mapping PUT my_index { "mappings": { "properties": { "name": { "type": "keyword", "doc_values": true,

elasticsearch , token

qbit - Python3 使用 websockets 調用阿里雲實時語音識別(qbit)

前言 技術棧 Python 3.11.8 websockets 15.0.1 aliyun-python-sdk-core 2.16.0 nls 1.0.0 截至 2025.3.13,nls.NlsSpeechTranscriber 不支持異步調用 使用 asyncio.run 或 loop.create_task 將異步調用轉化為同步調用 後文中,為保持字節

async , websocket

qbit - Elasticsearch 相似度算法 TF-IDF 與 BM25 簡要説明(qbit)

前言 簡要説明 TF-IDF 與 BM25 簡要説明 BM25 下 k1 和 b 參數調整 TF-IDF 與 BM25 TF-IDF TF是指歸一化後的詞頻 IDF是指逆文檔頻率 詞彙(word)的TF-IDF 句子(sentence)的TF-IDF BM 25 一句話解釋:BM 25 可以看做 TF-IDF 的變形,原理上是類似

elasticsearch , tf-idf

qbit - Elasticsearch 8.19 分詞插件獲取遠程詞典(qbit)

前言 當前(2025.8.22) hao 分詞器 的最後版本為 8.7.1,qbit 需要使用 Elasticsearch 8.19.2 版本,升級編譯使用 hao 分詞器插件過程中遇到一些問題,記錄之 問題一:Inject 依賴注入 Elasticsearch 8.19 的 SDK 不再有 org.elasticsearch.common.inject.Inject 包,移除替換之

elasticsearch , 插件 , 分詞

qbit - 關於 Elasticsearch minimum_should_match 的範圍説明(qbit)

前言 本文對 Elasticsearch 7.17 適用 minimum_should_match 官方文檔:https://www.elastic.co/docs/reference/query-languages/query-d... 示例 case 1 minimum_should_match: 590% [1, 5] 全匹配 [6, ∞) 匹配 90%,下取整

elasticsearch

qbit - 試用 Elasticsearch 8 的同義詞 API(qbit)

前言 Elasticsearch 8.10 引入了同義詞 API,可以取代以前的同義詞文件 注意 synonyms_set 只能用於 search_analyzer,不能用於 index analyzer 案例 創建或更新同義詞集合 PUT _synonyms/test_syn_set { "synonyms_set": [ { "id": "pc",

elasticsearch

qbit - Linux 下 kill 孫子進程(qbit)

qbit 在使用 Python 的 FastAPI 框架,在 Python 腳本中用 os.system 調用了 uvicorn 啓動程序,調用鏈條大致如下 python3 main.py # 進程 1 -- sh python3 uvicorn # 進程 2 -- python3 uvicorn # 進程 3 qbit 發現直接 k

kill , Linux , fastapi , shell , Python

qbit - docker 命令備忘(qbit)

前言 軟件版本 docker: 20.10.8 docker-compose: 1.29.2 Docker Github 倉庫: https://github.com/docker 容器內 SHELL 進入容器內 shell docker exec -it nextcloud bash 容器的拉取、查看、運行、重啓 搜索容器(nginx) $

卷管理器 , 掛載硬盤 , Docker , shell

qbit - pyparsing 與 regex 結合表達漢字等Unicode字符(qbit)

前言 技術棧 python 3.11.8 pyparsing 3.2.1 regex 2024.11.6 測試案例 測試代碼 # encoding: utf-8 # author: qbit # date: 2025-02-05 # summary: 使用 pyparsing 和 sympy 化簡與或非邏輯表達式 import pyparsing as pp

正則表達式

qbit - yarl 對比 python3 標準庫 urllib(qbit)

前言 測試環境 Python 3.8 yarl 1.8.1 本文主要是對比易用性,無關性能 yarl 官方文檔:https://yarl.aio-libs.org/en/... url 組成部分 yarl VS. urllib 獲取 url 參數 urllib from urllib import parse url = r'https://docs

decode , encode , url