tag 數據採集

標籤
貢獻18
62
05:54 PM · Oct 25 ,2025
mashukui 頭像 liuguandailiip 頭像 u_17536710 頭像 u_15745565 頭像 u_15796946 頭像 u_13357275 頭像 aixiaodekaomianbao_ddkwvd 頭像 u_16099165 頭像 u_16099242 頭像 u_17567677 頭像 u_93011 頭像 zhuifengdekaomianbao 頭像

@數據採集 / 博客 RSS 訂閱

u_16213629 頭像

mob64ca1403528a - 深度學習可以用來測量多個孔直徑嗎

F1系列固定測斜探頭是高精度鑽孔內部斜度的測量儀器，可以廣泛應用於：深基坑開挖、地鐵地基、公路地基、擋土牆、壩體、尾礦庫及山體滑坡等工程方面土體內部位移變化的監測設備。 F1系列固定測斜探頭是一款高精度鑽孔內部斜度的測量儀器，系統主要由：數據採集儀、測斜探頭、測斜管組成。 廣泛應用：深基坑開挖、地鐵地基、公路地基、擋土牆、壩體、尾礦庫及山

深度學習可以用來測量多個孔直徑嗎 , 數據採集 , 工作温度 , 人工智能 , 高精度 , 深度學習

收藏 評論

mashukui 頭像

馬哥python説 - 【GUI軟件】用python開發的油管博主紅人採集工具，一鍵批量爬取，含國家、郵箱等

本軟件工具僅限於學術交流使用，嚴格遵循相關法律法規，符合平台內容合法合規性，禁止用於任何商業用途！ 一、背景分析 1.1 開發背景 大家都知道，YouTube（以下簡稱油管）是全球最大的在線視頻社交平台，擁有億萬用户和龐大的日活躍用户羣體。平台上來自不同國家和地區的創作者們，藴藏着巨大的商業潛力。通過分析油管的用户數據，客户能夠更深入地掌握這些創作者的最新動態和商業價值，從而更有效地推動業

gui , 數據採集 , python爬蟲 , 爬蟲 , youtube

收藏 評論

mashukui 頭像

馬哥python説 - 【GUI軟件】調用YouTube的API接口，採集關鍵詞搜索結果，並封裝成界面工具！

本軟件工具僅限於學術交流使用，嚴格遵循相關法律法規，符合平台內容合法合規性，禁止用於任何商業用途！ 一、背景介紹 1.1 爬取目標 我是@馬哥python説，一名10年程序猿。 我用Python獨立開發了一款爬蟲軟件，作用是：通過搜索關鍵詞采集YouTube的搜索結果，包含14個關鍵字段：關鍵詞,頁碼,視頻標題,視頻id,視頻鏈接,發佈時間,視頻時長,頻道名稱,頻道id,頻道鏈接,播放

數據採集 , python爬蟲 , youtube-api , 爬蟲 , youtube

收藏 評論

mashukui 頭像

馬哥python説 - douyin_search_comment_tool | 2025自研python軟件採集抖音評論區數據

本軟件工具僅限於學術交流使用，嚴格遵循相關法律法規，符合平台內容合法合規性，禁止用於任何商業用途！ ​ 一、背景調研 1.1 開發背景 抖音作為國內流量極為突出的短視頻平台，擁有龐大的用户羣體以及億級以上的日活躍用户，其視頻下方的評論區藴含着豐富的信息價值。在合法合規的前提下，經過充分的研究與探索，為了助力客户能夠更深入地理解消費者對於商品和品牌的看法與反饋，以更有效地把握消費者的喜好、需求

gui , 軟件開發 , 數據採集 , python爬蟲 , 爬蟲

收藏 評論

liuguandailiip 頭像

流冠代理IP - 爬蟲為什麼要用代理IP？

在網絡時代,數據是必不可少的資源, 進行數據分析和業務發展, 很多企業和個人需要利用爬蟲工具進行各種數據的獲取。但許多站點為了防止惡意爬蟲的盜竊, 採取各種反爬蟲策略,最常見的就是把 IP地址給封鎖了。這導致爬蟲程序無法正常獲得資料, 影響資料分析和業務發展, 解決這些困難,出現了爬蟲代理ip的程序。 在日常的爬蟲開發中，我們經常會遇到一些反爬蟲策略，例如IP封禁、驗證碼識別等。這些策略會導致爬

數據採集 , 動態代理 , 爬蟲

收藏 評論

u_13357275 頭像

上海拔俗網絡 - AI農情數據要素服務平台：讓農田管理更智慧

在傳統農業中，農民種地主要依靠代代相傳的經驗，但面對今天的氣候變化、市場波動和規模化種植挑戰，單靠經驗已遠遠不夠。AI農情數據要素服務平台應運而生，它像是給農田裝上了“智慧大腦”，讓種地變得更科學、更輕鬆。 數據採集：從“鐵腳板”到“雲端算” 過去，農業補貼核查、作物長勢監測需要農技人員跟着農户靠“鐵腳板”到現場逐一查看，費時費力。現在，AI農情平台通過“遙感+AI+移動互聯網”

數據 , 數據採集 , NLP , 人工智能 , 模態

收藏 評論

u_17536710 頭像

mb68d4f4b730ca5 - 企業高質量發展評價體系實施的難易程度

在數聚股份看來， 政府部門對企業實施高質量發展評價過程中，有構建評價體系是其中最關鍵的部分，本文主要從體系構建的角度側面的呈現實施的難易程度。而大數據採集及可視化將貫穿全過程。 首先我國最新2017年版國民經濟行業分類(GB/T 4754-2017)將現行行業分為20大類，4個層級，共1775個小項，因此在指定評價體系過程中第一步需要考慮的就是行業分類對體系的影響。不同行業

大數據 , bi工具 , 數據採集 , 數據可視化 , 人工智能 , 數據分析

收藏 評論

liuguandailiip 頭像

流冠代理IP - 為什麼要使用動態代理IP？數據採集為何要使用動態代理？

動態代理IP是指利用代理服務器來轉發網絡請求，並通過不斷更新IP地址來保護訪問者的原始IP，從而達到匿名訪問、保護隱私和提高訪問安全性的目的。動態代理IP在多個領域中都有廣泛的應用，能夠幫助用户降低賬户被封禁的風險，提高營銷效果。此外，它還常用於內容訪問、網絡測試等領域。 使用動態代理IP的主要原因有以下幾點： 1、防止IP被封禁 在進行網絡爬蟲、批量註冊、網絡營銷等操作時，由於頻繁地訪問目標服

數據採集 , ip地址 , 爬蟲

收藏 評論

u_17585928 頭像

mb691e8f1a27cd9 - 一鍵突破 Cloudflare：Python 爬蟲利器 CloudScraper 使用詳解與進階優化

在當今的互聯網數據採集領域，反爬蟲技術著名的壁壘莫過於 Cloudflare。一旦觸發其安全機制，我們就會看到著名的“Checking your browser before accessing...”的 5 秒等待頁面，或直接拋出 CAPTCHA 驗證。 面對這一挑戰，Python 社區的利器 CloudScraper 應運而生。它能夠模擬瀏覽器執行 JavaScript

ip , 數據採集 , 後端開發 , 企業級 , Python

收藏 評論

aixiaodekaomianbao_ddkwvd 頭像

clklog - ClkLog埋點分析系統-React Native埋點上報攻略

前言 ClkLog是一款支持開源和商業付費的用户行為分析軟件系統，通過採集客户端行為日誌數據，在開源的OLAP數據庫上進行模型分析。常見的客户端有Web JS、IOS、Andriod 、小程序等，以及react-native 、uni-app等。Clklog方案選用了神策提供的開源SDK來進行數據採集。 最近兩個客户使用React Native集成神策SDK的時候，由於React Native開發

sdk , 開源軟件 , 數據採集

收藏 評論

dayong_59b0e68b1ed0d 頭像

六邊形架構 - 別再盲目地堆砌技術了！大部份大數據項目的失敗，都是因為架構設計沒做對！

關注我，獲取更多企業級架構和人工智能應用實踐和落地的深度指南。 大家好，我是Kenyon。最近有朋友向我請教："勇哥，我們公司上了一套大數據的平台，投入了不少的資源，可運行了半年多了，數據的處理還是慢得離譜，投入的成本居高不下，分析師整天抱怨數據的質量差，領導對此也不太滿意。請問這大數據架構設計到底應該怎麼搞呢？" 嗯，這個問題實在是太常見了。作為一名參與設計和落地多個企業級的大數據平台的架構師，

大數據 , 數據採集 , 架構設計 , 系統架構 , 數據處理

收藏 評論

liuguandailiip 頭像

流冠代理IP - 新手爬蟲一定要看！怎麼使用代理IP全攻略！

當爬蟲訪問網站時，可能會遭遇IP封鎖或請求頻率限制。通過使用代理IP，可以分散請求壓力並規避特定對IP的限制，從而提高採集任務的持續性。同時， 不同的IP地址讓爬蟲在網絡上顯示為不同的位置來源，避免單一IP的頻繁請求導致被目標網站檢測到，從而提升整體數據抓取的穩定性。 一、選擇合適的代理IP服務 在選擇代理IP服務時需要關注幾個關鍵因素： IP質量：選擇具備高可用率和低延遲的IP地址服務的優質I

http代理 , 數據採集 , 爬蟲

收藏 評論

mage3218 頭像

馬哥天才3218 - 【技術分享】用python開發的短視頻評論區採集軟件

作為當下最火爆的社交媒體之一，短視頻評論區堪稱一座藴含海量用户洞察的“數據金礦”。無論是品牌方想要精準把握消費者需求，還是創作者希望瞭解受眾反饋，高質量的評論數據都能提供關鍵支撐。於是，我專門用python語言開發了一款專為評論採集設計的工具“爬dy搜索評論軟件”，輕鬆解決數據獲取難題。 一、工具適配與技術説明 1.1 適配環境 Windows系統用户可直接雙擊啓動，無需安裝Python運行

數據採集 , python爬蟲 , 爬蟲

收藏 評論

aixiaodekaomianbao_ddkwvd 頭像

clklog - 從零開始搭建埋點採集體系：輕鬆解鎖用户行為分析

在上一篇文章中，我們探討了用户行為數據在互聯網運營中的重要性。今天，我們繼續深入，看看如何高效地採集用户行為數據。 埋點技術因其高精度和定製化能力，成為許多公司的首選方式。然而，有些公司在埋點採集時，將其視為開發過程中的“附加任務”，讓研發人員在開發過程中順帶加上一些埋點，而沒有完整的規劃和驗證。這往往導致數據分析的效果不盡如人意。為了避免這種情況，我們需要將數據採集提升到項目級別，進行系統

sdk , 開源軟件 , 數據採集 , 埋點 , 數據分析

收藏 評論

u_13357275 頭像

上海拔俗網絡 - AI教學評價分析管理系統：用技術讓課堂評價更精準高效

傳統教學評價總繞不開“憑經驗、耗時間、不全面”的難題——專家聽課靠主觀打分，不同人評分差異率超30%，一學期最多覆蓋8%的課程，反饋報告還要等兩週。而AI教學評價分析管理系統，正是用技術打破這些侷限，讓教學評價從“模糊感知”變成“精準診斷”。 系統的核心能力，源於“多模態數據採集+智能分析”的技術閉環，就像給課堂裝了一套“智能感知中樞”。前端靠三類“感知設備”捕捉全量數據：教室的廣角

數據 , 數據採集 , NLP , 人工智能 , 模態

收藏 評論

u_17536710 頭像

mb68d4f4b730ca5 - 大數據解決方案如何實施

大數據解決方案實施的難點在於以下幾點： 　　1.很少有優質可用的數據 　　在數聚股份看來，這幾年數據交易機構如雨後春筍，“數據變現”成為很多擁有數據積累的傳統企業的新的生財法。目前，我國大數據需求端以互聯網企業為主，覆蓋面不廣，在O2O趨勢下，大型互聯網廠商嘗試引入外部數據支撐金融、生活、語音、旅遊、健康和教育等多種

bi , bi工具 , 數據採集 , 數據可視化 , 人工智能 , 數據分析

收藏 評論

u_15796946 頭像

程序猿追 - 使用GeeLark+亮數據，做數據採集打造爆款內容

https://www.bilibili.com/video/BV1t5m1B4Emg/?spm_id_from=333.1387.homepage.video_card.clickvd_source=8c987e288018fae8f95831d231306b93 結合GeeLark與亮數據（Bright Data）進行數據採集，是內容創作者和營銷人員打造爆款內容、實現數

大數據 , 數據 , ip , 數據採集 , 數據倉庫

收藏 評論

u_15796946 頭像

程序猿追 - 每天節省3小時：我們如何用IPIDEA動態IP解決海外數據採集難題

一、前言 在數據驅動的業務中，穩定採集競品信息是做出有效決策的基礎。但在實際操作中，採集工具的可靠性常常受限於一個底層因素：IP 地址。 我曾面臨一個具體問題：我們在做一個一套用於監控海外運動品牌市場動態的系統時，因為自建代理池的 IP 質量不穩定，導致數據採集成功率僅在 65% 左右波動，並且採集的速度也不理想。維護這套系統，每天需要投入數小時處理 IP 和驗證碼。

大數據 , 數據 , ip , 數據採集 , 數據倉庫

收藏 評論

u_16099176 頭像

IT劍客風雲 - 神策數據埋點實操_神策埋點

神策數據Web JavaScript埋點SDK是一款輕量級用於Web端和H5端的數據採集埋點工具，幫助開發者輕鬆實現用户行為數據的收集與分析。本文將為你詳細介紹這款實用工具的核心功能、目錄結構及使用方法，讓你快速掌握數據埋點的關鍵技能。 📦 項目核心文件與目錄解析 核心SDK文件説明 神策數據Web JavaScript埋點SDK提供了多個版本的核心文件，滿足

數據 , 數據採集 , 後端開發 , Python , Web

收藏 評論

u_15745565 頭像

畢設大神 - 全國降水分析可視化系統的設計與實現-計算機畢業設計源碼+LW文檔

第一章 研究背景與意義 1.1 研究背景 近年來，全球氣候變化加劇，極端降水事件頻發，對農業生產、城市防洪、生態平衡及社會經濟造成了深遠影響。中國作為地域遼闊、地形複雜的國家，不同區域的降水分佈呈現顯著差異，精準掌握降水時空變化規律成為防災減災、水資源管理的關鍵需求。然而，傳統降水數據分析多依賴於分散的監測站點和靜態報表，存在數據整合難度大、可視化能力不足、實

預測模型 , 數據 , 數據採集 , 後端開發 , JAVA

收藏 評論

u_15745565 頭像

畢設大神 - 車輛尾氣檢測排放系統-可視化大屏展示-計算機畢業設計源碼

一、研究背景與意義 環境保護政策驅動 隨着全球氣候變化問題日益嚴峻，各國對環境保護的重視程度不斷提升。我國提出“雙碳”目標（碳達峯、碳中和），對機動車尾氣排放的監管要求愈發嚴格。車輛尾氣中的一氧化碳（CO）、碳氫化合物（HC）、氮氧化物（NOx）等污染物是空氣污染的主要來源，直接影響空氣質量與公眾健康。 傳統尾氣檢測系統多以表格數據或簡單報表形式呈現，存

數據 , 數據採集 , 實時監控 , 後端開發 , JAVA

收藏 評論

mashukui 頭像

馬哥python説 - 【youtube爬蟲】油管評論採集軟件v3.0版，一鍵批量採集指定視頻下評論

本軟件工具僅限於學術交流使用，嚴格遵循相關法律法規，符合平台內容合法合規性，禁止用於任何商業用途！ 一、背景介紹 1.1 爬取目標 您好！我是@馬哥python説，一枚10年+程序猿，現全職獨立開發。 我用Python獨立開發了一款爬蟲工具：爬油管評論軟件。作用是：爬取油管指定視頻下的評論數據，支持批量視頻的採集。 包含10個關鍵字段： 1. cid(評論id) 2. text(評論內容)

數據採集 , 爬蟲 , youtube

收藏 評論

zhuifengdekaomianbao 頭像

張老師講數字孿生 - 真實訓練+虛擬仿真，機器人學習進入“超級工廠”時代

海量高質量數據正在成為機器人產業的“新石油”，而遍佈全國的“數據採集超級工廠”則成為機器人學習成長的“學校”。 在北京亦莊，一個機器人正在超市貨架前進行商品識別訓練；在上海臨港，另一台機器人在模擬倉庫環境中學習搬運技巧；在深圳福田，服務機器人正在酒店場景中接受接待禮儀培訓… 這些機器人並非在進行簡單測試，而是在具身數據採集超級工廠中接受系統化“教育”。2025年以來，全國各主要城市紛紛佈局機器人數

數據 , 智能設備 , 數據採集 , 機器人 , 仿真

收藏 評論

mashukui 頭像

馬哥python説 - xhs_search_comment_tool | 2025自研小紅書評論區數據採集工具

本軟件工具僅限於學術交流使用，嚴格遵循相關法律法規，符合平台內容合法性，禁止用於任何商業用途！ 一、背景概述 1.1 開發背景 小紅書作為國內領先的社交電商平台，擁有龐大的用户羣體和高活躍度，其筆記評論區域藴藏着豐富的用户反饋信息。在合法合規、尊重平台規則及用户隱私的前提下，對小紅書評論數據進行合理採集與分析，有助於企業深入瞭解消費者對產品與品牌的真實評價，從而更好地洞察市場需求、優化產品策

gui , 工具軟件 , 數據採集 , 爬蟲 , Python

收藏 評論