tag 大數據

標籤
貢獻385
312
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099265 頭像

智能開發者 - hive並行insert into同一張表是否會漏數據

一、如何更高效率地插入大量數據 1、INSERT INTO workinfo (column1, column2) VALUES (1, 2), (2, 3),(4,5)；，這樣可以減少一些INSERT語句 2、推薦多線程並行插入 代碼範例： PreparedStatement ps = con.prepareStatement(sql)

服務器 , 大數據 , hive , 數據庫 , ci

收藏 評論

u_15796946 頭像

程序猿追 - 使用GeeLark+亮數據，做數據採集打造爆款內容

https://www.bilibili.com/video/BV1t5m1B4Emg/?spm_id_from=333.1387.homepage.video_card.clickvd_source=8c987e288018fae8f95831d231306b93 結合GeeLark與亮數據（Bright Data）進行數據採集，是內容創作者和營銷人員打造爆款內容、實現數

大數據 , 數據 , ip , 數據採集 , 數據倉庫

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | 10分鐘快速入門Hive之基本操作篇

一、DDL操作（數據定義語言） DDL操作（數據定義語言）包括：Create、Alter、Show、Drop等。 1. create database- 創建新數據庫 2. alter database - 修改數據庫 3. drop database - 刪除數據庫 4. create table - 創建新表 5.

大數據 , 數據 , hive

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 病毒學研究的關鍵工具：重組病毒蛋白的技術解析與應用實踐

在當代病毒學與傳染病基礎研究領域，重組病毒蛋白已成為不可或缺的核心研究工具。這些通過基因工程技術在哺乳動物細胞、昆蟲細胞等表達系統中精準製備的蛋白質，為科研人員提供了安全可控、可規模化生產的高純度研究材料。與傳統的病毒提取蛋白相比，重組技術不僅完全規避了生物安全風險，更能實現嚴格的批次間一

重組蛋白定製 , 大數據 , 哺乳動物細胞表達 , 數據倉庫 , 蛋白質相互作用研究 , His標籤蛋白 , HEK293細胞表達

收藏 評論

u_16213617 頭像

mob64ca140088a9 - Nimbus storm

storm集羣在生產環境部署之後，通常會是如下的結構。從圖中可以看出zookeeper和supervisor都是多節點，任意1個zookeeper節點宕機或supervisor節點宕機均不會對系統整體運行造成影響，但nimbus和ui都是單節點。ui的單節點對系統的穩定運行沒有影響，僅提供storm-ui頁面展示統計信息。但nimbus承載了集羣

Nimbus storm , Storm , 大數據 , 配置文件 , zookeeper , 多節點

收藏 評論

u_16099168 頭像

代碼匠人之心 - yarn config list中auth token是什麼

YACC文件格式 yacc文件分為三部分： ... definitions ...（%{}%） %% ... rules ... %% ... subroutines ... 定義部分 第一部分包括標誌（token）定義和C代碼（用“%{”和“%}”括起來）。 如在定義部分定義標誌：

yacc , 大數據 , yarn , 優先級 , 遞歸

收藏 評論

dolphinscheduler 頭像

海豚調度 - 一文教會你基於 Rainbond 部署 DolphinScheduler 高可用集羣

本文描述通過 Rainbond 雲原生應用管理平台 一鍵部署高可用的 DolphinScheduler 集羣，這種方式適合給不太瞭解 Kubernetes、容器化等複雜技術的用户使用，降低了在 Kubernetes 中部署 DolphinScheduler 的門檻。 前提條件 可用的 Rainbond 雲原生應用管理平台，請參閲文檔Rainbond 快速安裝。 DolphinScheduler 集

部署 , 大數據 , 開源 , JAVA

收藏 評論

u_16099283 頭像

編程之翼 - apache hive編程指南 edward pdf下載

Hive安裝部署 Hive 安裝及配置 配置已經完成, 在此處啓動hadoop集羣 Hive 常用命令 將本地文件導入 Hive 案例 安裝MySql Hive 元數據配置到 MySql Hive 安裝及配置 下載地址: https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ 提取

大數據 , hive , hadoop

收藏 評論

u_16213607 頭像

mob64ca13fe1aa6 - 人工智能學習筆記----01_hhh江月的技術博客

Deep Learning 基礎知識 Loss Function: MSE(mean square error loss)（均方誤差） CEE(cross entropy error loss)（交叉熵誤差） Backward: Sigmoid: ReLU:（分

卷積 , 大數據 , 激活函數 , hadoop , 全連接

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：實時流處理實戰

在大數據處理領域，實時流處理正變得越來越重要。Apache Flink作為領先的流處理框架，提供了強大而靈活的API來處理無界數據流。本文將通過經典的SocketWordCount示例，深入探討Flink實時流處理的核心概念和實現方法，幫助你快速掌握Flink流處理的實戰技能。 一、實時流處理概述 1. 流處理的基本概念 流處理是一種持續處理無界數據的計算範式。與批處理不同，流處理系統需要在數據到

大數據 , JAVA , flink , 數據處理 , 後端

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 細胞因子：細胞信使的分子世界與功能解析

在複雜的多細胞生物體內，細胞間的信息交流是維持生命活動的基礎。其中，細胞因子 作為一類關鍵的信使分子，在免疫調節、細胞生長、分化、炎症反應和組織修復等過程中扮演着不可或缺的角色。本文將深入探討細胞因子的分子特性、作用機制及研究應用，為讀者提供全面的技術視角。 一、細胞因子的

腫瘤壞死因子 , 大數據 , 細胞因子 , 信號轉導 , 數據倉庫 , 流式細胞術 , 白細胞介素

收藏 評論

u_15844731 頭像

阿森CTO - C++11線程庫

@TOC 在C++11標準出台前，多線程編程依賴系統原生接口——Linux的POSIX線程（pthread）與Windows的CreateThread接口互不兼容，導致跨平台代碼開發難度大、可移植性低。C++11首次將多線程納入標準庫，無需依賴第三方庫即可實現跨平台併發編程，同時引入原子操作類，為併發安全提供了原生支持。 一、C++11線程庫核心接口解析

大數據 , yyds乾貨盤點 , include , 數據倉庫 , i++ , ios

收藏 評論

u_16213722 頭像

mob64ca1419a401 - 網站被搜索引擎轉碼了

這裏所説的搜索引擎主要是Google，因為像百度這種搜索引擎，老老實實的只使用GB2312編碼，自然不存在識別的問題。而Google本來也很厚道的會在Url中標識一下關鍵詞的編碼類型，可惜得加一個修飾“有時”，而另外一些時候，它會十分體貼的自動識別轉化而不告訴你…… 本着“Google可往，我亦可往”的信念，自己動手解決關鍵字編碼自動識別的問題。 好在需要識別的範圍已

ico , 大數據 , google , 數據倉庫 , 編碼格式 , 網站被搜索引擎轉碼了

收藏 評論

u_16099203 頭像

網絡安全守衞 - Spark RDD 之分區

通過上篇文章【Spark RDD詳解】，大家應該瞭解到Spark會通過DAG將一個Spark job中用到的所有RDD劃分為不同的stage，每個stage內部都會有很多子任務處理數據，而每個stage的任務數是決定性能優劣的關鍵指標。 首先來了解一下Spark中分區的概念，其實就是將要處理的數據集根據一定的規則劃分為不同的子集，每個子集都算做一個單獨的分區，由集羣中不

spark , 大數據 , 加載 , 後端開發 , JAVA , harmonyos

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - Hudi 在 vivo 湖倉一體的落地實踐

作者：vivo 互聯網大數據團隊 - Xu Yu 在增效降本的大背景下，vivo大數據基礎團隊引入Hudi組件為公司業務部門湖倉加速的場景進行賦能。主要應用在流批同源、實時鏈路優化及寬表拼接等業務場景。 一、Hudi 基礎能力及相關概念介紹 1.1 流批同源能力 與Hive不同，Hudi數據在Spark/Flink寫入後，下游可以繼續使用Spark/Flink引擎以流讀的形式實時讀取數據。同一份H

大數據 , 效率 , 數據湖

收藏 評論

u_93011 頭像

小屁孩 - 打包報錯archive is nota ZIP archive

AppCan AppCan開發平台簡介 AppCan是Hybrid App開發框架即混合開發框架,有官方提供底層功能使用API HTML5和JavaScript只是作為一種解析語言，真正調用的都是Native App一樣封裝的底層功能 AppCan打包 本地打包 IDE生成的ipa包是越獄

ico , 大數據 , hive , 上傳 , Css

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式？

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件，它能將 CDC 數據流轉為 Append-Only 模式，並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能，其在 CDC 數據同步場景下的使用方法，以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindE

spark , 大數據 , 數據 , 數據轉換 , 開源 , seatunnel

收藏 評論

u_16099220 頭像

數碼精靈abc - 範圍查詢索引會失效麼

在計算機科學中，k-d樹（k-dimensional的縮寫）是一種空間劃分數據結構，用於組織k維空間中的點。主要應用於多維空間關鍵數據的搜索（如：範圍搜索和最近鄰搜索）。k-d樹是空間二分樹（Binary space partitioning ）的一種特殊情況。 索引結構中相似性查詢有兩種基本的方式： 一種是範圍查詢（range s

機器學習 , 範圍查詢索引會失效麼 , 大數據 , 搜索 , 算法 , 數據倉庫 , 子節點

收藏 評論

seatunnel 頭像

SeaTunnel - 喜報！白鯨開源 CEO 榮登「2025 中國數智化轉型升級先鋒人物」榜

2025年9月8日，由數智猿×數據猿聯合主辦，中關村科學城公司協辦，中國經濟信息社×北京軟件和信息服務業協會×中國互聯網協會數字化轉型與發展工作委員會×上海大數據聯盟作為支持單位，以 “破界·反捲” 為主題的 “2025第五屆數智化轉型升級發展論壇——暨AI大模型AI Agent趨勢論壇” 成功舉辦，並首次對外公佈了 《2025中國數智化轉型升級先鋒人物》榜單/獎項 等七大榜單，展示了“中國數智

大數據 , 科技 , 開源 , 技術

收藏 評論

kamier 頭像

kamier - 【Hadoop】HDFS架構解析

一、HDFS簡介 HDFS（Hadoop Distributed File System）是一個分佈式文件系統，它的主要設計目標是為了解決‌存儲和處理大規模數據的挑戰‌，尤其針對‌低成本硬件集羣‌和‌高吞吐量批處理‌場景。其有以下幾個主要特性： 跨平台（底層由Java開發，天然支持跨平台部署） 高容錯（數據冗餘存儲，數據塊默認有3個副本） 高吞吐（並行讀取或寫入多個數據塊，且是順序讀寫，流

hdfs , 大數據 , hadoop

收藏 評論

u_16213683 頭像

mob64ca14101b2f - oracel 分區表不走normal索引

表空間是指磁盤上的一塊存儲區域，用來存放表。 　　使用範圍分區法對數據量大的表進行分區，分區存放到不同的表空間。 　　範圍分區就是用表中的某個字段值的範圍進行分區。 　　比如： 　　1）用數值型的id字段,id100000的在第1個分區，100000=id200000的在第二個分區。 　　2）用日期類型的字段，2011年的數據在一個分區，2012年的

字段 , 表空間 , 大數據 , 數據 , 數據倉庫

收藏 評論

u_16099176 頭像

IT劍客風雲 - 大數據未來發展的七大趨勢

大數據展望 隨着信息技術的飛速發展，大數據已經成為推動社會進步和商業創新的重要力量。它不僅僅是海量數據的簡單堆砌，更是對這些數據進行深度挖掘和分析的過程，以期從中發現有價值的信息和知識。 在商業領域，大數據的應用前景廣闊。企業可以利用大數據分析消費者行為，優化產品設計，提高營銷效率，甚至預測市場趨勢。通過對數據的實時監控和分析，企業能夠更快地

商業 , 大數據 , 數據 , Css , 前端開發 , HTML

收藏 評論

u_15444 頭像

gulaotou - QT和C#究竟選哪個_c#和qt

C# 桌面框架與 Qt 對比分析 本文主要是豆包生成，本人根據實際情況有所修改 一、文檔簡介 本文圍繞 C# 生態主流桌面框架（MAUI、Avalonia、WinUI 3）與 Qt（C++ 跨平台框架）展開對比，從開發效率、跨平台能力、界面生態等核心維度分析差異，為不同場景下的框架選擇提供參考。適用人羣為桌面應用開發者、技術選型負責人，

控件 , 大數據 , qt , 開發語言 , hadoop , c

收藏 評論

u_14767244 頭像

u_14767244 - Apache Doris 4.0.2 版本正式發佈

親愛的社區小夥伴們，**Apache Doris 4.0.2 版本已正式發佈。**此版本新增了在 AI Search、函數、物化視圖、Lakehouse 等方面的功能，並同步進行了多項優化改進及問題修復，歡迎下載體驗！ GitHub 下載：https://github.com/apache/doris/releases 官網下載：https://doris.apach

大數據 , hive , 數據倉庫 , 人工智能 , 物化視圖 , apache

收藏 評論