tag 大數據

標籤
貢獻385
311
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16213619 頭像

mob64ca14010a69 - sparksql insert overwrite 表不存在

創建表的語句 create table tab_name ( col_name1 TYPE OPT, col_name2 TYPE OPT, ... ); 其中TYPE為數據類型，OPT為可選項，如指定為主鍵時，使用 PRIMARY KEYsqlite支持的數據類型：

spark , 大數據 , integer , sqlite , 多線程 , SQL , insert

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - Hologres Dynamic Table快速入門

作者：趙紅梅 Hologres PD 本次分享的主題是Dynamic Table快速入門，由Hologres PD 趙紅梅分享。今天的分享分為三個部分。首先，第一部分介紹Dynamic Table；第二部分進行Dynamic Table的實操；第三部分為一些使用DynamicTable的建議和最佳實踐。 Hologres Dynamic Table介紹 Dynamic Table的使用方法和

大數據 , table , 阿里雲 , dynamic-programming

收藏 評論

u_17022799 頭像

亞拉索第一 - 基於 DevUI MateChat 構建通信業務智能助手

一、需求背景： 在數字化浪潮下，客服系統已成為通信運營商連接用户的核心觸點 —— 用户從套餐諮詢、業務辦理到售後維權，90% 的需求都通過客服渠道解決。但行業數據顯示，通信行業客服正面臨 “高成本、低效率、差體驗” 的三重擠壓：人工客服成本佔運營總支出的 15%，用户對響應速度的要求從 “分鐘級” 壓縮至 “秒級”，而單一文字推薦的轉化率不足 8%，遠低於電商行業的

ico , 大數據 , 數據倉庫 , 創建項目 , Git

收藏 評論

u_12959 頭像

lanhy - Hadoop集羣環境啓動順序

在 ZooKeeper 搭建 Hadoop HA 集羣時，啓動順序非常重要，錯誤的順序會導致服務無法正常啓動或無法實現高可用。 Hadoop HA 集羣的正確啓動順序 第1步：啓動 ZooKeeper 集羣 在所有 ZooKeeper 節點上啓動： # 在每台 ZK 節點上執行 zkServer.sh start #

hdfs , 大數據 , Debian , hadoop , 後端開發 , Python

收藏 評論

u_17594547 頭像

mb693121ef612a3 - 400個大數據、機器學習、深度學習、知識圖譜、機器視覺、情感分析、智能優化算法、神經網絡、數據挖掘畢業設計選題推薦

核心技術領域 ✅ 大數據處理：Hadoop / Spark / Hive / HDFS / MapReduce / 數據清洗 / ETL ✅ 機器學習算法： - 監督學習：邏輯迴歸、決策樹、隨機森林、XGBoost、多元線性迴歸 - 無監督學習：K-Means聚類、PCA降維 - 推薦系統：協同過濾（User/Item-Based）

大數據 , 推薦系統 , flask , hive , 數據分析

收藏 評論

u_16213724 頭像

mob64ca141a2a87 - 走進Tokio 的異步世界

引言 Tokio作為Rust生態中最重要的異步運行時，其多線程調度器是支撐高併發應用的基石。與傳統線程池不同，Tokio採用work-stealing算法和任務分片技術，在保證公平性的同時實現了極致性能。深入理解Tokio調度器的架構設計，不僅有助於編寫高效的異步代碼，更能讓我們洞察現代併發編程的核心理念。

大數據 , 開發語言 , rust , hadoop , 架構 , 多線程 , ci

收藏 評論

u_16213605 頭像

mob64ca13fd9f8e - Netsparker Community Edition基本使用

案例場景 作為開發人員或者IT管理員的你，一個非常常見的場景是你需要知道你的或者客户的機器上安裝了哪些微軟.NET Framework的版本，有沒有比較好的快速的方法可以獲取所有的.NET Framework版本信息？ 解決方案 方案是相當的多啊，比方説下面常見的： 使用Windows Explorer獲取 通過查看註冊表

spark , 版本信息 , 大數據 , PowerShell , 代碼庫

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | 什麼是自動化巡檢？

什麼是自動化巡檢？ 一、簡介 在實際工作中，自動化巡檢可以幫助系統管理員、開發人員和其他技術從業者更好地理解和利用自動化巡檢來提高系統的穩定性和性能。簡單理解就是利用計算機程序和腳本等自動化工具，以取代手動進行的檢查和監測操作。這樣有助於提高效率、減少錯誤，並確保持續性的監測。在部署自動化巡檢時，我們通常是定期執行的，以確保系統和網絡的穩定性

大數據 , hive , HTTP , 響應時間 , Python

收藏 評論

u_15844731 頭像

阿森CTO - C++進階模版 提升代碼複用性和可維護性

@TOC 📝前言 前面我們學習了初階模版，本節我們將學習模版進階 🌠 非類型模版參數 模版參數分類為兩種：類型形參與非類型形參。 類型形參：出現在模板參數列表中，跟在class或者typename之類的參數類型名稱。 非類型形參：就是用一個常量作為類型（函數）模版的一個參數，在類（函數）模版中可將該參數當做常量來使用。

實例化 , 模版 , 大數據 , yyds乾貨盤點 , data , 數據倉庫

收藏 評論

u_15591410 頭像

我就是不長肉而已 - B5819WS-ASEMI可直接替代安世PMEG4010CEJ

編輯：ll B5819WS-ASEMI可直接替代安世PMEG4010CEJ 型號：B5819WS 品牌：ASEMI 封裝：SOD-123 正向電流：1A 反向電壓：40V 正向壓降：0.44V~0.47V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns 浪涌電流：20

ASEMI , B5819WS , 大數據 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_17590687 頭像

長袖員大表哥 - Flink 與 Kafka

Flink 與 Kafka 是大數據實時處理領域的 “黃金組合”——Kafka 負責高吞吐、高可靠的實時數據收發，Flink 負責低延遲、高精度的實時計算分析，二者深度適配，能支撐電商實時風控、物流軌跡追蹤、直播數據大屏等各類高併發實時業務場景。下面用通俗易懂的方式拆解核心信息： 一、核心分工（為什麼是 “黃金搭檔”？）

大數據 , 數據 , 數據倉庫 , 實時監控 , kafka

收藏 評論

u_16213633 頭像

mob64ca1404476b - AI緣起 —— 達特茅斯會議 - 行者AI的個人空間 -

AI元人文：共識錨定的基石——語境主權 引言 在人工智能價值交互的探索中，"共識錨定"機制以其三級操作體系展現出解決價值衝突的潛力。然而，在當下的學術探討中，這一理論框架背後存在着一個不曾談及卻至關重要的基石——語境主權。這個看似新穎的術語，實則揭示了人類社會千百年來默會運行的核心慣例，是維繫各個領域價值秩序的"隱形操

設計規範 , 大數據 , 架構 , 後端開發 , 系統架構 , 人工智能 , Python

收藏 評論

www3300300 頭像

最新快訊 - 科技快訊 | 韓國科學家研發出首款仿生液態機器人；OpenAI推出GPT-4o圖像生成功能

韓國科學家研發出全球首款仿生液態機器人，自由變形穿越金屬柵欄 韓國首爾大學等研究團隊開發出一種基於液體的下一代軟體機器人，具有細胞仿生特性，能自由變形、分裂融合，並執行物質運輸任務。該機器人採用“顆粒裝甲”設計，兼具液體變形能力與固體結構穩定性，可承受極端壓縮和跌落衝擊，並能自動恢復原狀。研究團隊正研究利用聲波或電場變形的技術，並計劃增

大數據 , 數據 , MySQL , 科技 , API , 數據庫 , 人工智能

收藏 評論

ververica 頭像

ApacheFlink - Apache Flink 2.2.0: 推動實時數據與人工智能融合，賦能AI時代的流處理

Apache Flink PMC 很高興地宣佈 Apache Flink 2.2.0 版本發佈了。Flink 2.2.0 版本進一步增強了 AI 函數 和 向量檢索功能，改進了物化表和連接器框架，並優化了批處理和 PyFlink 支持。Flink 2.2.0 版本總共由來自全球的 73 位貢獻者參與，累計推進了 9 個 FLIP（Flink 重要改進提案），完成了 220 多項缺陷修復和改進。 F

大數據 , flink , 實時計算

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 洋錢罐基於 EMR Serverless 產品構建全球一體化數字金融平台

演講人：宋曉峯洋錢罐大數據運維總監 十年破壁：從數據築基到智能生態的全鏈路實踐 一、數據築基——自建大數據集羣的攻堅與突破 背景介紹 瓴嶽科技（Fintopia）是以大數據和人工智能為基礎的數字科技集團，為全球用户提供卓越的金融體驗。2015年成立至今，瓴嶽科技始終聚焦消費金融，業務遍佈中國大陸、東南亞、拉丁美洲和非洲等；集團旗下擁有洋錢罐、Easycash等知名品牌，截至2025年，服務全球金融

spark , 大數據 , 阿里雲 , starrocks

收藏 評論

u_16099225 頭像

數據探索者11 - cherry studio yarn install報錯

我使用了左右鏡像的Sierpinski triangle，每層減去上方一小塊，再用符號點綴。可生成不同層數的「聖誕樹」，如下圖是5層的結果。 #include stdio.h #include stdlib.h int main(int argc, char* argv[]) { int n = argc 1 ? atoi(argv[1]) :

大數據 , yarn , include , 簡單使用 , define

收藏 評論

u_16213664 頭像

mob64ca140bbb8b - Hispark芯片配置器如何啓動

　　　　對於器件的配置或者説驅動，通常要面對全英文的數據手冊。要把這個手冊在極短的時間內看懂，也確實是件難的事情。可以跳過部分章節的內容，直接去閲讀寄存器的配置和管腳的定義。做個總結： *. 如果很不幸運，就得檢查電路了，當然這裏改放到第一步檢查的, 檢查供電是否正常。檢查信號的高低電平是否在範圍內。幅度是否偏高或者偏低。 　　　　1.SPI口配置，通常FPGA內運行

spark , 大數據 , 數據 , 引腳 , 寄存器 , Hispark芯片配置器如何啓動

收藏 評論

u_12970 頭像

huatechinfo - 直接間接索引地址

關於轉移地址的尋址方式 關於轉移地址的尋址方式 程序要實現轉移，要知道轉移的目的地的地址，尋找這種地址的方式，稱為轉移地址的尋址方式。 分為兩種 段內轉移 段間轉移 段內轉移 段內轉移，只有IP值發生改變，CS沒變。 尋址方式有兩種： 直接尋址 間接尋址 直接尋址 指令

直接尋址 , 尋址方式 , 大數據 , 轉移指令 , 數據倉庫 , 直接間接索引地址

收藏 評論

u_16213630 頭像

mob64ca14038b36 - 大數據hoodap 和mysql

這篇文章看似比較了兩個不同的觀點，實際上兩個人説的並不是一回事兒。RyanBetts講的是SQL作為一種標準化、交互性極強的語言本身，依然會在大數據庫時代的非關係型數據庫中發揮作用。BobWiederhold講的是關係型數據庫是縱向發展（大集中模式：拼命增強主機性能、拼命增強一個磁陣內的存儲），而非關係型數據庫適合橫向擴展（拼命加廉價的主機與存儲）,大數

大數據 , MySQL , nosql , 大數據hoodap 和mysql , relational database , 數據庫 , SQL

收藏 評論

alijishu 頭像

阿里雲開發者 - 展心展力 metaapp：基於 DeepRec 的稀疏模型訓練實踐

1 背景 推薦場景大模型在國內的使用很早，早在 10 年前甚至更早，百度已經用上了自研的大規模分佈式的 parameter server 系統結合上游自研的 worker 來實現 TB 級別的萬億參數的稀疏模型。後來，各家平台也陸續基於這種方案，開發了自己的分佈式訓練系統，普遍特點是大量使用 id embedding，因此參數量巨大，模型大小也非常誇張。當然，隨着開源訓練工具 TensorFlow

機器學習 , 大數據 , 人工智能 , meta , 模型

收藏 評論

u_16099254 頭像

歲月靜好呀 - ENUM 類型需要建索引嘛

結構體-枚舉類型 一、枚舉類型 枚舉（enum）是值類型的一種特殊形式，它從System.Enum繼承而來，併為基礎類型的值提供替代名稱。枚舉類型有名稱、基礎類型和一組字段。基礎類型必須是一個除char 類型外的內置的有符號（或無符號）整數類型（如Byte、Int32或UInt64）。也可以説，枚舉類型是一組常量的集合。 1、定義：Enum....{E

大數據 , ENUM 類型需要建索引嘛 , 變量名 , 數據倉庫 , i++ , 枚舉類型

收藏 評論

u_15082365 頭像

u_15082365 - 百度大數據成本治理實踐

導讀 本文概述了在業務高速發展和降本增效的背景下百度MEG（移動生態事業羣組）大數據成本治理實踐方案，主要包含當前業務面臨的主要問題、計算數據成本治理優化方案、存儲數據成本治理優化方案、數據成本治理成果以及未來治理方向的一個思路探討，為業界提供可參考的治理經驗。 01 背景 隨着百度各業務及產品的快速發展，海量的離線數據成本在持續地增長。在此背景下，通過大數據治

spark , 大數據 , hadoop , 數據治理 , 成本優化

收藏 評論

east4ming 頭像

東風微鳴雲原生 - Apache Parquet 優勢與日誌應用場景解析

寫作背景 近期看了幾篇關於日誌解決方案的文章, 發現它們都在使用 Apache Parquet 作為存儲文件格式. 如下: Yelp 發佈大規模管理 S3 服務器訪問日誌的方案_架構_InfoQ精選文章 Cloudflare Log Explorer is now GA, providing native observability and forensics 逆勢降本：雲上數據平台年復削

日誌管理 , 大數據 , 運維

收藏 評論

nahandeyagao_dv9dhp 頭像

nahandeyagao_dv9dhp - 閒魚API接口：商品詳情的實時同步

在當今互聯網時代，二手交易市場如同一片充滿生機的藍海，吸引着無數弄潮兒。在這片藍海中，閒魚平台以其獨特的魅力，成為了廣大用户的交易首選。為了讓更多開發者和企業充分利用這一平台資源，閒魚推出了商品詳情API接口，為廣大開發者開闢了一條獲取商品信息的綠色通道。 閒魚商品詳情API接口，作為閒魚平台對外開放的重要服務之一，其主要作用是讓開發者能夠通過編程方式，輕鬆獲取平台上商品的具體信息。該接口涵蓋了商

大數據處理 , 淘寶開放平台 , 大數據 , API , 數據庫

收藏 評論