tag 大數據

標籤
貢獻386
332
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16565911 頭像

南大通用GBase - 南大通用GBase 8a_SENSITIVE_DIRECTORY_ACCESS_DISABLE 參數介紹

參數名：_sensitive_directory_access_disable參數 參數值：字符串類型，支持正則、分隔符號，默認ssh 參數可見範圍：不可被show 功能説明： 安全漏洞審查中認為導出數據到/home/xxx/.ssh/目錄中可能存在安全隱患， 增加_sensitive_di

GBase 8a , 文件名 , 大數據 , 字符串 , 數據倉庫 , 默認值

收藏 評論

u_16213630 頭像

mob64ca14038b36 - Ssearc索引器作用

索引器允許類或者結構的實例按照與數組相同的方式進行索引取值，索引器與屬性類似，不同的是索引器的訪問是帶參的。 索引器和數組比較： (1)索引器的索引值(Index)類型不受限制 (2)索引器允許重載 (3)索引器不是一個變量 索引器和屬性的不同點 (1)屬性以名稱來標識，索引器以函數形式標識 (2)索引器可以被重載，屬性不可以 (3

索引器 , Test , System , 大數據 , 數據倉庫 , Ssearc索引器作用

收藏 評論

u_17536710 頭像

mb68d4f4b730ca5 - 企業高質量發展評價體系實施的難易程度

在數聚股份看來， 政府部門對企業實施高質量發展評價過程中，有構建評價體系是其中最關鍵的部分，本文主要從體系構建的角度側面的呈現實施的難易程度。而大數據採集及可視化將貫穿全過程。 首先我國最新2017年版國民經濟行業分類(GB/T 4754-2017)將現行行業分為20大類，4個層級，共1775個小項，因此在指定評價體系過程中第一步需要考慮的就是行業分類對體系的影響。不同行業

大數據 , bi工具 , 數據採集 , 數據可視化 , 人工智能 , 數據分析

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - vivo Celeborn PB級Shuffle優化處理實踐

作者： vivo 互聯網大數據團隊-Wang Zhiwen、Cai Zuguang vivo大數據平台通過引入RSS服務來滿足混部集羣中間結果（shuffle 數據）臨時落盤需求,在綜合對比後選擇了Celeborn組件，並在後續的應用實踐過程中不斷優化完善，本文將分享vivo在Celeborn實際應用過程中對遇到問題的分析和解決方案，用於幫助讀者對相似問題進行參考。 1分鐘看圖掌握核心觀點

大數據 , shuffle , RSS

收藏 評論

u_16213609 頭像

mob64ca13fe9c58 - 科學引文索引WOS

SCI EI ISTP ISR SSCI簡介 《科學引文索引》（SCI） 《科學引文索引》（Science Citation Index,簡稱SCI）是美國科學情報研究所出版的一種世界著名的綜合性科技引文檢索刊物。該刊於1963年創刊，原為年刊，1966年改為季刊，1979年改為雙月刊。多年來，SCI數據庫不斷髮展，已經成為當代世界最重要的大型數據庫，被列在國際著名檢

工程技術 , 大數據 , 技術類 , 數據倉庫 , 科學引文索引WOS , ci

收藏 評論

u_13360 頭像

level - 大數據系統需要把數據都放入hadoop中嗎

大數據發展過程的關鍵要素 數據源的三個層次： 1 緯度較少、數據量小 2 緯度豐富、數據量巨大（大數據）。 3 數據正確、及時、具有代表性 樣本數據=總體數據（全數據）。 對業務目標而言，數據是否“全”才是關鍵。 全數

大數據 , 數據 , hadoop , 數據治理 , 全數據

收藏 評論

u_15844731 頭像

阿森CTO - VSCode部署Ubantu雲服務器，與Xshell進行本地通信文件編寫

@TOC 📝前言 本文目的是講使用Vscode連接Ubantu,與本地Xshell建立通信同步文件編寫。 查看本機系統相關信息： cat /etc/lsb* DISTRIB_ID=Ubuntu: 表示這是 Ubuntu 發行版。 DISTRIB_RELEASE=22.04: 表示這是 Ubuntu

發行版 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 打開文件 , Ubuntu

收藏 評論

u_16213644 頭像

mob64ca1406d617 - doris中bitmap索引

在Oracle中，索引基本分為以下幾種：B*Tree索引，反向索引，降序索引，位圖索引，函數索引，interMedia全文索引等，其中最常用的是B*Tree索引和Bitmap索引。 (1)、與索引相關視圖查詢DBA_INDEXES視圖可得到表中所有索引的列表；訪問USER_IND_COLUMNS視圖可得到一個給定表中被索引的特定列。 (2)、組

doris中bitmap索引 , 大數據 , 數據 , 操作符 , 數據倉庫 , 位圖

收藏 評論

u_15316473 頭像

阿里雲大數據AI技術 - 【跨國數倉遷移最佳實踐 12】阿里雲 MaxCompute 實現 BigQuery 10 萬條 SQL 智能轉寫遷移

作者：曹霖 本系列文章將圍繞東南亞頭部科技集團的真實遷移歷程展開，逐步拆解BigQuery遷移至MaxCompute過程中的關鍵挑戰與技術創新。本篇為第十二篇，基於阿里雲MaxCompute實現BigQuery10萬條SQL智能轉寫遷移。 注：客户為東南亞頭部科技集團，文中用GoTerra表示。 一、項目背景 在全球化和數字化加速

MaxCompute , 大數據 , 數據倉庫 , 數據遷移 , 阿里雲 , SQL

收藏 評論

u_16213628 頭像

mob64ca14031c97 - cdp對應的spark客户端 spark core

目錄 一、Spark Core 1、什麼是Spark？特點 二、安裝和部署Spark、Spark 的 HA 1、spark體系結構 2、spark的搭建 3、Spark的 HA 三、執行Spark的任務

spark , 大數據 , hadoop , Scala , cdp對應的spark客户端

收藏 評論

u_16213599 頭像

mob64ca13fc220d - hive group by cube函數

Cube授權/明細等操作 Cube明細查看 Cube是從星型模式的Hive表中獲取的預計算數據集，供用户探索、管理所有cube的網頁管理頁面。由菜單欄Model進入cube頁面，系統中所有可用的cube將被列出。 點擊已經創建好的cube, 展開cube明細。 SQL 視圖 (Hive查詢讀取數據

訪問權限 , 大數據 , 用户權限 , hive , 數據存儲

收藏 評論

u_16213667 頭像

mob64ca140c75c7 - 離散度低的列為什麼不適於建索引

數據庫索引詳解 索引是對數據庫表中一列或多列的值進行排序的一種結構，使用索引可快速訪問數據庫表中的特定信息。 如何選擇合適的列建立索引 從where從句中，group by從句中，order by從句中，on從句中，select列中，還可以建立覆蓋索引（也就是指索引包含所有查詢的列，直接查索引就可以完成任務的

字段 , 大數據 , 索引 , 數據庫表 , 數據倉庫 , 離散度低的列為什麼不適於建索引 , 數據庫

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲 AI 搜索開放平台：從算法到業務——AI 搜索驅動企業智能化升級

——已獲知乎作者【GitHub Daily】授權轉載 目前大模型的強大能力，使其成為一些企業和行業的主要創新驅動力，企業亟需重新審視和調整現有的創新機制，以適應AI技術和大數據的快速發展。目前很多企業已經開始嘗試大模型在業務中進行賦能，但在使用一些大模型時往往因為自身場景的需求不同，導致在應用落地中存在一些場景受限，知識庫不完善等一些痛點。 阿里雲AI搜索，憑藉先進的大模型能力和強大的 RAG 處

大數據 , 搜索 , 算法 , 阿里雲 , 人工智能

收藏 評論

u_16213578 頭像

智能探索者之家 - 搜索引擎人物檢索模糊搜索

本週記者工具：PeekYou PeekYou是什麼? 一個在線目錄,拖網60多個社交網站和超過30億個鏈接,根據對此PeekYou的LinkedIn的資料,它��述了它的使命是“索引公共web周圍的人”。 PeekYou界面 (繼續,搜索你的名字,你知道你想。) 記者怎樣使用PeekYou?

社交網絡 , 大數據 , 社交網站 , 搜索引擎人物檢索模糊搜索 , 搜索 , 實名尋人搜索引擎app , 數據倉庫

收藏 評論

u_12947 頭像

lazihuman - hive取上季度最後一天

今日內容: 1) 分桶表的相關優化 -- 理解 2) 建模分層操作 -- 需要操作 3) 全量流程的統計分析: -- 需求操作 (嘗試自己實現) 數據的

字段 , 大數據 , 數據 , hive , hive取上季度最後一天

收藏 評論

u_16099304 頭像

藍夢之翼 - netcore調用sqlserver數據庫索引整理

asp.net core通過ef core來訪問數據庫，這裏用的是代碼優先，通過遷移來同步數據庫與模型。 環境：vs2017，win10，asp.net core 2.1 一、從建立asp.net core web項目開始 1、通過vs2017建立一個asp.net core web

大數據 , 數據 , 數據倉庫 , 數據庫 , 主鍵

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54S-ASEMI可直接替代安世BAT54S-QR

編輯：ll BAT54S-ASEMI可直接替代安世BAT54S-QR 型號：BAT54S 品牌：ASEMI 封裝：SOT-23 正向電流：0.2A 反向電壓：30V 正向壓降：0.55V~0.95V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns 浪涌電流：80A

BAT54S , ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099227 頭像

雲端創新者 - SPARKLIKE官網

本博文的主要內容： 　　1、HashShuffle徹底解密 　　2、ShufflePluggable解密 　　3、SortedShuffle解密 　　4、Shuffle性能優化 一：到底什麼是Shuffle？ 　　Shuffle中文翻譯為“洗牌”，需要Shuffle的關鍵性原因是某種具有共同特徵的數據需要最終匯聚到一個計算節點上進行計算

sed , spark , 大數據 , 數據 , SPARKLIKE官網

收藏 評論

u_15844731 頭像

阿森CTO - linux信號捕捉，中斷

@TOC 📝前言 🌠 信號捕捉的流程 如果信號的處理動作是⽤⼾⾃定義函數,在信號遞達時就調⽤這個函數,這稱為捕捉信號。 由於信號處理函數的代碼是在⽤⼾空間的,處理過程⽐較複雜,舉例如下: ⽤⼾程序註冊了SIGQUIT 信號的處理函數sighandler 當前正在執⾏main 函數,這時發⽣中斷或異常切換到內核態

大數據 , yyds乾貨盤點 , 初始化 , 信號處理 , 數據倉庫 , 系統調用

收藏 評論

u_15358612 頭像

數據信息報 - 體育數據接口，足球數據api，籃球數據接口，電競數據pai，納米數據，動畫直播

隨着社會工業化、信息化水平的不斷提高，如今數據已取代計算成為信息計算的中心，雲計算、大數據正在成為一種趨勢和潮流，包括存儲容量、可用性、數據安全性、可擴展性等諸多方面。大數據是規模非常巨大和複雜的數據集。 越來越多的人在開發新應用時，都會用到API數據，但是API數據很多，好的API數據接口卻不多，包括傳統調研數據和機器數據，搜索、電商、社交等。而對於外部數據的獲取

機器學習 , 大數據 , 數據 , API , 人工智能

收藏 評論

u_16773655 頭像

向量檢索 - 通義深度搜索

簡介 通義深度研究產品，又稱深度搜索智能體Deep Search Agent，基於廣受歡迎的通義開源 WebSailor/DeepResearch開源項目增強而來，為用户打造的端到端智能深度搜索Agent API，可廣泛應用於本地+聯網知識庫、長文報告寫作、金融分析、法律諮詢、市場研究等應用場景 通義深度搜索Agent，通過多階段

大數據 , yyds乾貨盤點 , 搜索 , 深度搜索 , 數據倉庫 , AI , AI問答 , 大模型

收藏 評論

u_12902 頭像

jiecho - 有哪些垃圾蜘蛛搜索引擎

模擬蜘蛛查詢工具可以用來測試各種鏈接或文本的信息，以及蜘蛛看到的源碼等，在實際中有着非常多而且重要的作用，一般來講，我們最常用的模擬蜘蛛蜘蛛查詢的工具和作用如下： 1

有哪些垃圾蜘蛛搜索引擎 , 大數據 , google , 數據倉庫 , 友情鏈接 , HTML

收藏 評論

u_16099325 頭像

數據小築 - saas雲平台開發 博客園

saas應用與傳統應用開發 每個SaaS應用程序的背後都是存儲有關員工，供應商，客户和其他合作伙伴的業務信息的數據庫。 SaaS應用程序支持工作流，例如用於銷售和市場營銷的CRM，用於財務的雲ERP，用於人力資源功能的勞動力管理以及其他企業和部門服務。 如今，許多企業使用廣泛的SaaS應用程序-從諸如Salesforce，Slack，Workday

雲平台 , 大數據 , 雲計算 , 數據庫 , JAVA , Python

收藏 評論

u_16213579 頭像

雲端築夢工匠 - 軟件裏的數據archive

隨着網絡的普及，我們的各種數據基本上都存儲到了電腦、手機、以及各種軟件當中，數據的重要性已經不言而喻，如果重要的數據有丟失或者誤刪，可能會給我們帶來很大的損失。因此，擁有一個好的數據恢復工具很重要，在數據有丟失、誤刪等情況下快速恢復數據，推薦大家用數據恢復軟件EasyRecovery，可以輕鬆恢復各類文檔、音頻、視頻等文件，恢復率高，操作簡單，讓本以為找不到的文件，重現眼前。

大數據 , 數據 , hive , 誤刪 , 數據恢復 , 軟件裏的數據archive

收藏 評論