tag protobuf

標籤
貢獻15
91
05:27 PM · Nov 06 ,2025

@protobuf / 博客 RSS 訂閱

大數據王小皮 - Mac 安裝多版本 protoc / protobuf

一、單版本安裝 # 1) brew安裝 brew install protobuf # 查看安裝目錄 $ which protoc /opt/homebrew/bin/protoc # 2) 配置環境變量 vim ~/.zshrc # protoc (for hadoop) export PROTOC="/opt/homebrew/bin/protoc" source ~/.zsh

protobuf , macos

收藏 評論

JinaAI - DocArray 0.21.0版本發佈!新增OpenSearch後端存儲,支持Redis後端存儲的多語言文本搜索!

DocArray 是一個用於處理、傳輸和存儲多模態數據的 Python 工具包。DocArray 提供便捷的多模態數據處理功能,具備基於 Protobuf 提供高性能的網絡傳輸性能,同時也為多種向量存儲方案提供統一的 API 接口。 💡 DocArray 於 2022 年 1 月在開源 Apache 許可證 2.0 下發布。目前,它是 LF AI \ Data Foundation 下的沙

protobuf , redis , 搜索 , 開源項目介紹 , Python

收藏 評論

flydean - protocol buffer沒那麼難,不信你看這篇

簡介 上一篇文章我們對google的protobuf已經有了一個基本的認識,並且能夠使用相應的工具生成對應的代碼了。但是對於.proto文件的格式和具體支持的類型還不是很清楚。今天本文將會帶大家一探究竟。 注意,本文介紹的協議是proto3版本的。 定義一個消息 protobuf中的主體被稱為是message,可以將其看做是我們在程序中定義的類。我們可以在.proto文件中定義這個message對

protobuf , prototype , JAVA

收藏 評論

flydean - 在java程序中使用protobuf

簡介 Protocol Buffer是google出品的一種對象序列化的方式,它的體積小傳輸快,深得大家的喜愛。protobuf是一種平台無關和語言無關的協議,通過protobuf的定義文件,可以輕鬆的將其轉換成多種語言的實現,非常方便。 今天將會給大家介紹一下,protobuf的基本使用和同java結合的具體案例。 為什麼使用protobuf 我們知道數據在網絡傳輸中是以二進制進行的,一般我們使

protobuf , prototype , JAVA

收藏 評論

tim_xiao - protobuf-1安裝

安裝protoc 根據自己的服務器版本進行下載安裝,下載地址 https://github.com/protocolbu... $ uname -a Linux localhost.localdomain 3.10.0-229.el7.x86_64 #1 SMP Fri Mar 6 11:36:42 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux $ wget w

protobuf , 序列化

收藏 評論

海生 - 《go入門grpc》第三章:從 proto 文件自動生成go代碼

更方便的在微信公眾號閲讀文章可以關注公眾號:海生的go花園 一、安裝protoc以及插件 在第二章,我們介紹了,如何寫一個.proto文件。 當我們有了一個.proto文件,揭曉來,我們就是使用protoc命令編譯.proto文件,生成對應go文件。 1.1 安裝protoc命令 brew install protobuf 1.2 安裝protobuf插件 1.2.1、安裝prot

protobuf , grpc , go

收藏 評論

秦川 - 關於 Go arena 的討論的學習

原因 目前 Go 的 GC 雖然高效,但是也是有代價的。 對於一些會有大量堆對象生成的場景,GC 相關的內存和CPU資源佔用,會導致服務吞吐量和相應速度受到影響。 因此需要一個效率更高且安全的內存管理機制,應對內存(GC)密集型的需求場景。 這也是個人長期以來對於 Go 的一個特別關注點。之前見過一些基於 mmap 系統內存自己管理的方案,但是很遺憾,這些方案看起來都很難真正的在項目中使用(接口複

protobuf , 內存管理 , gc , 內存分配 , go

收藏 評論

JackJiang - IM通訊協議專題學習(五):Protobuf到底比JSON快幾倍?全方位實測!

本文由陶文分享,InfoQ編輯發佈,有修訂和改動。 1、前言 本系列的前幾篇主要是從各個角度講解Protobuf的基本概念、技術原理這些內容,但回過頭來看,對比JSON這種事實上的數據協議工業標準,Protobuf到底性能到底高多少?本篇將以Protobuf為基準,對比市面上的一些主流的JSON解析庫,通過全方位測試來證明給你看看Protobuf到底比JSON快幾倍。 學習交流: 移動端IM

protobuf , im , xmpp , 即時通訊 , Json

收藏 評論

liangwt - 寫給go開發者的gRPC教程-protobuf基礎

本篇為【寫給go開發者的gRPC教程】系列第一篇 第一篇:protobuf基礎 👈 第二篇:通信模式 第三篇:攔截器 第四篇:錯誤處理 本系列將持續更新,歡迎關注👏獲取實時通知 gRPC是谷歌開源的一款高性能、支持多種開發語言的服務框架,對於一個rpc我們關注如下幾方面: 序列化協議。gRPC使用protobuf,首先使用protobuf定義服務,然後使用這個文件來生成客户端和服務端的代碼。

protobuf , grpc , 服務治理 , 微服務 , go

收藏 評論

tim_xiao - protobuf-2 消息類型

基本數據類型 syntax = "proto3"; // 所有基本數據類型 // protoc --go_out=. scalar.proto option go_package = "../service"; message scalar{ double filed1 = 1; //float64 float field2 = 2; //float32 int32 fiel

protobuf , grpc

收藏 評論

Airy - 現代化 protobuf 包管理 - 七個步驟使用cicd生成第三方包

本教程使用的是二進制的 gitlab-runner 配合 docker 生成 protobuf 的第三方包,並在分支 merge 時自動發佈 tag 版本。 準備一台 Linux 機器,能鏈接到 gitlab 服務器即可 準備 gitlab 對應版本的 runner 文件,可以去官網找 我司的 gitlab 太古老,是 10.5.6,配套的 runer 最多隻能到 10.0.2 版本

protobuf , gitlab-runner , cicd , go , 後端

收藏 評論

EMQX - 使用流式計算引擎 eKuiper 處理 Protocol Buffers 數據

Protocol Buffers (Protobuf) 是一種語言中立、平台中立的可擴展機制,用於序列化結構化數據的二進制傳輸格式。相比常規數據傳輸格式(如 JSON 或 XML),Protobuf 更加高效和快速並節省傳輸帶寬,因此得到了廣泛的應用。 在雲邊協同架構中,往往既需要發送數據到雲端,同時也需要接收雲端發送過來的數據,進行雲邊協同計算。大規模的雲邊協同計算傳輸的數據總量巨大,在公網帶寬

protobuf , 命令行 , 物聯網 , mqtt , 數據傳輸

收藏 評論

海生 - go精通protobuf連載二:理解protobuf中protoc與protoc-gen-go的關係

一、protobuf 介紹 Protobuf全稱是Google Protocol Buffer,是一種高效輕便的結構化數據存儲方式,如同xml,json常用來序列化數據,用來存儲以及傳輸。 相當於json和xml,Protobuf佔用的寬帶更小,序列化更快。目前在grpc等服務中,越來越流行。 二、protoc protoc是 protocol compiler,是protocol 編譯器。

protobuf , go

收藏 評論

JackJiang - IM通訊協議專題學習(七):手把手教你如何在NodeJS中從零使用Protobuf

1、前言 Protobuf是Google開源的一種混合語言數據標準,已被各種互聯網項目大量使用。 Protobuf最大的特點是數據格式擁有極高的壓縮比,這在移動互聯時代是極具價值的(因為移動網絡流量到目前為止仍然昂貴的),如果你的APP能比競品更省流量,無疑這也將成為您產品的亮點之一。 現在,尤其IM、消息推送這類應用中,Protobuf的應用更是非常廣泛,基於它的優秀表現,微信和手機QQ這樣的主

protobuf , im , 即時通訊

收藏 評論

liangwt - 寫給go開發者的gRPC教程-通信模式

本篇為【寫給go開發者的gRPC教程系列】第二篇 第一篇:protobuf基礎 第二篇:通信模式 👈 第三篇:攔截器 第四篇:錯誤處理 上一篇介紹瞭如何編寫 protobuf 的 idl,並使用 idl 生成了 gRPC 的代碼,現在來看看如何編寫客户端和服務端的代碼 Simple RPC (Unary RPC) syntax = "proto3"; package ecommerce;

protobuf , grpc , 微服務 , go

收藏 評論

蘇琢玉 - 用 PHP 解析 Protobuf 的坑與解法

前陣子做的一個直播彈幕的機器人,其中有一部分上游數據是通過 Protobuf 返回的。幾個朋友問我怎麼處理,但我發現大家對「PHP 解析 Protobuf」這件事多少有點迷糊。確實,PHP 處理 Protobuf 的資料不多,而且踩坑成本不算低。 這篇文章不打算科普什麼,也沒有推薦任何技術棧的意思,就是把我自己摸索的過程整理出來,給遇到類似問題的人一個參考。 Protobuf 是什麼 很多人第一

protobuf , php

收藏 評論

龔正陽 - gRPC的理解與使用

協議介紹 gRPC 是谷歌開源的一套 RPC 協議框架,底層使用HTTP/2協議,主要有兩部分,數據編碼以及請求映射 數據編碼是將內存對象編碼為可傳輸的字節流,也包括把字節流轉化為內存對象,常見的包含json, msgpack, xml, protobuf,其中該編碼效率比json高一些,grpc選擇使用protobuf gRPC為什麼基於HTTP2 HTTP1.1遇到的問題 協議繁瑣,包含很

protobuf , grpc , http-2 , rust

收藏 評論

海生 - protobuf 使用其他消息類型message的三種方式

更方便的在微信公眾號閲讀文章可以關注公眾號:海生的go花園 在我們寫protobuf最基礎的是有 基本的數字,字符串,枚舉類型組成,在這些基礎的類型基礎上,我們組合成一個message類型。 接下來我們探討一下,如何在message裏面再使用其他的message類型。 方式一:使用其他消息類型作為字段類型 您可以使用其他消息類型作為字段類型。 例如,我們想在SearchResp

protobuf , go

收藏 評論

左詩右碼 - 使用 Protobuf 實現高效數據交換

在當今的軟件開發領域,數據傳輸的效率和格式化方式尤為關鍵。Google 開發的 Protocol Buffers(Protobuf) 是一種語言無關的、平台無關的、高效、可擴展的序列化格式。 它提供了一種靈活、高效、自動化的方式來序列化數據,被廣泛應用於網絡傳輸、通信協議和數據存儲等場景。 本文旨在介紹 Protobuf 的基本概念、類型映射、基本語法,以及與 RESTful API 的對比等方面

protobuf

收藏 評論

Shawn - Java客户端向kafka發送protobuf序列化的數據

需求 跨部門協作,通過Kafka進行溝通,我們是生產者,對方是消費者。因為對方部門後台是使用golang,所以默認是使用Protobuf來解析數據。 解決方法 給Kafka創建一個Protobuf的序列化類,這樣每次發送數據時就會序列化成Protobuf格式的。 根據.proto文件生成對應的Java實體類。 protoc --java_out=./ x.proto java_out後

protobuf , JAVA , kafka

收藏 評論

JackJiang - IM通訊協議專題學習(八):金蝶隨手記團隊的Protobuf應用實踐(原理篇)

本文由金蝶隨手記技術團隊丁同舟分享。 1、引言 跟移動端IM中追求數據傳輸效率、網絡流量消耗等需求一樣,隨手記客户端與服務端交互的過程中,對部分數據的傳輸大小和效率也有較高的要求,普通的數據格式如 JSON 或者 XML 已經不能滿足,因此決定採用 Google 推出的 Protocol Buffers 以達到數據高效傳輸。本文將基於隨手記團隊的Protobuf應用實踐,分享了Protobuf的技

protobuf , im , 網絡編程 , 即時通訊

收藏 評論

海生 - go精通protobuf連載一:安裝protobuf與protoc-gen-go

一、介紹 protobuf是一種與語言無關、與平台無關的可擴展的插件,用於序列化結構化數據。 只需要定義一下protobuf結構的文件 .proto 然後就可以使用protoc 命令生成對應的編程語言的結構的文件。 protoc在設計上把protobuf和不同的語言解耦了,底層用c++來實現protobuf結構的存儲,然後通過插件的形式來生成不同語言的源碼。 可以把protoc的編譯過程分成

protobuf , grpc , 微服務 , go

收藏 評論

海生 - go精通protobuf連載三:protobuf使用示例,深入瞭解protoc命令

一、protobuf的使用分兩步 需要使用者在.proto文件中定義消息類型。 使用protoc編譯器根據.proto文件生成相應語言的代碼。 二、定義proto消息類型 目前protobuf官方文檔最新是v3版本,我們使用也是v3版本。 https://developers.google.com... 對應的go語言官方教程地址為 https://developers.goo

protobuf , go

收藏 評論

海生 - 《go入門grpc》第五章:protoc生成的.pb.go文件解讀

更方便的在微信公眾號閲讀文章可以關注公眾號:海生的go花園 一、介紹 在第三章,以及第四章,我們學習了,如何把proto生產go文件。 《go入門grpc》第三章:從 proto 文件自動生成go代碼 《go入門grpc》第四章:使用Makefile優化protoc命令 本章我們學習下protoc --go_out命令 生成的.pb.go文件。 我們以user.pr

protobuf , grpc , go

收藏 評論