博客 / 列表

mob64ca12df9869 - llama 使用gpu設置

在現代深度學習應用程序中,GPU(圖形處理單元)能夠顯著提高訓練和推理的速度。而在使用 Llama(一個開源的語言模型)時,正確配置 GPU 設置是提高性能的關鍵。本文將詳細闡述如何設置 Llama 使用 GPU,以便最大化其處理能力,並在過程中解決可能遇到的問題。 背景定位 當我首次嘗試使用 Llama 進行文本生成時,我很快意識到啓用 GPU 設置的重要性。訓練和推理的時間成

aigc , 配置項 , CUDA , 子節點

mob64ca12df9869 - python 使用langchain構建自己的RAG

在這篇博文中,我將詳細記錄“python 使用langchain構建自己的RAG”的整個過程,涵蓋從版本對比到生態擴展的各個方面,力求全面而直白地呈現相關技術知識和實踐經驗。 版本對比 隨着“langchain”庫的演進,不同版本之間的功能和性能也發生了顯著變化。為了幫助用户理解這些變化,這裏展示了兼容性分析的時間軸,以及性能模型的差異。 時間軸如下: timeline

新版本 , 舊版 , 依賴庫 , aigc

mob64ca12df9869 - ollama如何設置將一個模型跑在多張顯卡上

在使用 Ollama 的過程中,許多用户希望將模型的運行效率提升,特別是在多張顯卡上進行並行處理,以應對日益增長的計算需求。為了幫助大家更好地配置和優化 Ollama 以便在多顯卡環境下高效運行,本篇博客將詳細闡述處理過程,包括問題背景、錯誤現象、根因分析、解決方案、驗證測試和預防優化等方面。 用户場景還原 在一個需要處理大量數據的深度學習項目中,用户希望利用公司配置的多張顯卡來

資源衝突 , HTTP , aigc , 解決方案

mob64ca12df9869 - android sutdio 安裝github copilot

在這篇文章中,我將帶領大家探討如何在 Android Studio 中安裝 GitHub Copilot,實現代碼的智能補全與提高編程效率。讓我們開始吧! 環境準備 在開始之前,我們需要確保我們的開發環境能夠順利支持 GitHub Copilot。以下是我們所需的軟硬件要求: 軟硬件要求 組件 版本要求

補全 , github , aigc , Android