博客 RSS 訂閱

kuanrongdeshanyang 頭像

小小張説故事 - Python爬蟲進階：使用Scrapy庫進行數據提取和處理

在我們的初級教程中，我們介紹瞭如何使用Scrapy創建和運行一個簡單的爬蟲。在這篇文章中，我們將深入瞭解Scrapy的強大功能，學習如何使用Scrapy提取和處理數據。 一、數據提取：Selectors和Item 在Scrapy中，提取數據主要通過Selectors來完成。Selectors基於XPath或CSS表達式的查詢語言來選取HTML文檔中的元素。你可以在你的爬蟲中使用response對象

scrapy , 爬蟲 , Python

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - Python爬蟲深度優化：Scrapy庫的高級使用和調優

在我們前面的文章中，我們探索瞭如何使用Scrapy庫創建一個基礎的爬蟲，瞭解瞭如何使用選擇器和Item提取數據，以及如何使用Pipelines處理數據。在本篇高級教程中，我們將深入探討如何優化和調整Scrapy爬蟲的性能，以及如何處理更復雜的抓取任務，如登錄，處理Cookies和會話，以及避免爬蟲被網站識別和封鎖。 一、併發和延遲 Scrapy使用異步網絡庫Twisted來處理網絡通信，可以實現高

scrapy , 爬蟲 , Python

收藏 評論

youfujidehuajuan_epd4zw 頭像

youfujidehuajuan_epd4zw - 慕K新版Scrapy打造搜索引擎 暢銷4年的Python分佈式爬蟲課

慕K新版Scrapy打造搜索引擎 暢銷4年的Python分佈式爬蟲課 下栽科：白du網pan Scrapy搜索：利用Scrapy框架實現網絡數據抓取與分析 一、引言 在大數據和人工智能的時代，數據獲取成為了眾多應用和研究的基石。網絡爬蟲作為一種自動化獲取互聯網信息的工具，越來越受到人們的關注。Scrapy，作為一款強大的Python爬蟲框架，因其高效、靈活和易於擴展的特性，被廣泛應用於數據抓取領域

scrapy

收藏 評論

infinilabs 頭像

極限實驗室 - 如何用 Scrapy 爬取網站數據並在 Easysearch 中進行存儲檢索分析

做過數據分析和爬蟲程序的小夥伴想必對 Scrapy 這個爬蟲框架已經很熟悉了。今天給大家介紹下，如何基於 Scrapy 快速編寫一個爬蟲程序並利用 Easysearch 儲存、檢索、分析爬取的數據。我們以極限科技的官網 Blog 為數據源，做下實操演示。 安裝 scrapy 使用 Scrapy 可以快速構建一個爬蟲項目，從目標網站中獲取所需的數據，並進行後續的處理和分析。 pip install

搜索引擎 , scrapy , 爬蟲

收藏 評論

6fafa 頭像

6fafa - 分享一個自己寫的vue項目：Sancks-App

snack-app 項目簡介 一個可以和大家分享自己喜歡的零食的移動端項目，涉及的技術棧主要有Vue + Vue-Router + Sass + Koa2 + Mongoose。 項目主要功能有： 登錄/註冊 搜索零食 發佈零食 留言/評論 收藏零食/點贊零食 顯示熱門零食 修改個人信息 如有錯誤之處，歡迎指正~ 效果圖 查看效果圖請戳此鏈接 項目地址 https://githu

vue.js , koa2 , mongodb , mongoose

收藏 評論

code500g 頭像

一斤代碼 - 用express+mongoose快速開發API接口

1.初始化項目 npm init -y 2.使用Express框架創建服務器，用mongoose連接數據庫，cors解決跨域 npm i express mongoose cors 3.新建一個文件夾http_serve，目錄結構 3.1 index.js文件，啓動node服務 const express = require('express') const cors = re

express , node.js , mongodb , mongoose

收藏 評論

liluyao_5f4e43431bf0b 頭像

慄路遙 - Mongoose在Express、Koa、 Egg中使用對比

Mongoose是什麼？ 簡單一句話概括：Mongoose是一套操作MongoDB數據庫的接口。 開始 在使用mongoose之前，需要事先安裝好Node環境和MongoDB數據庫。 以上準備就緒我們就可以了。 在Express Koa Egg中的使用 在Express中 首先初始化項目 npm init //初始化項目 npm i xxx --save//安裝各

mongoose

收藏 評論

msjhw_com 頭像

江湖大俠 - web前端技術Mongoose詳解

簡介 之前我們都是通過 shell 來完成對數據庫的各種操作的，在開發中大部分時候我們都需要通過程序來完成對數據庫的操作。 而 Mongoose 就是一個讓我們可以通過 Node 來操作 MongoDB 的模塊。 Mongoose 是一個對象文檔模型（ODM）庫，它對 Node 原生的 MongoDB 模塊進行了進一步的優化封裝，並提供了更多的功能。 在大多數情況下，它被用來把結構化的模式應用到一

mongoose

收藏 評論

jiaolvdekaixinguo 頭像

FFF方 - 在node環境下使用Mongoose來操作MongoDB

一. 準備工作 在create-react-app 腳手架工具的src文件夾創建pages/Server/server.js做好前期準備工作。 二. 前置文件安裝 yarn add mongoose ,yarn add express,yarn add nondemon 三. 理清概念 我們要知道要使用mongoDB數據庫，你必須先啓動mongoddb的服務，默認地址是localhost:27

mongodb , mongoose , 前端

收藏 評論

laomao_5902e12974409 頭像

來了老弟 - Mongoose無法更新時間戳

Mongose 是為 node.js 開發的 MongoDB 對象模型，它基於schema來處理應用的數據模型，開箱即用。 schema中的時間戳 const mongoose = require('mongoose'); const BlogSchema = new mongoose.Schema({ id: { type: Number }, title: { type: Strin

數據庫 , mongoose

收藏 評論

risejl 頭像

Mitchell_C - MongoDB & Mongoose

MongoDB 和 Mongoose mongoose 建立一個 MongoDB Atlas 數據庫並導入連接到它所需的軟件包。將 mongodb@~3.6.0 和 mongoose@~5.4.0 添加到項目的 package.json 中。 然後，在 myApp.js 文件中請求 mongoose。 創建一個 .env 文件，給它添加一個 MONGO_URI 變量。 變量的值為 MongoDB

mongod , mongoose

收藏 評論

freeman_tian 頭像

freeman_Tian - mongose 模糊檢索

$regex為模糊查詢的字符串提供正則表達式功能，MongoDB使用Perl兼容正則表達式 //通過條件查找,支持username模糊搜索並分頁 findAdminByParamsAndPageHasFuzzy(params, pager) { if (params.username) { let pattern = new RegExp(param

mongoose , 前端

收藏 評論

munergs 頭像

munergs - node作為後端的時候遇到的前端session無法保存的問題和解決辦法

2023-07-18 更新 前後端分離項目建議還是使用token，也就是後端使用jsonwebtoken即jwt進行token的生成和驗證，token不存在本地，存在客户端，隨請求頭一起帶來，安全性還是有保障 同時跨域問題建議還是後端進行解決，最好不要前端進行反向代理，容易出問題，由於我使用nodejs作為後端，解決跨域問題代碼如下: //安裝cors庫 npm i cors //app.js

express , react , node.js , mongodb , mongoose

收藏 評論

jdcdevloper 頭像

京東雲開發者 - 自動化離線交付在雲原生的應用和思考

作者：京東科技 王曉飛 前言 本文不談論具體的技術和方案，在對於每一個產品來講，都有其特殊性存在。單一的產品解決方法並不適合所有的產品。但是我們可以提供一種思路，一種通用方法，甚至我們曾經在某個技術點走的彎路，旨在為各位在離線設計上有更多的案例可循。 對離線的理解 相對於公網應用，可以從公共鏡像倉庫拉取鏡像，比如Dockerhub，各大雲廠商的公共鏡像倉庫。二進制編譯文件，軟件包也非常方便的從gi

github , 依賴注入 , 自動化 , 模塊化 , 雲原生

收藏 評論

wanhuabandedasuan 頭像

格發gofarlic - TC (Teamcenter) 許可證解決方案

使用TC (Teamcenter) 容易遇到下列問題 沒有可用於Teamcenter 併發模塊”catia_integration”的Flexlm許可證； Teamcenter Visualization Mockup 10.1無法獲取許可證； 嘗試的操作需要“classification_access”已命名的用户許可證，此功能部件的所有許可證都已指派給其他用户

模塊化 , 管理後台 , 解決方案 , 許可協議

收藏 評論

jdcdevloper 頭像

京東雲開發者 - Java模塊化應用實踐之精簡JRE | 京東雲技術團隊

導語 Java9及以後的版本引入了模塊化特性，但是直到今天JDK21都發布了，依然沒有被大量使用起來，那麼這個特性就真的沒啥意義了嗎？ 別忘了，Java本身可是把模塊化做到了極致的，所以可以利用這個特性對JRE本身進行定製化或者精簡化。 由於平時偶爾會開發一些Java的客户端應用，這時精簡JRE的需求就凸顯出來，讓自己的程序帶着最精簡的JRE到處運行。 實際實踐了一段時間之後發現“真香！” 現在把

jre , 模塊化 , JAVA , 後端

收藏 評論

jdcdevloper 頭像

京東雲開發者 - jar包的精細化運營，Java模塊化簡介 | 京東雲技術團隊

圖：模塊化手機概念 一、什麼是Java模塊化 Java模塊化（module）是Java9及以後版本引入的新特性。 官方對模塊的定義為：一個被命名的，代碼和數據的自描述集合。（ the module, which is a named, self-describing collection of code and data）。 早在Java7的時候就被提出，但由於其複雜性，不斷跳票，直到Ja

jar包 , 模塊化 , JAVA , 模塊化開發 , 後端

收藏 評論

shenjingwa_6545efd9181d1 頭像

神經蛙 - 模塊化，流程化，自動化

1. 最理想的情況是，一個模塊(比如一個庫)只輸出指定的外部接口，其餘內部接口對外都不可見，都是static的。 這個目標不太好實現。 如果是一個很小的模塊，所有代碼都在一個文件中，只有少量的對外接口，也只有少量的內部接口，這是可以實現的。 但是，一般意義上的一個模塊，通常是較大的，包含多個較小的子模塊，除了對外提供的接口和子模塊內部的接口，還有子模塊之間交互的接口。子模塊之間交互的接口，不

模塊化 , c , 接口設計

收藏 評論

rongyunrongcloud 頭像

融雲RongCloud - 《社交泛娛樂出海作戰地圖》加印領取啦！

全網都在找的、內容紮實形制精煉的 行業首款 融雲《社交泛娛樂出海作戰地圖》 響應需求，驚喜加印啦！ 久等的大家點擊上圖或閲讀原文獲取吧~ 關注【融雲全球互聯網通信雲】瞭解更多 發佈以來，《地圖》兩次加印均被搶購一空。 公眾號後台、朋友圈、一對一私聊各種渠道，加印呼聲持續不斷！ 感謝大家的喜歡，為回饋大家的久候和熱情，我們一次開放了兩種渠道： 需要一點耐心的免費通道，限量供應

音視頻 , 模塊化 , aigc , 地圖 , 社交

收藏 評論

tiaoyuedelinghun_5b34a58295338 頭像

跳躍的靈魂 - 從白屏問題重學模塊機制

背景 公司App使用的是跨平台技術H5+原生混合開發，雙方通信的協議是Jsbridge。 為了獲取用户行為以及跟蹤產品在用户端的使用情況，並且能自動監控到App的所有H5頁面，由Native引入了隔壁部門研發的前端監控SDK。 由於被任命為【推動隔壁部門完善監控SDK事項】負責人，於是在後續使用過程不斷結合實際情況，發現SDK存在問題並進行梳理和方案輸出，但是由於對方不開放SDK源碼，只能把問題和

2023-年度總結 , bug , 模塊化

收藏 評論

gssggssg 頭像

四冥 - JS模塊化系統

JS模塊化系統 隨着 JavaScript 開發變得越來越廣泛，命名空間和依賴關係變得越來越難以處理。人們已經開發出不同的解決方案以模塊系統的形式來解決這個問題。 CommonJS(CJS) CommonJS 是一種同步加載模塊的規範，主要用於服務器端的 Node.js 環境。 // 模塊導出 module.exports = { // 模塊內容 }; // 模塊導入 const modul

amd , 模塊化 , commonjs , Javascript

收藏 評論

aipaobudezuoyeben 頭像

lvjing2 - 成倍降本增效，提升企業競爭力！模塊化研發框架 Koupleless 重磅發佈 1.0 版本

如果你是企業經營者，在為企業降本增效而發愁； 如果你是企業的開發、運維或架構同學，在日常工作中被開發效率、交付問題等困擾……歡迎來了解 Koupleless（原 SOFAServerless）！ 現在，Koupleless 重磅發佈了1.0 版本！那麼，Koupleless 是什麼？又將如何為你解決以上問題？除了以上這幾種情境，Koupleless 還有哪些能力呢？歡迎你來社區探索發現。

devops , 微服務 , 模塊化 , springboot , JAVA

收藏 評論

cynthia_59675eba1a2ee 頭像

cynthia - AMD和CMD的最簡單實現

AMD（Asynchronous Module Definition） 模塊的依賴是在定義模塊時就聲明好的，並且作為參數傳入模塊的工廠函數。這意味着所有的依賴都需要在模塊體開始執行之前被加載。 (function(global) { var modules = {}; // 用於存儲定義的模塊 // 定義模塊 function define(name, dependenc

模塊化 , Javascript

收藏 評論