博客 RSS 訂閱

Python集中營 - python爬蟲|pyspider的第一個爬蟲程序,大功告成!

關於pyspider的安裝前往查看前序文章《踩坑記:終於懷着忐忑的心情完成了對 python 爬蟲擴展庫 pyspider 的安裝》 1、啓動pyspider服務 1pyspider all 2、創建pyspider項目 3、項目區域説明 4、從百度首頁開始爬取 填寫百度首頁地址點擊run開始爬取,點擊爬取到的鏈接執行下一步 任意點擊爬取到的鏈接進入下一步爬取 返回所進入的詳情頁內

python爬蟲 , pyspider

收藏 評論

MangoGoing - React Native mac環境下解決iOS 9以上系統對HTTP請求的限制

問題 新搭建的一個項目,在使用fetch進行網絡請求的時候遇到一個報錯: TypeError: Network request failed. 嘗試直接在瀏覽器打開url訪問可以正常拿到返回值。(url是http協議) 原因 這個API請求是http的協議請求,在iOS9以上系統,已經把http協議的請求限制了。 iOS9引入了新特性App Transport Security

react-native , ios9

收藏 評論

騰訊位置服務 - 基於騰訊地圖定位組件實現周邊公用廁所遠近排序分佈圖

前言 地圖應用非常廣泛,目前地圖服務,都提供地圖操作、標註、地點搜索、出行規劃、地址解析、街景等接口,功能非常豐富。在實際開發過程中,各有優劣。本次基於需求,使用騰訊位置服務作為一個公用廁所位置標註的H5頁面開發。 本次使用版本: JavaScript API 2.0版本。 項目需求 1、項目需求 基於騰訊位置服務,實現微信掃描二維碼後,在微信瀏覽器內,展示某縣城的公用廁所分佈圖,按照用户當前定位

地圖開發 , 地圖api , 騰訊地圖 , 地圖 , 前端

收藏 評論

雲叔_又拍雲 - 解決延遲有 Wi-Fi 6 就夠了!

最近二狗子家裏的路由器壞了,而家裏的數據網絡信號又非常差,失去了路由器基本上就等於和世界隔離,所以二狗子打算去附近商城隨便買一個新的路由器,結果售貨員張口就問:“買 Wi-Fi 6 的路由器嗎?” Wi-Fi 6?這直接把二狗子問懵了,Wi-Fi 還有 123456? 售貨員説了 5 分鐘的介紹,二狗子其他一個沒聽懂,就聽到用 Wi-Fi 6 玩遊戲可以大幅度降低延遲。這不就是我想要嗎,研究什麼的

wifi6 , 又拍雲 , 雲服務 , 互聯網 , 程序員

收藏 評論

lawler61 - Generator 協程工作原理

原文地址:regenerator 搜了一圈,關於 Generator 基本都是在講用法,但很少提及到其工作原理,也就是“協程”。但又因為這東西我們直接或間接的每天都在使用,於是準備專門寫一篇文章來講講這個 JS 回調史 一、Callback ES5 及更早時期,寫回調基本都是 callback,回調地獄就不説了,離它遠點 二、Promise Promise 通過鏈式調用,優化了回調的書寫

ecmascript-6 , generator , 前端 , Javascript

收藏 評論

風不識途 - 一文總結redux、react-redux、redux-saga

redux、react-redux、redux-saga總結 前言 hello大家好,我是風不識途,最近一直在整理redux系列文章,發現對於初學者不太友好,關係錯綜複雜,難倒是不太難,就是比較複雜 (其實寫比較少),所以這篇帶你全面瞭解redux、react-redux、redux-thunk還有redux-sage,immutable(多圖預警),由於知識點比較多,建議先收藏(收藏等於學

react , redux-saga , redux , immutable-js , 前端

收藏 評論

閒人 - 利用webpack的 require.context api進行自動導入

require.context api及參數介紹 require.context(dir, useSubdir, regExp) 參數dir:用於動態加載的目錄 參數useSubDir:是否對dir指定的子目錄進行自動導入, type=boolean 參數regExp:匹配文件的正則表達式,可以在文件中加入特定的字符,按照特定的字符去加載對應的文件 eg: re

webpack , require , 前端

收藏 評論

雲叔_又拍雲 - Safari 14.0 的功臣 Webp?

俗話説:一圖勝千言。在網上,圖片雖然可以讓用户更加簡單明瞭地看到更多信息,但是圖片體積也可以抵過上千字節甚至更多。研究表明,打開一個 HTTP 網頁,其中圖片平均佔比為 64%。在圖片佔比如此高的情況下,用户對圖片的體積就有非常高的要求了。 我們可以通過圖片壓縮的方式來縮小圖片體積。但是要如何保證圖片體積縮小的同時而不大幅降低圖片質量呢?傳統的圖片格式,如 JPEG,PNG,GIF 等格式圖片已經

webp , 圖片處理 , 又拍雲 , 雲存儲 , 雲服務

收藏 評論

註銷 - Kitten編程貓的工程文件 bcm,能發佈成Android平台的apk文件嗎

根據Kitten編程貓社區的這個帖子: https://shequ.codemao.cn/comm... 產生的不是可執行文件或者源碼,產生的是配置文件,告訴執行文件的框架該怎麼做的配置文件。 必須依賴編程貓軟件,可以在網上下載編程貓格式工廠來把bcm文件轉為exe文件。 不能直接轉換成安卓的apk文件。 可以參照這個帖子: https://shequ.codemao.cn/c

apk , webpack , cordova , apk反編譯 , cordova-android

收藏 評論

註銷 - SAP Commerce Cloud ( 電商雲 ) 路由路徑的自定義配置與開發

這是Jerry 2021年的第 24 篇文章,也是汪子熙公眾號總共第 295 篇原創文章。 最近看到 SAP天天事 公眾號發佈的一篇文章: 基於 SAP Commerce Cloud,老孃舅構建的餐飲行業業務中台成功啓用 老孃舅餐飲股份有限公司創建於1998年,目前位列中國餐飲百強第45位,是中國快餐十大品牌之一。 他們總結行業特色,對比解決方案,經過兩年左右的產品選型和行業競品參考,在對

route , sap , cloud , router , Javascript

收藏 評論

Zeran - 為什麼不直接@Autowired注入交由spring容器管理的Bean,而是選擇構造注入?

autowire注入方式,在spring4.0後不推薦,原因是可能會造成循環依賴的問題推薦採用構造器或者setter方法注入,示例: private final Init init; @Autowired public DepositServiceImpl(Init init) { this.init = init; } @Autowired和構造方法執行的順序解析 先看一段

spring , autowired , JAVA , bean , get

收藏 評論

宗恩 - 心動遊戲收購 LeanCloud,將共同研發遊戲開發者服務產品 TDS

今日,LeanCloud 官方微信公眾號發佈公告稱,心動公司(2400.HK)已於近日完成了對 LeanCloud 的收購。未來LeanCloud 將與 TapTap 的開發者服務(TDS)團隊一起負責公司面向開發者的產品線。LeanCloud 作為 TDS 的一部分將繼續向現有用户和新用户提供穩定的服務。通過與 TapTap 生態的結合,LeanCloud表示將向遊戲開發者推出更高價值的新產品

leancloud

收藏 評論

美團技術團隊 - 美團圖數據庫平台建設及業務實踐

圖數據結構,能夠更好地表徵現實世界。美團業務相對較複雜,存在比較多的圖數據存儲及多跳查詢需求,亟需一種組件來對千億量級圖數據進行管理,海量圖數據的高效存儲和查詢是圖數據庫研究的核心課題。本文介紹了美團在圖數據庫選型及平台建設方面的一些工作。 1 前言 圖數據結構,能夠很自然地表徵現實世界。比如用户、門店、騎手這些實體可以用圖中的點來表示,用户到門店的消費行為、騎手給用户的送餐行為可以用圖中的邊來表

容器 , 圖數據庫 , 後台 , 數據庫 , Docker

收藏 評論

冰河 - 從小白程序員到大廠高級技術專家我看過哪些書籍?

大家好,我是冰河~~ 有句話叫做:投資啥都不如投資自己的回報率高。 從參加工作到現在,短短的幾年內,我投資在自己身上的錢已超過三十多萬,光買書籍的錢就已超過總投資的三分之一,買了不少於上千本書,有實體書,也有電子書。這些書不僅提升了我的技術能力,更提升了我的視野和認知。作為一名從事互聯網行業的技術人,我始終覺得技術不是最重要的,比技術更加重要的是你的格局和認知,正所謂:人很難掙到認知以外的錢,人也

面試 , 編程生涯 , 書籍 , 程序員

收藏 評論

李不要熬夜 - 移動端rem 適配方案

rem是什麼? rem(font size of the root element)是指相對於根元素的字體大小的單位。簡單的説它就是一個相對單位。看到rem大家一定會想起em單位,em(font size of the element)是指相對於父元素的字體大小的單位。它們之間其實很相似,只不過一個計算的規則是依賴根元素(rem)一個是依賴父元素計算(em)。 個人理解rem佈局可分為倆

rem響應式 , 程序員 , rem , 前端

收藏 評論

Ethan - node爬蟲遇到的各種問題(cheerio+puppeteer)

時間:2021年4月1號,文中各版本號以該時間為背景 問題一、網頁採用gb2312編碼,爬取後中文全部亂碼 環境:node@8.12.0,cheerio@0.22.0 網站使用的gb2312編碼,開始用http直接訪問網頁,cheerio加載後console出來中文全部亂碼: const http = require('http') const cheerio = require('

puppeteer , cheerio , nodejs爬蟲

收藏 評論

騰訊位置服務 - 騰訊位置服務Flutter業務實踐——地圖SDK Flutter插件實現(一)

前言 Flutter 作為目前通用的業界跨平台解決方案,開闢了一套全新的設計理念,通過自研的 UI 框架,支持高效構建多端平台上的應用,同時保持着原生應用一樣的高性能。在Flutter項目開發過程中,對插件的開發和複用能夠提高開發效率,降低工程的耦合度。Flutter開發者可以引入對應插件就可以為項目快速集成相關能力,從而專注於具體業務功能的實現。而在Flutter項目開發過程中面對通用業務邏輯拆

地圖開發 , 地圖api , flutter , 騰訊地圖 , 地圖

收藏 評論

pumpkin - Docker安裝LNMP-ubuntu18.04+nginx1.14+mysql5.7+php7.3

Docker鏡像準備 拉取ubuntu18.04鏡像 docker pull ubuntu18.04 啓動ubuntu容器 docker run -it --name="php7.3" --privileged=true ubuntu:18.04 /bin/bash ubuntu更換阿里雲源 備份源 mv /etc/apt/sources.list /etc/apt/sources.list.ba

容器 , redis , lnmp , Docker , Ubuntu

收藏 評論

十年 - 深度比較EMUI和MIUI後台處理

安卓的後台機制既是安卓的一個優勢,也是碎片化很嚴重的一個特性,作為三款依賴安卓後台服務的App的開發者,寫下這篇文章來比較一下EMUI和MIUI這兩個最常見的安卓系統的後台處理邏輯,先把要比較的系統列一下: EMUI 10.0.0, Android 10 MIUI 12.0.6, Android 10 比較後台機制的前提是兩個系統均使用缺省設置,不考慮諸如省電模式、極簡模式等特殊情況,這樣

後台 , miui , Android , emui , service

收藏 評論

Tiger老師 - [CSS]瞭解REM移動端適配方案

REM 是什麼 首先了解一下 CSS 中一些常見的長度單位: px 絕對長度單位,像素 注意:瀏覽器(Chrome)默認文字大小為 16px,所能設置的最小單位為 12px em 相對長度單位,這個單位表示元素的font-size的計算值。如果用在font-size 屬性本身,它會繼承父元素的font-size。 如果元素的 font-size 為 16px,元素的寬度設置為 widt

Css , 程序員 , rem , 前端

收藏 評論

雲叔_又拍雲 - WebSoket 的廣泛應用

目前大多數網站都在使用的傳統 HTTP 協議,即由 Web 服務器通過 HTTP 接收並響應來自客户端的消息,整個發起請求與響應的過程類似我們點外賣,由以下 2 部分構成: 下訂單(發起請求):用户(客户端)下了一個訂單(HTTP 請求)給餐廳(服務器)。 接到訂單後對訂單進行處理(返回對應狀態碼):餐廳能夠做這個菜(擁有對應資源),就開始準備(服務器獲取資源),並返回已接單的信息(HTTP

websocket , 又拍雲 , 雲存儲 , 雲服務

收藏 評論

Shenfq - 下一代的模板引擎:lit-html

前面的文章介紹了 Web Components 的基本用法,今天來看看基於這個原生技術,Google 二次封存的框架 lit-html。 其實早在 Google 提出 Web Components 的時候,就在此基礎上發佈了 Polymer 框架。只是這個框架一直雷聲大雨點小,內部似乎也對這個項目不太滿意,然後他們團隊又開發了兩個更加現代化的框架(或者説是庫?): lit-html、lit-ele

模板引擎 , webcomponents , HTML , 前端

收藏 評論

Python集中營 - 認識爬蟲:beautifulsoup4 庫如何使用三種方式提取 html 網頁元素?

通過前面網頁下載器得到一個網頁源代碼的很長的字符串,接下來則是要通過網頁解析器對網頁源代碼中的信息進行提取,beautifulsoup4 庫作為第三方插件同時支持 html、xml 的解析。通過將網頁下載器下載的 html 字符串解析成為一個 BeautifulSoup 的對象,最後從這個對象中根據網頁源代碼的 html 標籤、屬性等因素提取我們需要的內容。 1、準備網頁下載器獲取的源代碼 1#

beautifulsoup , 解析文本 , 爬蟲 , Python

收藏 評論

flydean - ECMAScript 2018(ES9)新特性簡介

簡介 ES9是ECMA協會在2018年6月發行的一個版本,因為是ECMAScript的第九個版本,所以也稱為ES9. 今天我們講解一下ES9的新特性。 ES9引入了3大特性和2個小的特性,我們接下來一一講解。 異步遍歷 在ES6中,引入了同步iteration的概念,隨着ES8中的Async操作符的引用,在ES9中引入了異步遍歷的新特性Async iteration。 具體的內容可以參考我之前的文

es8 , ecmascript-6 , es7 , es10 , ecmascript

收藏 評論