博客 RSS 訂閱

teamcode 頭像

TeamCode - Python 教程：從 Python 爬蟲到數據分析

數據分析是 Python 編程廣泛應用的領域之一，數據分析員藉助 Python 語法簡單明晰、應用範圍廣泛的特性，通過爬蟲、整合數據等多樣化的依賴與函數，進一步提高數據分析的能力與效率。 在這篇教程中，同學將整合之前所學習的 Python 爬蟲技巧，進一步學習如何將所爬取的數據儲存到 CSV 文件中。 學習 Python 爬蟲，手把手通過 Python 入門爬取網頁信息： https://z

beautifulsoup , pandas , 數據分析 , 爬蟲 , Python

收藏 評論

teamcode 頭像

TeamCode - 學習 Python 爬蟲，手把手通過 Python 入門爬取網頁信息

Python 爬蟲是什麼？ 我們在網絡上收集資料的過程其實就稱之為爬蟲（web scraping）。複製粘貼歌詞、摘抄文本或數據都可以算作爬蟲的一部分，但網絡編程背景下的爬蟲，更強調自動化，通過 Python 編程實現自動爬取資源，從而減少人力資源與精力消耗，提高效率。 注：在動手爬蟲之前，程序員們還是需要考慮一些法律相關的問題。一般而言，開源或教育相關用途的爬蟲並不會觸及法律問題，但若用作其

beautifulsoup , requests , 爬蟲 , 程序員 , Python

收藏 評論

gpushare 頭像

恆源雲 - 恆源雲 (Gpushare)_Restormer:用於高分辨率圖像重建的高效Transformer

文章來源 | 恆源雲社區 原文地址 | Restormer 原文作者 | 咚咚 摘要 引入主題： 由於卷積神經網絡(CNNs)能夠從大規模數據中學習到圖像的generalizable特徵，所以被廣泛應用於圖像重建和相關任務。最近，另一類神經結構，Transformer，在自然語言和高水平的視覺任務已經顯示出顯著性能增益。 現存問題： 雖然 Transformer 模型彌補了 CNNs 的不

transform , 深度學習

收藏 評論

huaweichenai 頭像

huaweichenai - 加密訪問資源方法總結

在有些情況下我們需要對我們服務器上的資源進行加密訪問，那麼我們需要如何來實現呢？ 1. 修改nginx配置 修改nginx配置，將需要加密訪問的資源設置為禁止外部訪問 # 資源真實存儲路徑 /upload 禁止外部直接訪問 location ^~ /upload { internal; } 設置訪問不存在資源時，跳轉到指定的php腳本進行解析 # 如果文件不

php , Nginx , 資源

收藏 評論

fuzhengwei 頭像

小傅哥 - 《Mybatis 手擼專欄》第7章：SQL執行器的定義和實現

作者：小傅哥 博客：https://bugstack.cn - 《手寫Mybatis系列》 一、前言 為什麼，要讀框架源碼？ 因為手裏的業務工程代碼太拉胯了！通常作為業務研發，所開發出來的代碼，大部分都是一連串的流程化處理，缺少功能邏輯的解耦，有着迭代頻繁但可迭代性差的特點。所以這樣的代碼通常只能學習業務邏輯，卻很難吸收到大型系統設計和功能邏輯實現的成功經驗，往往都是失敗的教訓。 而所有系統

面試問題 , 源碼分析 , JAVA , 架構模式 , Mybatis

收藏 評論

dingyw_5836ad3f18839 頭像

dingyw - 那些你可能忽視的前端性能優化細節

前端性能的好壞是影響用户體驗的一個關鍵因素，因此進行前端相關的性能優化顯得十分重要。網絡上一些常見的優化手段，相信不少讀者也都瞭解過或實踐過，所以本文主要介紹一些比較容易被忽視的優化細節，當然前提都是在大規範計算的場景下。 Babel 編譯優化 本內容運行環境為 node v14.16.0，babel 版本為 @babel/preset-env@7.17.10，benchmark 版本為 benc

前端性能優化 , 前端

收藏 評論

kanjianliao 頭像

看見了 - koa源碼

前提： 你需要對node的http模塊比較熟悉，同時瞭解相關的http知識，這很重要 目錄結構 Application application.js主要是對 App 做的一些操作，包括創建服務、在 ctx 對象上掛載 request、response 對象，以及處理異常等操作。接下來將對這些實現進行詳細闡述。 Koa 創建服務的原理 Node 原生創建服務 const http = requ

koa , 源碼分析

收藏 評論

mtsldxk 頭像

慢條斯理的小可 - 基於zepto的移動端上拉刷新小插件

上次開發筆記裏《基於zepto和WeUI的H5頁面開發筆記》提到上拉刷新功能，這是很基本很常用的功能，為了下次自己更便捷的使用，便簡單的封裝了一下 KScroll.js 簡單樣例 這裏先上一個基於zepto和WeUI的列表上拉刷新的例子： demo.html !DOCTYPE html html head meta charset="UTF-8" meta name="view

上拉加載 , zepto , 前端 , Javascript

收藏 評論

plutolam 頭像

plutoLam - react hook的最強拓展——useEffect篇

前言 隨着react16.8的發佈，hook新特性隨之而來，hook的到來讓function組件煥發出強大的能力，足矣取代之前的class組件。函數式組件依靠useState、useEffect等hook實現變量狀態維持、抽離副作用等功能。雖然原生的useEffect具有強大的功能，但是那些常用的寫法每次都要手動復現一次，不但影響開發效率，而且容易出錯。 下面我會給大家推薦一個npm第三方庫，它將

react , hooks , hook , npm , 前端

收藏 評論

wenroudemangguo 頭像

測試菜鳥 - requests庫

一、requests庫安裝 1.1 安裝 方法1 pip install requests 從國外網站下載庫安裝 方法2 pip installrequests -i 鏡像地址 鏡像地址網站： 豆瓣鏡像：https://pypi.douban.com/simple/ 清華：https://pypi.tuna.tsinghua.edu.cn/s

requests

收藏 評論

iamguyu 頭像

guyu - vite+ts+vue3.2 項目內使用導入本地圖片require報錯

問題描述： 列表渲染中包含圖片，圖片資源放在項目本地靜態文件夾內，默認列表數據定義在一個單獨ts文件內，導入進當前頁面模板內使用報錯 框架： vite+ts+vue3.2 嘗試方案： 1.直接使用外部引入路徑 × 這裏使用別名還是相對路徑都無法解析正確圖片地址 2.使用require() × 在vue2項目中JS文件內使用require()可以

vue3 , require , import , typescript , 前端

收藏 評論

yujiaao 頭像

Yujiaao - 乞丐是如何節約Java內存的

作者：米哈伊爾·沃龍佐夫 為什麼要減少內存佔用 本文將為您提供有關 Java 內存消耗優化的一般建議。 內存使用優化在 Java 中很重要。系統性能主要限於內存訪問性能而非 CPU 主頻，否則，為什麼 CPU 生產商要實現所有這些 L1、L2 和 L3 緩存？這意味着通過減少應用程序內存佔用，您很可能會通過讓 CPU 等待更少量的數據來提高程序數據處理速度。即：節省內存會提高性能！ Java 內存

outofmemoryerror , arraylist , JAVA , memory , object

收藏 評論

snakesss 頭像

snakesss - 蘋果推出自助維修服務；Meta 承認違法使用用户數據；Redis 7.0 發佈 | 思否週刊

40s 新聞速遞 iMac 可能會跳過 M2 直接在明年用上 M3 芯片 蘋果賠償 1 億美元給 App 開發者 Google Play 商店已支持隱私標籤功能 蘋果在美國首先推出自助維修服務 新浪微博宣佈全量開放展示用户 IP 屬地功能 Meta 工程師文件泄露：承認違法使用用户數據 今年一季度暴露的數據庫數量創新高，Redis 排第一 GitLab 新 Logo 正式啓用

redis , meta

收藏 評論

codingembedded 頭像

加班猿 - wireshark抓包新手使用教程

title: wireshark抓包新手使用教程 categories:[簡單抓包] tags:[wireshark] date: 2022/04/29 div align = 'right'作者：hackett/div div align = 'right'微信公眾號：加班猿/div wireshark抓包新手使用教程 Wireshark是非常流行的網絡封包分析軟件，可以截取各種網絡數據包，

工具 , 網絡編程 , 工具軟件 , wireshark , 抓包過濾

收藏 評論

dmatub6x 頭像

dmatub6x - 如何利用virtualbox虛擬機運行智汀家庭雲

​ 本文檔描述如何通過虛擬機體驗運行智汀家庭雲的基礎功能，包括： 使用 virtualbox 運行智汀家庭雲 通過智汀APP添加並初始化智汀家庭雲 安裝設備插件 添加設備，控制設備 一、環境準備 本文檔的所有操作均基於虛擬環境運行，可運行於 Windows，MacOS或者Linux上。 二、安裝 virtualbox VirtualBox 是一個免費的虛擬機軟件

virtualbox

收藏 評論

b5xiaoxiang 頭像

SpringForAll社區 - Java8 判空新寫法！

引言 在文章的開頭，先説下NPE問題，NPE問題就是，我們在開發中經常碰到的NullPointerException.假設我們有兩個類，他們的UML類圖如下圖所示 圖片 在這種情況下，有如下代碼 user.getAddress().getProvince(); 這種寫法，在user為null時，是有可能報NullPointerException異常的。為了解決這個問題，於是採用下面的寫法 if(

java8 , JAVA

收藏 評論

hotlink 頭像

Hotlink - Linux Load Average: Solving the Mystery

本篇博客翻譯自Brendan Gregg的技術考古文章：Linux Load Average: Solving the Mystery。翻閲這篇文章的原因是我在使用Prometheus做系統CPU使用量告警時，一個system_load的指標和自己預期的不太相符：總是在CPU餘量還很大的情況下達到告警線。為此研究了一下Linux的Load Average指標。 以下為原文翻譯： Load Aver

performance , Linux , load-average

收藏 評論

yayu 頭像

冴羽 - 冴羽答讀者問：悄悄過來蹭個回答

前言 最近我發起了「冴羽答讀者問」活動，如果你也有想要提問的問題，歡迎留言，我會按照順序依此回答。 正文 這個問題我們就聊聊“如何提問”好了。 回答這個問題，自我感覺有些班門弄斧，因為我並不是一個擅長提問的人，所以我就從日常的工作生活中，分享一點自己的看法好了。 提問的場景有很多，先説工作中。 我們的老闆常會告訴我們一件事情，簡略的描述後就讓我們去做，我們可能因為各種原因沒有細問就直接去做了，最後

程序人生 , 程序員 , 總結 , 後端 , 前端

收藏 評論

wensandaoshi 頭像

fx67ll - pm2 常用命令

先説一些廢話 之前學習Nodejs項目的時候使用了pm2作為生產環境的進程管理工具，最近服務器崩了需要重啓一些服務，發現有些命令記得不是特別清楚， 所以這裏寫一篇文章幫助自己記憶整理一下pm2的常用命令，後續有需要查閲一下即可~ 常用命令 進入bin目錄啓動：pm2 start www / pm2 start app.js pm2 start app.js --name="fx67ll

node.js , pm2 , Javascript

收藏 評論

crmeb 頭像

CRMEB - 使用xdebug調試php詳細教程

下載xdebug擴展 將phpinfo()中的信息全部複製到Xdebug中的文本框中，如下圖所示：點擊“Analyse my phpinfo() output”按鈕。 跳轉到如下圖所示頁面，會對本機中的php進行分析，點擊“Download php_xdebug-2.7.2-7.2-vc15-x86_64.dll”按鈕下載Xdebug擴展。 配置Xdebug擴展 將下載好的Xdeb

xdebug , php

收藏 評論

forzoomhm 頭像

forzoom - 實現一個可拖拽分欄組件

初步嘗試 在實現之初的想法很簡單，先實現一個二分欄功能的組件，頁面主要元素有三個：左分欄，右分欄，分割線，全部使用 absolute 定位。 實現樣式預覽 import { FC, useState } from 'react'; import styles from './index.module.scss'; import cn from 'classnames'; const Resiz

react , 組件化 , 拖拽 , 前端

收藏 評論

xiaojiu_625c14980f596 頭像

奇蹟狗狗 - AWK基礎教程

前言 之前針對WorkerHub小程序做的數據分析文章 互聯網卷王花落誰家？ 收到了一些小夥伴的回覆，點名要學習數據分析，其實我也是一知半解，想着來寫幾篇文章簡單聊下我分析的過程。 首先是數據清洗和統計了，這塊我並沒有用諸如Python之類的腳本語言，雖然Python提供了很多強大的數據分析庫如Pandas、Numpy等，但是畢竟要麻煩一些，還要寫個腳本，裝一堆庫(PS：其實就是懶)。 我用的是一

awk , 程序員 , 後端

收藏 評論

liberhome 頭像

LiberHome - Golang file操作詳解

文件信息 可以用fileInfo這個API： package main import ( "fmt" "os" ) func main() { fileInfo, err := os.Stat("/Users/liberhome/GolandProjects/awesomeProject/test/test.txt") if err != nil {

file , go

收藏 評論

demoli 頭像

demoli - Halo博客的谷歌收錄自動提交

Halo博客的谷歌收錄自動提交 前言 在Halo博客的百度定時頁面提交一文中已經實現了向百度的主動頁面提交，而對於Google平台，實際上並不需要設計類似的功能，一方面Google的基於sitemap的抓取效果已經很好，另一方面，雖然Google也提供了indexing API以提供主動提交的服務，但是需要掛代理才能訪問 但是為了功能的完整性以及可以使用樹莓派直接掛代理訪問，於是決定基於Go

seo , blog

收藏 評論