博客 / 詳情

返回

【爬蟲軟件】小紅書轉換工具:主頁鏈接和小紅書號一鍵批量互轉

本工具僅限學術交流使用,嚴格遵循相關法律法規,符合平台內容的合法及合規性,禁止用於任何商業用途!

一、背景分析

1.1 開發背景與功能介紹

我之前開發了幾個小紅書採集軟件,受到了很多相關用户的認可和關注,感謝大家。

曾經和很多用户聊過,他們希望有一個小工具,可以把小紅書個人主頁的鏈接(或者uid)轉換成小紅書號,或者反之(把小紅書號轉成主頁鏈接或uid),為了滿足這類需求,我特意用python開發了這款工具:xhs_trans_tool

功能很簡單,支持2個:
功能1、把小紅書主頁鏈接批量轉換成小紅書號:
主頁鏈接->小紅書號

自動導出轉換結果到csv文件:
小紅書轉換1.csv

功能2、把小紅書號批量轉換成主頁鏈接:
小紅書號->主頁鏈接

自動導出轉換結果到csv文件:
小紅書轉換2.csv

以上。

1.2 軟件説明

幾點重要説明,請詳讀了解:

  1. Windows系統、Mac系統均可運行
  2. 軟件通過接口協議爬取,並非通過模擬瀏覽器等RPA類工具,穩定性較高!
  3. 主頁鏈接➜小紅書號:無需安裝nodejs。無需填寫cookie
  4. 小紅書號➜主頁鏈接:需要安裝nodejs,且需要填寫cookie(內附具體配置教程)
  5. 軟件運行完成後,會在當前文件夾(即,軟件所在文件夾)生成csv結果文件
  6. 爬取過程中,每爬一條,存一次csv。並非爬完最後一次性保存!防止因異常中斷導致丟失前面的數據(每條間隔1~2s)
  7. 爬取過程中,有log文件詳細記錄運行過程,方便回溯

二、主要技術

2.1 模塊介紹

軟件全部模塊採用python語言開發,主要分工如下:

tkinter:GUI軟件界面
requests:爬蟲請求
json:解析響應數據
time:間隔等待,防止反爬
csv:保存csv結果
logging:日誌記錄

出於版權考慮,暫不公開完整源碼,僅向用户提供軟件使用。

2.2 部分源碼

軟件界面:

# 創建主窗口
root = tk.Tk()
root.title('小紅書轉換工具v1.0 | 馬哥python説')
# 設置窗口大小
root.minsize(width=850, height=660)

爬蟲請求:

# 發送請求
r = requests.post(url, headers=h1, data=json_data)
# 接收響應數據
json_data = r.json()

保存數據:

# 存入csv文件
with open(ins.result_file, 'a+', encoding='utf_8_sig', newline='') as f:
    writer = csv.writer(f)
    writer.writerow([url, redId])

日誌記錄:

def get_logger(self):
    self.logger = logging.getLogger(__name__)
    # 日誌格式
    formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
    # 日誌級別
    self.logger.setLevel(logging.DEBUG)
    # 控制枱日誌
    sh = logging.StreamHandler()
    log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
    # info日誌文件名
    info_file_name = time.strftime("%Y-%m-%d") + '.log'
    # 將其保存到特定目錄
    case_dir = r'./logs/'
    info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
                                            when='MIDNIGHT',
                                            interval=1,
                                            backupCount=7,
                                            encoding='utf-8')
    self.logger.addHandler(sh)
    sh.setFormatter(log_formatter)
    self.logger.addHandler(info_handler)
    info_handler.setFormatter(log_formatter)
    return self.logger

三、演示視頻

軟件使用過程演示:【軟件演示】小紅書批量轉換工具,主頁鏈接和小紅書號互轉!

五、原創聲明

軟件【小紅書轉換工具】首發於眾公號"老男孩的平凡之路",歡迎交流!!

我是 @馬哥python説 ,一名10年程序猿,持續分享python乾貨。

user avatar cixiangdehai 頭像 opsdev365 頭像 abcde 頭像
3 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.