「這個商品在台灣有多大市場?」
「我們現在市佔第幾名?」
「競爭對手這一季做得如何?」
身為品牌經營者、行銷經理,心中一定經常有這些疑惑。當然,如果是在一間有規模的公司,有專門的資料、商業分析團隊支援,又或者有預算可以購買市場調查報告。但如果預算有限,又迫切需要得到答案,該怎麼辦呢?
開始搜尋 Python 程式碼,自己學爬蟲嗎?等到學會,可能又過了幾週了,排定好的行銷活動也已經過期。
近年來很流行 low code/no code,目標鎖定平常不以寫程式維生,但卻需要獨立完成各種任務的使用者。
預期目標
這篇文章將分享如何不寫程式碼,利用Octoparse在蝦皮爬出特定商品的銷售量、銷售額以及競爭對手,進而幫助銷售決策。
誰會需要 low code/no code 網頁抓取
- 品牌經營者
- 行銷經理
- 數據分析師
什麼是 Octoparse
Octoparse是一套網頁資料抓取軟體,透過自動爬蟲機制,將網頁結構化,方便使用者不用寫程式,也能抓取網路上的資料。
為防止部分網站的反爬蟲,Octoparse也提供代理器服務、IP 輪換、清除 Cookies、驗證碼等機制,確保完成任務。
案例
許多販售手機周邊的店家,使用蝦皮當作主要銷售管道。以 Iphone 的手機殼、玻璃貼為例,賣場上就有超過三十六萬樣商品可供選購。
這次實作要回答以下兩個問題:
- 哪個商品銷量最大?該商品在蝦皮上有多少占比?
- 哪個賣場營業額最大?
安裝 Octopase
點選Octopase進入網站,點選 Download,將應用程式下載至電腦,也支援 Mac。
下載完後回到Octoparse,選 Start a Free Trial,取得免費試用。
哪個商品銷量最大?
Step 1:打開Octoparse,在 Home 頁面,點選 More。
在上方的搜尋欄輸入「Shopee」,按下搜尋:
點選進入,有三個範例:
選擇中間的 Keyworkd 模板:
選擇 Try It:
輸入對應參數,並按下左下角的 Save & Run:
選擇 Run In the Cloud 的 Run Now:
點選上方的 Dashboard 頁面標籤,會看到爬蟲已經開始運行:
爬蟲完成後,選取 All Data,可以預覽資料,在右下角選擇 Export Data:
選取希望的檔案格式,例如 Excel,按下 OK:
將匯出檔案打開。
因為想要知道哪個商品賣得最好,因此直接把 Sales 欄位由大排到小。
記得先將數據變為「表格」、並將資料類型改為「數字」。
得出結果了,銷量最好的商家是CASETiFY,可以點進product_url,進一步看到商家更多訊息。
仔細閱讀後會發現,原來這個是代購,不代表價格。
因此繼續往第二名找,銷量最高的應該是透明滿版保護貼 玻璃貼 背貼適用 iPhone 13 12 11 Pro Max SE2 XR XS X i11 i12,商家是chengwei2424,銷售量有 26 萬多個,和爬蟲取得的資料相同。
在抓取出的 484 項商品中,總銷售數量是 1,875,505 個,透明滿版保護貼 玻璃貼 背貼適用 iPhone 13 12 11 Pro Max SE2 XR XS X i11 i12占有14%的市佔率。
注意:我使用的關鍵字 Iphone case 會連保護貼、玻璃貼也一起搜尋出,可以根據情境,選用適合的關鍵字。
哪個賣場的銷售額最高
第二步,要找出哪個賣場的銷售額最高,可以利用 Excel 中的 Power Query 將剛才的銷售金額篩選出來。
我將步驟列在下方截圖:
再將「銷售量」「售價」相乘後,得出銷售額,並由大至小排序:
第一名的商家依然是 chengwei2424,營業額是$19,909,501 元。
這只是單一商品,不包括該商家可能還有其他商品喔。事實上,營業額排名前五的商品中,第一名、第三名、第五名都是來自同一個商家。
下一步,可將同賣場商品整合,由商家角度做數據分析。
總結
得出以上結論後,我們可以將以上資料和自家商品銷售資料交叉分析,得出各種洞察,並化為行動。
例如:
- 商品售價是否需要調整?
- 是否該多做幾檔行銷活動?
- 有沒有哪項商品,目前很少人競爭,值得切入?
從以上案例中,可以看到Octoparse集合了以下幾個優點:
- 不用寫程式,降低數據蒐集門檻
- 不用人為操作,節省寶貴時間
- 反「反爬蟲」機制,確保資料抓取順利進行
- 模仿人類行為,抓取特定資料
- 不需要 API 串接,也能蒐集資料
寫在最後
近幾年 Low code/no code 的概念很紅,因為我們實在太需要這些數位化工具了,但卻不是人人都會寫程式。
無論在企業或者工作室,每個人多少有些重複性高的工作,希望能夠透過自動化,減輕負擔。因此,「不用寫程式也能自動蒐集網頁資料」、「不用寫程式也能製作 App」、「不用寫程式也能完成表單輸入」、「不用寫程式也能完成流程自動化」的需求應運而生。
你說是人變懶了嗎?我不這麼認為,當人類初誕生到這個世界上時,其實也跟大部分動物一樣,花很多時間,採集食物維生,但聰明的人類因為懂得「馴化」動植物,透過圈養動物和種植作物,讓雙手終於空下來,有時間去做其他事情,譬如創作和閱讀。
以上這個過程,不也是一種「自動化」嗎?想吃東西,不用辛苦採集、狩獵,而是讓動物和作物自行生長,直到收成。
但人類並沒有因此變懶,躺在那不工作。相反的,祖先因為有了時間,接著研發出了許多厲害的東西,譬如醫學、文字、藝術、物理、化學,太多太多了,讓人類世界從此變得更豐富有趣。
如果能更省力的將例行任務做完,就能把時間花在更有價值的地方。
你還在辛苦的一行一行搜尋、複製、貼上嗎?試著用 low code 工具幫助你從繁瑣工作中解放出來吧!
剛下載,已找不到蝦皮
謝謝回覆,我研究了一下,截至上個月,Octoparse應該還有支援爬蟲蝦皮。
如果在軟體上看不到,可以寄信請客服協助喔!
資料來源:https://www.youtube.com/watch?v=iFZrb5T-F8M
請參考留言區的客服回覆。
希望有幫助。