在內(nèi)容營銷的過程中，數(shù)據(jù)的作用毋庸置疑。記得我剛開始工作的時候，要批量去抓取網(wǎng)站的數(shù)據(jù)，基本都需要通過寫代碼的方式。想省時省力得抓到自己想要的數(shù)據(jù)，并不是一件容易事。

后面慢慢出現(xiàn)了像火車頭、八爪魚這樣的 No Code 工具，才使得數(shù)據(jù)的抓取變得容易了一些。但要想抓到非常自定義的數(shù)據(jù)，也并不是那么方便（還是得寫代碼）。

由于最近我一直在做 Programmatic SEO，需要采集不同網(wǎng)站上的不同數(shù)據(jù)，所以就花了點心思在調(diào)研各種數(shù)據(jù)抓取方案的比較上。

偶然間發(fā)現(xiàn)了一種最近比較流行的開源爬蟲（FireCrawl），自認為還是挺有研究價值的，專門用一篇文章記錄下。

首先，使用這款工具可以很輕松將網(wǎng)頁的信息整理下來，即將 URL 鏈接上的信息轉化為 Markdown 格式的數(shù)據(jù)。并且這些數(shù)據(jù)可以很輕松的投喂給大模型，以便對數(shù)據(jù)后續(xù)的進一步加工。

比如我現(xiàn)在想抓取我博客的內(nèi)容，只需要簡單將鏈接扔到輸入框里點擊確定，稍等片刻便可以看到所有的數(shù)據(jù)都已經(jīng)使用 Markdown 格式整理好了。

并且，這款爬蟲還支持各種各樣的 SDK，支持自定義部署。同時也提供 LLM 大模型的接入，也就是直接利用大模型的分析能力，將網(wǎng)頁上的數(shù)據(jù)格式化整理后呈現(xiàn)出來，且整個過程根本不需要我們寫什么代碼。

至于具體的自定義部署，我現(xiàn)在還沒來得及研究。但我腦子里能清楚知道，這玩意兒結合 Programmatic SEO，真的有挺多有意思的玩法。這里先賣個關子吧，等我哪天做成了再來分享。

所以現(xiàn)階段的主要任務就是熟悉這套程序，搞明白如何高效率使用。可能得話再將這套流程納入到自己的工作流中去，進一步提升工作效率。

大家有興趣的可以去試試。