Hi, all, SEO技術(shù)流機(jī)器人0.1版本終于誕生了！

之前就有了做個(gè)SEO機(jī)器人的想法，昨晚終于開始操作，目前算是搭建了個(gè)基本雛形。

地址是：https://chat.openai.com/g/g-tsdNziD2M-seo-ji-zhu-liu

可以先看一些回復(fù)情況，感覺還不錯(cuò)，基本達(dá)到了前期的要求。

初步介紹

整體是基于 ChatGPT ，又加入了新抓取的 Google 搜索中心的官方文檔、新版的搜索質(zhì)量評分指南、近 3 年的 Google 搜索的博客文章，以及我的個(gè)人網(wǎng)站的文章，算是加入了一點(diǎn)點(diǎn) SEO 專長。

在回復(fù)上，我設(shè)置了默認(rèn)語言是簡體中文，默認(rèn)搜索引擎是 Google。如果有引用上面附加文檔的內(nèi)容，也會盡量添加上相關(guān)鏈接。

所以，如果有 GPT4 的朋友可以先嘗試下。目前 openai 這個(gè)功能僅限升級到 GPT4 的用戶使用。

機(jī)器人基本配置

看了上面，你也許會認(rèn)為默認(rèn)語言、搜索引擎、附加知識庫這些如何配置，應(yīng)該在哪個(gè)參數(shù)進(jìn)行配置。

但你如果真的操作，會發(fā)現(xiàn)其實(shí)非常簡單，基本上就用大白話來描述即可。（未來的編程就是這樣嗎？）

機(jī)器人的名稱、描述、縮略圖、常見問題就不用多說了，有個(gè)輸入框可以直接輸入即可。（縮略圖也集成了 DALL-E 的能力，可以自動生成。）

對于默認(rèn)語言、搜索引擎、風(fēng)格等配置，可以直接在 Instructions 這個(gè)輸入框里去描述。

里面默認(rèn)有角色和目標(biāo)、約束條件、個(gè)性化等開頭（可以學(xué)習(xí)官方的 prompt 邏輯）。

其他的規(guī)則，你都可以在這里直接輸入，是開放性的。比如我是這么設(shè)置回復(fù)中盡可能添加參考鏈接：

如果有參考 GSC-doc.json、search-blog.json、zhidaow.json 中的內(nèi)容，請?jiān)诨貜?fù)中附加相對應(yīng) content 的 url 的數(shù)值，比如有參考 GSC-doc.json ?中關(guān)于 large site how to manage crawl budget 的內(nèi)容，那就在回復(fù)中附加“參考文檔：https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget”

另外，GPT 也是默認(rèn)可以訪問網(wǎng)址、生成圖片，以及分析代碼。也就是集成了 GPT4 的基本功能。

GPT 生成抓取腳本實(shí)現(xiàn)自建知識庫

我主要是通過抓取內(nèi)容來實(shí)現(xiàn)自建知識庫，如果有現(xiàn)成的知識庫更好，不管什么內(nèi)容形態(tài)，GPT 都能識別和理解。

我最開始是想用 screaming frog 來抓取，但發(fā)現(xiàn)他更擅長抓取 URL，對數(shù)據(jù)做結(jié)構(gòu)性解析。于是想轉(zhuǎn)到八爪魚和火車頭。

后來想到 GPT 寫個(gè)腳本就可以實(shí)現(xiàn)了，而且 URLs 已經(jīng)用 screaming frog 抓取到了。

下面是我第一次讓 chatGPT 生成的代碼。chatGPT 也給出了相關(guān)的 python 庫來提前安裝。

后來我又增加了很多功能，都直接描述給他，讓他基于現(xiàn)有代碼修改，比如輸出改成了 json （朋友風(fēng)隼給的啟發(fā)）、剃除掉了一些網(wǎng)頁內(nèi)容、一邊抓取一邊寫入、在 Terminal 上要顯示進(jìn)度、抓取錯(cuò)誤要 hold 20 秒再繼續(xù)等。

最后給出的代碼，以及跑出的數(shù)據(jù)就基本可用了。

進(jìn)一步完善

這個(gè)機(jī)器人只能算是搭建了基本框架，還是很糙。規(guī)則設(shè)置還是太簡單，知識庫也可以整理的更細(xì)致，也沒有注意到回復(fù)安全性等方面，后續(xù)再繼續(xù)升級吧。

下一步計(jì)劃是繼續(xù)補(bǔ)充知識庫，比如 searchengineland.com、seroundtable.com 近期的內(nèi)容可以抓取來補(bǔ)充。

歡迎大家試用，給一些意見和建議；也建議搭建自己的機(jī)器人，一起玩起來，也可以幫助到自己行業(yè)和業(yè)務(wù)。