有粉絲留言說(shuō)想利用AI挖掘開源信息，現(xiàn)在你看到的這類文章就是我利用AI抓取開源信息幫助我生成的文章，是的，我壓根看不懂一個(gè)代碼~如果你對(duì)這類AI自動(dòng)化程序感興趣，可以看文末加入我的星球有3天試用，我晚點(diǎn)會(huì)把資料分享在里面，因?yàn)檫@個(gè)和跨境的日常工作不大，我就不錄視頻了，這個(gè)純屬我當(dāng)初無(wú)聊學(xué)的，今天本來(lái)要錄制新視頻的，但是還在參加分享會(huì)議中，所以明天吧~周末學(xué)習(xí)不打烊~

在當(dāng)今的人工智能領(lǐng)域，各種神經(jīng)網(wǎng)絡(luò)模型已經(jīng)幫助我們解決了許多復(fù)雜的問(wèn)題。但是，如果你能直接訪問(wèn)數(shù)千種預(yù)訓(xùn)練模型，應(yīng)用到文本、圖像和音頻等多種領(lǐng)域，將會(huì)有多大的便利呢？今天，讓我們一同探索 Hugging Face 提供的開源項(xiàng)目——? Transformers，讓最新、最先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)觸手可及。

項(xiàng)目簡(jiǎn)介

? Transformers 提供數(shù)千種預(yù)訓(xùn)練模型，這些模型可以應(yīng)用于不同的模態(tài)（如文本、視覺和音頻），執(zhí)行各種任務(wù)：

在文本任務(wù)中的應(yīng)用

• 文本分類：這類任務(wù)可以識(shí)別文本所屬的類別，常見于情感分析等應(yīng)用。
• 信息抽取：從非結(jié)構(gòu)化文本中抓取有價(jià)值的信息。
• 問(wèn)答系統(tǒng)：通過(guò)輸入問(wèn)題找到最合適的答案，適用于智能客服等場(chǎng)景。
• 文本摘要：將長(zhǎng)文壓縮為簡(jiǎn)潔的幾句話，幫助快速理解內(nèi)容。
• 翻譯：支持超過(guò)100種語(yǔ)言之間的互譯。
• 文本生成：從短語(yǔ)生成長(zhǎng)篇文章，已在新聞撰寫等領(lǐng)域有廣泛應(yīng)用。

在圖像任務(wù)中的應(yīng)用

• 圖像分類：識(shí)別圖像中主要的內(nèi)容，例如是否包含某種物體。
• 目標(biāo)檢測(cè)：在圖像中標(biāo)出指定的物體并計(jì)算其位置。
• 圖像分割：將圖像劃分為有意義的部分，例如背景和前景的分離。

在音頻任務(wù)中的應(yīng)用

• 語(yǔ)音識(shí)別：將語(yǔ)音轉(zhuǎn)換為文本，常見于語(yǔ)音助手。
• 音頻分類：根據(jù)音頻內(nèi)容進(jìn)行分類，如音樂類型的識(shí)別。

此外，Transformer 模型還支持 多模態(tài)任務(wù)，如從掃描文件中提取信息、視頻分類和視覺問(wèn)答等。

快速上手

為了讓用戶能夠最快速地使用這些強(qiáng)大的預(yù)訓(xùn)練模型，? Transformers 提供了便捷的 API。例如，我們可以通過(guò)下列代碼快速實(shí)現(xiàn)情感分析：

from?transformers?import?pipeline

#?為情感分析準(zhǔn)備一個(gè)流水線
classifier?=?pipeline('sentiment-analysis')
#?對(duì)輸入文本進(jìn)行情感分析
classifier('We?are?very?happy?to?introduce?pipeline?to?the?transformers?repository.')

該代碼會(huì)將預(yù)訓(xùn)練模型下載并緩存，然后對(duì)輸入的文本進(jìn)行評(píng)估，返回結(jié)果是“積極”的概率。

應(yīng)用示例

在自然語(yǔ)言處理（NLP）領(lǐng)域：

• BERT 掩碼字完成：示例鏈接
• Electra 實(shí)體識(shí)別：示例鏈接
• Mistral 文本生成：示例鏈接

在計(jì)算機(jī)視覺領(lǐng)域：

• ViT 圖像分類：示例鏈接
• DETR 目標(biāo)檢測(cè)：示例鏈接
• SegFormer 語(yǔ)義分割：示例鏈接

在音頻領(lǐng)域：

• Whisper 自動(dòng)語(yǔ)音識(shí)別：示例鏈接
• Wav2Vec2 關(guān)鍵詞識(shí)別：示例鏈接
• AST 音頻分類：示例鏈接

此外，在多模態(tài)任務(wù)中：

• TAPAS 表格問(wèn)答：示例鏈接
• ViLT 視覺問(wèn)答：示例鏈接
• LLaVa 圖像描述：示例鏈接

Hugging Face 提供的平臺(tái)無(wú)疑簡(jiǎn)化了模型的使用過(guò)程，你可以輕松實(shí)現(xiàn)從數(shù)據(jù)預(yù)處理、模型訓(xùn)練到推理等全過(guò)程。

更詳細(xì)的示例

例如，我們可以輕松實(shí)現(xiàn)圖像中的目標(biāo)檢測(cè)：

import?requests
from?PIL?import?Image
from?transformers?import?pipeline

#?下載包含可愛貓咪的圖片
url?=?"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/coco_sample.png"
image_data?=?requests.get(url,?stream=True).raw
image?=?Image.open(image_data)

#?為目標(biāo)檢測(cè)準(zhǔn)備一個(gè)流水線
object_detector?=?pipeline('object-detection')
object_detector(image)

運(yùn)行上述代碼后，我們將會(huì)得到圖片中檢測(cè)到的目標(biāo)以及它們的置信度分?jǐn)?shù)和邊界框。如下圖所示，左邊是原始圖像，右邊是模型的預(yù)測(cè)結(jié)果：

項(xiàng)目架構(gòu)

在架構(gòu)設(shè)計(jì)上，? Transformers 支持通過(guò)三大熱門深度學(xué)習(xí)庫(kù)——Jax、PyTorch 和 TensorFlow 無(wú)縫切換。不論你使用哪種框架進(jìn)行模型訓(xùn)練，都可以用另一種框架進(jìn)行推理。這無(wú)疑極大地增加了靈活性和效率。

要想快速上手 ? Transformers 提供的預(yù)訓(xùn)練模型，只需要幾行代碼：

對(duì)于 PyTorch:

from?transformers?import?AutoTokenizer,?AutoModel

tokenizer?=?AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
model?=?AutoModel.from_pretrained("google-bert/bert-base-uncased")

inputs?=?tokenizer("Hello?world!",?return_tensors="pt")
outputs?=?model(**inputs)

對(duì)于 TensorFlow:

from?transformers?import?AutoTokenizer,?TFAutoModel

tokenizer?=?AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
model?=?TFAutoModel.from_pretrained("google-bert/bert-base-uncased")

inputs?=?tokenizer("Hello?world!",?return_tensors="tf")
outputs?=?model(**inputs)

在這段代碼中，tokenizer 負(fù)責(zé)對(duì)輸入文本進(jìn)行預(yù)處理，而 model 則接收處理后的輸入進(jìn)行推理。

安裝指南

使用 pip 安裝

您可以通過(guò)以下命令安裝 Transformers：

pip?install?transformers

使用 conda 安裝

或者選擇使用 conda：

conda?install?conda-forge::transformers

環(huán)境要求

? Transformers 需要 Python 3.8 以上版本，并且需要至少安裝 Flax、PyTorch 或 TensorFlow 其中之一。

總結(jié)

Hugging Face 開發(fā)的 ? Transformers 項(xiàng)目為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域帶來(lái)了便捷和高效。無(wú)論你是研究人員、開發(fā)人員，還是學(xué)生，都能夠利用這個(gè)工具箱輕松實(shí)現(xiàn)各種復(fù)雜任務(wù)。同時(shí)，豐富的預(yù)訓(xùn)練模型庫(kù)為不同應(yīng)用場(chǎng)景提供了強(qiáng)大的支持。

如果你正尋找一個(gè)可靠、易用并且功能強(qiáng)大的工具來(lái)加速你的機(jī)器學(xué)習(xí)項(xiàng)目，不妨嘗試一下 ? Transformers，相信你會(huì)有驚喜的發(fā)現(xiàn)。

希望這篇介紹能幫助你更好地了解 ? Transformers 的強(qiáng)大功能并開始你的機(jī)器學(xué)習(xí)之旅！