AI說書 - 從0開始 - 542 | VideotoText 之 Meta TimeSformer 實現 (內容擷取)

更新 發佈閱讀 3 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


接著進入到 AI 模型部分:

from transformers import TimesformerConfig, TimesformerModel

configuration = TimesformerConfig()
model = TimesformerModel(configuration)
configuration = model.config

import av
import torch
import numpy as np

from transformers import AutoImageProcessor, TimesformerForVideoClassification
from huggingface_hub import hf_hub_download

np.random.seed(0)


我們現在定義一個使用 PyAv 的函數,將視頻解碼並將每一幀存儲到一個初始為空列表的幀列表中。隨著視頻的解碼,幀列表會逐幀新增幀數據:

def read_video_pyav(container, indices):
frames = []
container.seek(0)
start_index = indices[0]
end_index = indices[-1]
for i, frame in enumerate(container.decode(video = 0)):
if i > end_index:
break
if i >= start_index and i in indices:
frames.append(frame)
return np.stack([x.to_ndarray(format = "rgb24") for x in frames])
留言
avatar-img
Learn AI 不 BI
249會員
1.1K內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
Learn AI 不 BI的其他內容
2025/11/05
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Meta TimeSformer 是一種基於 Transformer 的架構,專為視頻數據設計,它首先將視頻的每一幀轉換為特徵序列,這些特徵序列能夠捕捉畫面中的空間訊息
2025/11/05
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Meta TimeSformer 是一種基於 Transformer 的架構,專為視頻數據設計,它首先將視頻的每一幀轉換為特徵序列,這些特徵序列能夠捕捉畫面中的空間訊息
2025/10/31
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 OpenAI CLIP 實現 Stable Diffusion 影片的程式為: p = pipeline('text-to-video-synthesis', 'da
2025/10/31
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 OpenAI CLIP 實現 Stable Diffusion 影片的程式為: p = pipeline('text-to-video-synthesis', 'da
2025/10/30
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 OpenAI CLIP 實現 Stable Diffusion 影片的程式為: !pip install modelscope == 1.4.2 !pip inst
2025/10/30
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 OpenAI CLIP 實現 Stable Diffusion 影片的程式為: !pip install modelscope == 1.4.2 !pip inst
看更多
你可能也想看
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
債券投資,不只是高資產族群的遊戲 在傳統的投資觀念中,海外債券(Overseas Bonds)常被貼上「高資產族群專屬」的標籤。過去動輒 1 萬甚至 10 萬美元的最低申購門檻,讓許多想尋求穩定配息的小資族望而卻步。 然而,在股市波動劇烈的環境下,尋求穩定的美元現金流與被動收入成為許多投資人
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
透過川普的近期債券交易揭露,探討債券作為資產配置中「穩定磐石」的重要性。文章分析降息對債券的潛在影響,以及股神巴菲特的操作策略。並介紹玉山證券「小額債」平臺,如何讓小資族也能低門檻參與海外債券市場,實現「低門檻、低波動、固定收益」的務實投資方式。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
解析「債券」如何成為資產配置中的穩定錨,提供低風險高回報的投資選項。 藉由玉山證券的低門檻債券服務,投資者可輕鬆入手,平衡風險並穩定財務。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
相較於波動較大的股票,債券能提供固定現金流,而玉山證券推出的小額債,更以1000 美元的低門檻,讓學生與新手也能參與全球優質企業債投資。玉山E-Trader平台即時報價、條件式篩選與清楚的交易流程等特色,大幅降低投資難度,對於希望分散風險、建立穩定現金流的人來說,玉山小額債是一個值得嘗試的理財起點。
Thumbnail
你是否覺得與 AI 對話總是辭不達意?本文將分享一套「科技通靈」的實踐儀式,拆解四個關鍵步驟,教你如何超越單純的提示詞詠唱。這不只是一篇教學,而是一場心態的轉變,引導你從操作者蛻變為能與 AI 共同創造、真正「賦靈」的數位鍊金術士。
Thumbnail
你是否覺得與 AI 對話總是辭不達意?本文將分享一套「科技通靈」的實踐儀式,拆解四個關鍵步驟,教你如何超越單純的提示詞詠唱。這不只是一篇教學,而是一場心態的轉變,引導你從操作者蛻變為能與 AI 共同創造、真正「賦靈」的數位鍊金術士。
Thumbnail
這場講座將帶領你逐步入門生成式AI,從認識AI到實際應用,包含五大提問技巧、圖像生成實戰、工作流應用案例、真實經驗分享以及講師自身的轉變經驗,讓你輕鬆學會使用AI提升生活和工作效率。
Thumbnail
這場講座將帶領你逐步入門生成式AI,從認識AI到實際應用,包含五大提問技巧、圖像生成實戰、工作流應用案例、真實經驗分享以及講師自身的轉變經驗,讓你輕鬆學會使用AI提升生活和工作效率。
Thumbnail
這篇文章整理了數個實用的Prompt資源網站,幫助讀者更有效率地與AI溝通,並提升AI工具的使用效率。文章內容包含Prompt庫的使用優點、網站介紹及功能特色,以及如何善用Prompt資源網站提升思考能力。
Thumbnail
這篇文章整理了數個實用的Prompt資源網站,幫助讀者更有效率地與AI溝通,並提升AI工具的使用效率。文章內容包含Prompt庫的使用優點、網站介紹及功能特色,以及如何善用Prompt資源網站提升思考能力。
Thumbnail
隨著大型語言模型的快速發展,Prompt Engineering 已成為提升模型表現的核心技術。OpenAI 日前推出了 GPT-4.1 Prompting Guide,為開發者提供全面的提示詞改善策略,幫助充分利用 GPT-4.1 在編碼、指令遵循和長上下文處理上的進步。
Thumbnail
隨著大型語言模型的快速發展,Prompt Engineering 已成為提升模型表現的核心技術。OpenAI 日前推出了 GPT-4.1 Prompting Guide,為開發者提供全面的提示詞改善策略,幫助充分利用 GPT-4.1 在編碼、指令遵循和長上下文處理上的進步。
Thumbnail
這份 AI 學習路線圖,從 Prompt Engineering 到全自動 AI 應用開發,循序漸進,適合各個背景的人學習。
Thumbnail
這份 AI 學習路線圖,從 Prompt Engineering 到全自動 AI 應用開發,循序漸進,適合各個背景的人學習。
Thumbnail
善用SCENE模型,提升AI回覆的創意和專業度!SCENE模型包含五個元素:Story(場景設定)、Context(背景資訊)、Expert(專業角色)、Need(具體需求)、Emotion(情感元素)。透過設定這些元素,讓AI更瞭解你的需求,產生更貼近你預期的結果。
Thumbnail
善用SCENE模型,提升AI回覆的創意和專業度!SCENE模型包含五個元素:Story(場景設定)、Context(背景資訊)、Expert(專業角色)、Need(具體需求)、Emotion(情感元素)。透過設定這些元素,讓AI更瞭解你的需求,產生更貼近你預期的結果。
Thumbnail
利用 Stable Diffusion 每日免費的十個 Credits 練習 AI 繪圖詠唱 (Prompt Engineering)
Thumbnail
利用 Stable Diffusion 每日免費的十個 Credits 練習 AI 繪圖詠唱 (Prompt Engineering)
Thumbnail
⋯⋯不過,我所抱持的心態,並不是透過提示來獲得答案,而是透過提示來獲得通往最終答案的靈感或啟發。——《高產出的本事》劉奕酉
Thumbnail
⋯⋯不過,我所抱持的心態,並不是透過提示來獲得答案,而是透過提示來獲得通往最終答案的靈感或啟發。——《高產出的本事》劉奕酉
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News