多媒体资料库.ppt

《多媒体资料库.ppt》由会员分享，可在线阅读，更多相关《多媒体资料库.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒體資料庫 簡介n多媒體資料與傳統資料庫之比較u資料內容l傳統資料庫 以文字的方式儲存，常以多個屬性描述一個實體或物件l多媒體資料庫 為涵義豐富的媒體，內容無法單純以多個屬性將其描述u資料展示l傳統資料庫文字，表單l多媒體資料庫需要更豐富的視覺聽覺之展示簡介n範例u將圖片以傳統資料庫的方式處理儲存l可下達的查詢找出XXX所畫的圖片找出在19451955年，由OOO所繪製的圖片l無法處理的查詢找出與此圖片相類似的圖片找出左上角有一台紅色車子的圖片IR systems on the WebnSearch for Web pages http:/nSearch for images http:/n

2、Search for image content http:/wang.ist.psu.edu/IMAGE/nSearch for answers to questions http:/nSearch for music?Web Image Search(Pchome+VisinNEXT)Content-based Image Retrieval(CBIR)XXVVVV*國立歷史博物館/師大/新視提供Image Retrieval Via Voice *國立歷史博物館/師大/新視提供簡介n多媒體資料庫必須能提供u有效率之多媒體資料之儲存u提供內涵式資料的查詢l與媒體本身內容相關之查詢u多樣性的

3、多媒體資料之展示多媒體資料庫的挑戰n大量資料之處理u多媒體資料所需之儲存空間比一般資料大得多n多維資料之索引u快速的搜尋技巧n相似度之計算u容錯式的查詢n資料之展示n多媒體資料的特徵u文件l內容l關鍵字u圖片l主要構成顏色l包含物件l物件大小l顏色分佈l紋理特徵u音樂l節拍l和絃l音調u影片l物體之移動軌跡l包含物件l顏色n可以依內涵資訊為查詢條件u找出與某張圖相像的圖u找出包含類似某段旋律之歌曲u找出有機車飛越火車的影片片段影像資料庫n查詢範例u範例一:找出與這張圖相像的圖片u範例二:找出左上角有一個紅色方形，而圖形的下方為藍色的所有圖片n可代表一張影像的資訊u與影像內涵資訊無關之資訊l作者

4、l完成時間l完成地點letc.u與影像內涵資訊相關的特徵l顏色分佈可以color histogram表示l紋理l內含物件形狀顏色大小位置l主要構成顏色lEtc.由關鍵字查詢(Query By Keyword)以文字屬性描述每張影像，可以對個個屬性建構索引，並可以SQL的方式下查詢以範例查詢(Query By Example(QBE):使用者對系統展示一張範例圖，系統則根據資料庫內每張圖與這張範例圖的相似度決定回傳的答案查詢型態找出離查詢範例最近的影像找出離查詢範例最近的前k個影像找出與查詢範例距離d之內的影像影像資料庫搜尋 Image-A Image-B Image-Cn以內容來看，三張圖相像

5、嗎?u顏色資訊u位置資訊實作範例n顏色與位置資訊的取得u將圖切成一個一個的格子u找出每個格子的代表色u相鄰格子有相同的顏色，及組合成更大的格子u最後的大區塊的顏色，位置及形狀是將來比對上所使用的重大資訊。相似度比較n兩張圖要相似有哪些因素是可能被使用者考慮的?顏色配置顏色分布物件位置物件大小物件形狀n聽看看下面幾首音樂或音樂片段，你知道歌名是什麼嗎？Music 1 2 3 4 5 6 7 8 9 10n你是怎麼辦識出這首歌的呢？若要讓電腦幫我們做同樣的事，要怎麼設計呢？音樂資料庫音樂的特徵nStatic Music Information如 調號、拍號等nAcoustical Feature如

6、loudness、pitch等nThematic Feature如melodies、rhythms及chords例“sol-sol-sol-mi”、”0.5-0.5-0.5-2”及“C-Am-Dm-G7”nStructural Feature古典音樂格式的二個基本規則hierarchical rule及repetition rule特徵的取樣n相對音感vs絕對音感旋律的位移u考慮以絕對音感比對所會造成的問題l升key,降key所發生的問題u節拍取樣也有相同的問題n依完整段落取patternn多音軌的取樣問題特徵的編碼n將特徵取出後，依適當的編碼方式將特徵標碼u能應付音調的升降u能應付節拍的快慢

7、u要讓聽起來像的音樂，其編碼出來的code之間的距離也要近討論n相對音感vs絕對音感旋律的位移n依完整段落取patternn不同音樂格式的轉換n問題重要卻沒重覆的feature視訊資料庫n內容組織u使用者會對哪一部分的內容感興趣u如何儲存這部分的內容，使得查詢處理能很有效率的被執行u如何設計查詢語言，與傳統的SQL有何不同u影片的內容可自動的被取出來嗎?影片內涵資訊n物件u單純形狀的描述l可做到自動化u有意義的物件描述l人物男主角，女主角l動物豬，貓，狗l非生物皮箱，鑰匙l幾乎不可能做到自動化n活動u單純描述l物件移動軌跡如何將軌跡編碼成電腦可比對的code為一個很重要的課題l可做到自動化u含

8、有意義的行為描述l車禍，甲男把皮箱交給乙女l必須用單純描述做為基礎描述l不容易做到完全自動化視訊內涵資訊之建構n兩種資訊u靜態l將一個frame視為一張圖片l利用圖片搜尋技巧u動態l將連續frame視為一個動作l物件移動軌跡必須被考慮n靜態資訊n動態資訊Preface(Contd)n移動軌跡n影片分析uShotl單一連續的鏡頭所拍攝之影片段落l組成影片的單位l同一個shot內的frame內容類似可以在一個shot中找出其代表的frame，來表示整個shotlShot 偵測利用顏色分佈的改變偵測shot的界線(boundary)可自動化,但可能會因顏色的突然改變而誤找目前shot segmentation 工具可以達到一各十分高的正確率(95%)u場景(SCENE)l由多個描述相同事件的shot所組成l可當作查詢的單位u物件移動軌跡l找出物體移動的軌跡，可代表某一事件