20179214 2017-2018-2 《密碼與安全新技術》第三次作業

課程：《密碼與安全新技術》
班級： 201792
姓名： 劉勝楠
學號：20179214
上課教師：謝四江
上課日期：2018年3月29日
必修/選修： 選修

學習內容總結

網絡空間安全前沿技術介紹----跨媒體安全

傳統多媒體

多媒體的英文單詞是Multimedia,它由media和multi兩部分組成.一般理解為多種媒體的綜合.媒體（Media）就是人與人之間實現信息交流的中介,簡單地説,就是信息的載體,也稱為媒介.多媒體就是多重媒體的意思,可以理解為直接作用於人感官的文字、圖形圖像、動畫、聲音和視頻等各種媒體的統稱,即多種信息載體的表現形式和傳遞方式.傳統媒體就是報紙,雜誌等等.
既表現為包括網絡文本、圖像、音頻、視頻等複雜媒體對象混合並存，又表現為各類媒體對象形成複雜的關聯關係和組織結構，還表現在具有不同模態的媒體對象跨越媒介或平台高度交互融合。通過“跨媒體”能從各自的側面表達相同的語義信息，能比單一的媒體對象及其特定的模態更加全面地反映特定的內容信息。相同的內容信息跨越各類媒體對象交叉傳播與整合，只有對這些多模態媒體進行融合分析，才能儘可能全面、正確地理解這種跨媒體綜合體所藴涵的內容信息。

• 特點
  獲取容易，數據量大，關聯度高

跨媒體大數據的應用

• 交通監控
• 樓宇監控
• 24小時監控視頻雲備份服務
• 3D圖形
  3D照相館
  電子商務在線試衣

跨媒體大數據分析與計算

文本 音頻 圖像 視頻 3D 位置等多種類型媒體與之相關的社會屬性信息混合在一起，形成了跨媒體形式。

研究熱點

• 跨媒體時代的只是表達
• 跨媒體檢索和排序
• 面向跨媒體數據的因果推理
• 基於跨媒體分析的態勢感知

跨越的含義

• 不同類型數據之間的跨越
• 不同來源數據之間的跨越
• 信息空間與物理空間之間的跨越

安全問題

面向安全的跨媒體內容分析

• 跨媒體安全監控
• 有害內容的識別
• 跨媒體取證分析
• 跨媒體內容辨偽

基於跨媒體的信息安全技術

• 跨媒體信息隱藏
• 跨媒體驗證技術

跨媒體自身的信息安全技術

• 跨媒體版權保護
• 跨媒體安全存儲
• 跨媒體安全傳輸
• 跨媒體安全處理
  可視密碼

研究背景意義與應用

雲端媒體安全監管

安全人臉識別

雲環境下的視頻監控

跨媒體分析與推理

媒體在計算機領域有兩種含義：一是指媒介，即存儲信息的實體，如磁盤、光盤、磁帶、半導體存儲器等；二是指傳遞信息的載體，如數字、文字、聲音、圖形、圖像等。
以往的媒體信息處理模型往往只針對某種單一形式的媒體數據進行推理分析，比如圖像識別、語音識別、文本識別等。 而越來越多的任務需要像人一樣能夠協同綜合處理多種形式(文本、音頻、視頻、圖像等)的信息，這就是跨媒體分析與推理。

跨媒體信息的理解與深度挖掘

數據表達是基於內容的多媒體檢索實現相似度匹配的基本依據，在圖像檢索、音頻檢索等研究中，通常採用底層內容特徵來表示多媒體對象。而對跨媒體檢索而言，需要研究一種符合跨媒體特性的數據表達機制，建立統一的數據模型，以表達不同的多媒體對象；同時，構建的模型應能反映數據集之間的潛在關係。如果不同類別媒體的數據集被映射到一個統一的表達框架中，但破壞了數據集之間的相互關係，那麼在此基礎上得到的跨媒體檢索結果將受到影響，因此，在用統一的模型來表達不同類別的媒體數據時，應儘可能地發現和保持數據之間潛在的相關性。
不同類型的數據集之間實際上還存在一種共生關係，挖掘這種數據共生關係可以幫助發現潛在的語義結構。視覺特徵和聽覺特徵結構完全不同，然而在其底層特徵中潛在共生關係，可以從中找到隱含的語義結構。共生關係分析最初應用於語言分析，不過語言分析與跨媒體分析有很大的差別，主要在於跨媒體沒有包含直接的語義；另外，跨媒體中不包含文檔和詞彙（語義）的包含關係，因此，其對應的處理方法也不同。
目前的方法基本上都是在交叉媒體數據上進行相關性學習，學習方法主要包括表達學習、度量學習以及矩陣分解等，學習策略基本上採用batch的形式來捕獲目標之間的一階相關性。 對於未來的發展，我們需要開發更高級的學習策略來捕獲更高階的相關性(比如，相同來源的信息天然具有一定相關性、信息中的超鏈接也隱藏着更多的相關性信息)並採用更合理的評價手段。

跨媒體知識圖譜構建以及學習方法論

• 跨媒體知識圖譜創建：實體提取以及關係構建
• 基於跨媒體知識圖譜的信息查詢與檢索
• 跨媒體知識圖譜中對的挖掘與推理
• 知識驅動的跨媒體學習模型

跨媒體知識演化與推理

目的：基於多種媒體形式進行演化與推理。
關鍵問題：
數據驅動結合知識引導的跨媒體知識學習
基於語義理解的跨媒體推理框架
永不停歇的知識獲取、挖掘以及演進

跨媒體智能

引自http://stdaily.com/cxzg80/redian/2017-07/28/content_563746.shtml
跨媒體智能是新一代人工智能的重要組成部分，通過視聽感知、機器學習和語言計算等理論和方法，構建出實體世界的統一語義表達，通過跨媒體分析和推理把數據轉換為智能，從而成為各類信息系統實現智能化的“使能器”。跨媒體智能引擎研究可在現有計算平台上進行，但是它的廣泛應用需要研製更為高效的智能芯片和硬件，才能像生物大腦和感知系統那樣以極低功耗來高效地表達外部世界的複雜結構。
幽居於顱骨內的人類大腦通過視覺、聽覺、語言等感知通道獲得對世界的統一感知，這是人類智能的源頭。跨媒體智能就是要借鑑生物感知背後的信號及信息表達和處理機理，對外部世界藴含的複雜結構進行高效表達和理解，提出跨越不同媒體類型數據進行泛化推理的模型、方法和技術，構造模擬和超越生物感知的智能芯片和系統。
跨媒體智能理論研究主要圍繞跨媒體感知計算理論展開，從視、聽、語言等感知通道把外部世界轉換為內部模型的過程出發，實現智能感知和認知。主要包括：研究超越人類視覺感知能力的視覺信息獲取，有效支撐對環境的全景、全光與透徹感知；研究能夠適應真實世界複雜場景的主動視覺系統，發展複雜環境感知、建模和交互等技術，構建主動感知框架和技術體系；研究自然聲學場景下的聽覺感知及計算，實現複雜聲學場景中語音定位和增強；突破真實自然交互環境中的語音識別魯棒性、語音合成表現力、口語理解準確率等難點問題；研究自然交互環境中的言語感知及計算，實現類人的多語種多方言的言語感知和多語種多方言間的言語感知遷移；建立面向異步跨模態序列的類人感知和交互理論，研製突破圖靈測試的跨模態社交機器人，實現與人類和諧地進行多模態互動和溝通；研究面向媒體智能感知的自主學習，發展仿人腦記憶的媒體協同分析方法。
實體物理世界和虛擬理念世界的有效表達是智能的基礎。經典人工智能通過謂詞、命題和規則等方法在充分定義前提下進行推理，邏輯清晰，但未能有效解決符號系統和實體世界的對應問題，知識工程試圖建立完備的常識庫與常識推理引擎，但缺乏源頭活水。如今外部環境已經發生重大變化，互聯網、物聯網和大數據的快速發展，正在將我們所在的物理世界通過海量傳感器和多模態數據進行全天候描述，為建立物理實體世界的統一語義表達創造了外部條件，信息傳播已經從文本、圖像、視頻、音頻等單一媒體形態過渡到相互融合的跨媒體形態，如何將文本推理擴展到跨媒體分析推理成為了重要的研究問題。
在新一代人工智能發展規劃中，跨媒體智能關鍵技術層面的研究主要圍繞跨媒體分析推理展開，即通過視、聽、語言等感知來分析挖掘跨媒體知識以補充和拓展傳統基於文本的知識體系，建立跨媒體知識圖譜，構建跨媒體知識表徵、分析、挖掘、推理、演化和利用的分析推理系統，形成跨媒體綜合推理技術，為跨媒體公共技術和服務平台的建設提供技術支撐，並在網絡空間內容安全與態勢分析、跨模態醫療數據綜合推理等領域進行示範應用。
跨媒體智能的真正應用需要智能芯片和硬件的支持。機器感知一直是傳統人工智能的薄弱環節，需要模擬生物視、聽、嗅、味、觸等感知通道的信號處理和信息加工模型，研製新型感知芯片並進行系統實驗和驗證。例如，仿視網膜神經網絡結構和機理的高靈敏、高動態、高保真視覺芯片能夠模擬生物視覺事件驅動、稀疏表示和異步傳輸等機理，達到“結構模仿生物視覺，速度超越生物視覺”的效果。又如，模擬多種生物（如靈長類、貓、響尾蛇等）的獨特視覺機理，建立從複雜視頻圖像數據中快速搜索興趣目標的理論、模型和算法，實現具備自適應、自學習能力的智能感知系統。再如，研究模擬生物皮膚的高靈敏度觸覺感知器件和芯片，構建主動接觸和精細反饋的觸覺傳感器和電子皮膚。
跨媒體智能的一個典型綜合應用是智能城市。研究城市全維度智能感知推理引擎，解決城市發展過程中存在的感知碎片化、信息孤島化等問題，建立以“大跨度、大視角、大信息和大服務”為特徵的城市全維度智能感知推理引擎,實現對人、車、物、事件等的多維度、跨時空協同感知和綜合推理。
另外，跨媒體智能技術還能夠推進企業智能製造轉型，為經濟增長注入新活力，提升中國經濟的發展質量。跨媒體智能引擎還將在智能醫療等重要領域得到應用，從而將對國民經濟、國計民生、國家安全等產生重要影響

Q：針對跨媒體信息，如何學習一種統一的表達？

• 一種簡單的學習方法是：建立一個共享空間，然後將所有數據投影到該空間。 比如早期的CCA方法，通過線性函數儘可能的將成對出現的圖像和文本數據投影到共享空間的同一位置。
• 主題模型是另外一種常用的表示方法，比如經典的latent Dirichlet allocation (LDA) 模型。 LDA假設不同形式的媒體信息由相同的多個主題生成，於是目標的相似度可以通過指定主題下的生成概率來計算。深度學習的興起也很快蔓延到跨媒體信息表達領域。