WiDS Taipei 2020 | 影像 AI 在行銷科技的應用與技術簡介 — 劉丁綺 Cecile Liu
講者介紹-劉丁綺 (Cecille Liu)📍 現任職於文境資科擔任 NLP 工程師。身體住著 maker 的靈魂，喜歡閱讀論文及科技文章，享受工程師的 coding 生活，也同時在攻讀博士班。專長為影像處理，參與過行車記錄器影像的開發，擁有後端 serverless 開發，串接 AWS 多項服務的經驗。和開發的產品一起參加過智慧城市展及 Computex。目前開發的產品結合影像與文字相關的 deep learning 技術。
📍講者影片介紹 : https://www.facebook.com/watch/?v=499632314256032丁綺介紹影像 AI 的三個應用領域：人臉識別、影像識別、擴增實境。並分別列舉多種相關 AI 工具，及 AI 在廣告的應用，也分享很多工具使用的 AI 技術差不多，卻是完全不同的應用方向。接著介紹 Netflix 的 Contextualization 運用影像做推薦系統及其他應用，包含字幕算法、影片封面、影像排序等等，這與 Youtube 及 IG 用 hashtag 做推薦系統有蠻大的不同。
▍ 文境資科
醫療大數據＆醫療 AI 的公司
-公司主要從事大數據平台建立與異質資料整合，並專注在醫療大數據分析，與醫療AI人工智慧解決方案。
-團隊成員有大學教授、醫師、藥師、護理師、醫工、醫資、生統、公衛、數學、醫管、資工….相關背景。
我們團隊成員，建置＆分析全台最大的醫療大數據系統已經20年。
▍ 一、應用領域
Face Recognition 人臉識別：魅力至上
Image Recognition 影像識別：圖像勝過標籤＃
Augmented Reality 擴增實境：歡迎來到真實的世界
1. Face Recognitio：你有多 HOT?
分享三個工具：
(1) Hotness.ai：
使任何人都可以通過面部識別軟件掃描他們的照片，並將其與其他照片的數據庫進行比較。(0~10分)
能夠識別是否為『人臉』。(如果拿貓咪的臉會被發現喔)
(2) LikelyAI：
預測您的 Instagram 貼文的受歡迎程度。LikelyAI 從圖像中提取數千個數據點並識別出流行的圖案。
(3) Am I Beautiful or Ugly：
一個臉部美容的線上測試分析。 能在3分鐘內分析您的臉，給予評分1–100。
2. Image Recognition
分享兩個工具：用的技術差不多，卻是完全不同的應用方向。
(1) LogoGrab：
它能夠找到圖片中的所有 logos，並將其與市場上的特定公司匹配，並且可以直接進行該 LOGO 的商品導購。
(2) CamFind：
是世界上最精確的移動視覺搜索引擎。由 CloudSight Image Recognition API 做支援。
3. AR：
分享三個工具：
(1) Virtual Artist：
Sephora （化妝品公司）的 Virtual Artist 應用程序使您可以在幾秒鐘的時間內對一系列眼影，口紅等進行採樣，模擬在你臉上的樣子。
(2) BlippAR：
是一款適用於 Android 和 iOS 的應用，為您提供 AR 體驗，從本質上講，它是 AR 應用商店。
(3) Google Lens：
人工智能技術-使用智能手機攝像頭和深度機器學習功能，不僅可以檢測攝像頭鏡頭前的物體，還可以理解並提供諸如掃描，翻譯，購物等操作。
關於 AR 的科普：
(1) PopSci — AR：
Maker-based (以特定某物為標記)
使用圖像識別算法來指定標記的位置和旋轉。之後它將在指定位置顯示3D對象。
Makerless (以一個較大範圍，多應用為主)
它結合了攝像頭系統，專用傳感器和復雜的數學運算，可以準確地檢測和映射現實環境，然後將虛擬對象置於真實環境中。
(2) IBM- 基於對話框的交互式圖像檢索：
若顧客文字中出現特定字串”紅色洋裝”, 品牌可以直接回傳一張照片”是否為這件洋裝?”(紅色洋裝照片)
4. 關於 AI 廣告應用：
(1) Reveal Bot：
是一款由AI驅動的工具，用於自動化 Facebook 廣告活動。 該工具可提供見解，例如印像，點擊數，觸及率等。
(2) DigitalBridge：
借助人工智能引導客戶完成購買過程的每個階段，儘早吸引客戶並更快地進行轉化。（e.g.用影像把商品分類，把商品推薦給某一類適合的顧客）
(3) RetailNext：
實體零售的分析專家，提供實時分析，使零售商和製造商可以收集，分析和可視化店內數據。(e.g. 便利商店裡的人流&移動路徑監控)
5. 小結
很多 Martech 廣告新創，每一家的維度都不同：要根據自己的『顧客群』&『營運模式』而定。
▍ 二、談一點技術
(這段內容大多參考自 Netflix tech blog ，詳細 reference 放在下方)
1. Netflix的情境化(Contextualization)
◆ 為什麼選Netflix 分享?
- Youtube 是影片內容，IG 是圖片內容，他們都用『#hashtag (文字標籤)』 做推薦系統。
- Netflix ：是用很多『圖片』做推薦系統。
◆ 數據科學家：
團隊中有不同角色負責項目不同，互相合作
2. 不僅僅是算法
早期基礎：用 a/b test ，看不同影片的封面，哪個吸引較多顧客點擊。
Archer：透過 AI 導入，可以減少開發時的麻煩。
3. 字幕算法
如果我要在一個影片上字幕, 有哪些位置是不適合放字幕的?
這裡採用的演算法：
- 要知道何時會有場景轉換? (快速重新計算字幕適合位置)
- 偵測影片本身文字會落在影片的哪個角落?
- 偵測哪些畫面有人臉? (變免與字幕重疊)
4. 該選取影片中哪些具代表性的”截圖”當成影片的封面，以吸引最多人點擊?
比如同樣的封面標題，但抓取不同的截圖，左邊像校園喜劇，右邊卻像恐怖片。
◆ 這裏使用的工具：Atomic Visual Actions, AVA
功能包含：
• Frame annotation 框架註解
• Image recognition 影像辨識
• Choose the right picture 選擇合適的圖片
◆ AVA 主要偵測的項目：
-Frame meatadata：亮度，顏色，對比度和動態模糊。
-Contextual meatadata：人臉檢測，運動估計，鏡頭識別，物體檢測
-Composition meatadata：（啟發式特徵）攝影，電影攝影和視覺美學設計的核心原則。
◆ 抓完了，還需要做影像排序：
-演員：演員，角色姿勢，面部標誌以及給定演員的角色總體位置。(e.g. 需要判斷他是否是主角)
-結構傳遞：相機鏡頭類型（遠景與中景），視覺相似度（三分之二，亮度，對比度），顏色（最突出的顏色）和顯著性圖（以識別負空間和復雜性）。(e.g. 畫質好不好? 太模糊也不行)
-成熟度：編輯排除的標準，例如性別/裸露，文字，徽標/未經授權的品牌以及暴力/犯罪。(e.g.刪除一些不適合的暴力或不佳的截圖)
-附加元素：標題類型，內容格式。
範例：
可以看到怪奇物語就用了這麼多表情圖
內容參考連結：
https://netflixtechblog.com/ava-the-art-and-science-of-image-discovery-at-netflix-a442f163af6
Netflix AVA algorithm
https://www.slideshare.net/linasbaltrunas9/contextualization-at-Netflix
https://data-flair.training/blogs/data-science-at-netflix/
▍ 三、行銷是一種團隊合作
技術在行銷中何處發生？
在 Reach & ACT 階段，我們與團隊會互相影響
▍ Q A：
1. 在做 AR 應用前，AR 的前置作業或是數據處理有哪些?
A：如果是單純做tracking, 可能想辦法把 model 變小, 接著在訓練過程中，避免對影像做太多動作, 在手機上可能無法真實呈現
2. 講者能不能分享自身做過覺得很有趣的專案
A：
NLP：講者在研究武漢肺炎的 paper，每個醫生可能有自己的 paper 來去判斷怎樣才是得武漢肺炎，是不是真的很年輕，抵抗力好，免疫細胞攻擊他的健康細胞，才會得肺炎；但後來又在想是不是重症患者才會得，或者病毒就是無差別攻擊同樣都是咳嗽，其實也有；很多細微的分別，如果可以把他整合再一起或許會很有趣 (比如一萬筆資料內常跟咳嗽一起出現的是什麼?)
CV 計算機視覺：講者做了一個辨識貓咪的自動餵食器，做了發現手機上可以用，但是沒有機器哈哈
3. 能分享建議如何進入 AI 領域嗎
A：
- 結構化的數據分析：從 NLP 切入。
- 計算機視覺 CV：會比較進階。
- 從 marketing/ PM角度：要跟工程師講自己的需求，問對問題很重要。PM花時間多看科普的東西。
想更深入了解 WiDS Taipei Conference 2020 的活動內容嗎？歡迎到此連結索取當天活動的 12 份完整簡報檔！(這次講者的簡報都超級精彩，強烈推薦大家多多索取喔!)
▍更多 WiDS Taipei 2020 精彩演說紀錄，請查看下面索引文：
💖💖💖💖💖💖💖💖💖💖💖💖
如果喜歡這篇文章，可以幫我們拍手 👏 👏👏 50下，支持我們繼續努力！
(找找左側或左下角 “拍手符號👏”，長按可以連拍50下喔)
💖💖💖💖💖💖💖💖💖💖💖💖