Empfohlen
Weitere ähnliche Inhalte
Mehr von Madeleine Lee
Mehr von Madeleine Lee (11)
2020.10.13 讀書會分享 “大數據與小數據”
- 2. 2 Agenda ▷ AI語音質檢品質工具及模組建置撇步 ▷ 導讀因果革命：人工智慧的大未來 The Book of Why: The New Science of Cause and Effect ▷ 客服大數據 VS. 小數據
- 4. 4 線 AT&T Bell lab NTT 特徵也給模型 學習，語音訊 號由DNN模型 輸出文本 Source : https://biic.ee.nthu.edu.tw/blog-post/asr-past-and-present?fbclid=IwAR34Zq7ja0Oy7lbyVNGymVTu-5euEx_0WcDgKXgKPWRNEAhHCl8z4ShOrf4
- 5. 語音辨識處理 Automatic Speech Recognition 訊號處理 接收 聲音 聲學模型 解碼器 後端處理 聲音轉成數值 尋找特徵 提取語⾳輸入的特徵 找出最相似 的樣本 進行比對 發⾳（pronunciation model）將⾳素序列和詞庫比對出對應的詞。 語⾔（language model）利⽤機率辨識單詞所組成的⽂字序列。 Source : https://biic.ee.nthu.edu.tw/blog-post/asr-past-and-present?fbclid=IwAR34Zq7ja0Oy7lbyVNGymVTu-5euEx_0WcDgKXgKPWRNEAhHCl8z4ShOrf4
- 7. VOC智能分類 Source : Nice Seminar in 2019
- 8. VOC智能分類 Source : Nice Seminar in 2019
- 9. Trendy - 配對最適客服同仁 不再是千人一面、邁向千人千面 Source : Nice Seminar in 2019
- 10. 配對最適客服同仁 不再是千人一面、邁向千人千面 Source : Nice Seminar in 2019
- 11. 11 導讀因果革命：人工智慧的大未來 ▷ 基於因果科學的三階梯、七工具 ▷ 相關不等於因果，繪製因果圖 ▷ 假相關/干擾因子/共通原因 Confounding ▷ 代數與機率 (貝氏Bayesian network) 基於因果科學的三階梯、七工具 相關不等於因果，繪製因果圖 假相關/干擾因子/共通原因 Confounding 代數與機率 (貝氏Bayesian network)
- 12. 12 Artificial Intelligence compute something that shows intelligent behavior 電腦做出聰明的事 ex: 下棋、開車、預測 機器學習是 AI 方法之一 Deep Learning 也是是 AI 方法之一 Machine Learning use data to compute hypothesis g that approximate target f 用資料找出 hypothesis 假說 g 跟目標 f 很像 機器學習比較適從資料庫計算，計算機計算，演 算法更重視如何被算出來 machine 不會看沒有整理好的資料，但越學越會 Statistics use data make inference about an unknown process 使用資料推論原本不知道的事 ex: Francis Galton丟銅板 統計學是實現機器學習的方法之一 Data mining use (huge) data to find property that is interesting 用資料找出有用，有趣的東西 ex: 購物籃分析、一起購買 (Netflix, Amazon..) 小數據 大數據 小數據 “ what if
- 15. 15 推斷引擎(三階梯) ▷ 第三層級「反事實」表示想像能力，指想像並不 存在的世界，並推測觀察到的現象原因為何，例 如為什麼是x導致了y，如果當時x沒有發生，那麼 狀況會是怎麼樣的，如果當時採取了其他措施， 會發生什麼？具體的例子是：我吃了阿司匹靈能 治好了我的頭痛嗎？假如奧斯沃德沒有刺殺甘迺 迪，甘迺迪會活著嗎？假如在過去的兩年里我沒 有吸菸會怎樣？ ▷ 第二層級「干預」表示行動能力，指預測對環境 刻意改變後的結果，並根據預測結果選擇行為方 案，例如是如果我做X這件事情，那麼y會發生什 麼變化，一個具體的例子是如果我把香菸戒掉， 那麼得癌症的狀況會發生什麼變化； ▷ 第一層級「關聯」表示觀察能力，指發現環境中 規律的能力，例如一隻貓頭鷹觀察到一隻老鼠在 活動，便開始推測老鼠下一刻可能出現的位置， 這隻貓頭鷹所做的就是通過觀察尋找規律； book:因果革命：人工智慧的大未來
- 16. 16 推斷引擎(三階梯) ▷ 第三層級「選擇性違反邏輯原則」 (強人工智慧) ▷ 第二層級「改變現狀」(弱人工智慧) ▷ 第一層級「觀察」(弱人工智慧) book:因果革命：人工智慧的大未來
- 18. “當疫苗殺人時 疫苗 (Y) 疫苗 (N) population 1,000,000 1,000,000 接種 990,000 0 death 99 0 未接種 10,000 1,000,000 天花 200 20,000 death 40 4,000 Total death 99 + 40 = 139 4,000 book:因果革命：人工智慧的大未來
- 19. X = 出生體重 Q = 產前生產速率(無法觀察) P = 懷孕期間 L = 同窩幼鼠總數 A = 其他生產速率原因(無法觀察) C = 其他懷孕時間原因(無法觀察) 路徑分析 = 代數 + 方向性 “出生體重範例的因果圖 懷孕期間P對出生體重X的影響 Sewall Wright 在子宮中多待一天, 體重多5.66公克 ????????????????????????? P L Q X --->要得知直接影響, 先除去偏差， 偏差量是所有路徑係數的積 𝒍 *𝒍′ *q p+ 𝒍 *𝒍′ *q=5.66g，若知道 𝒍 , 𝒍′ , q路徑係數可得p. 對測定配對 (P,X) (L,X) (L,P) 三程式, 代數解方程式 p=3.34g / 每增加一天 多一天體重多5.66公克兼具兩過程，P L 是反因果 X Q L P A C q p 𝒍′ 𝒍 原因一 : 其他原因 : book:因果革命：人工智慧的大未來
- 20. X = 出生體重 Q = 產前生產速率(無法觀察) P = 懷孕期間 L = 同窩幼鼠總數 A = 其他生產速率原因(無法觀察) C = 其他懷孕時間原因(無法觀察) 路徑分析 = 代數 + 方向性 “出生體重範例的因果圖 懷孕期間P對出生體重X的影響 Sewall Wright 在子宮中多待一天, 體重多5.66公克 同窩幼鼠少, 整個懷孕過程的環境比較適合生長 P L Q X --->要得知直接影響, 先除去偏差， 偏差量是所有路徑係數的積 𝒍 *𝒍′ *q p+ 𝒍 *𝒍′ *q=5.66g，若知道 𝒍 , 𝒍′ , q路徑係數可得p. 對測定配對 (P,X) (L,X) (L,P) 三程式, 代數解方程式 p=3.34g / 每增加一天 多一天體重多5.66公克兼具兩過程，P L 是反因果 X Q L P A C q p 𝒍′ 𝒍 book:因果革命：人工智慧的大未來
- 25. 25 confusion matrix 預測是X 預測非X 實際是X true positive SEN, TP/P false positive Type I error (probability = α) 實際非X false negative Type II error (probability = β) true negative SPE, TN/N Accuracy = TP+TN/TP+FP+FN+TN Precision = TP/TP+FP Recall = TP/TP+FN TPR sensitivity 或 true positive rate 靈敏度, 真正率 F1 Score = 2*(Recall * Precision) / (Recall + Precision) precision_score/FP#預測跟實際判斷準確率, 辨別出好的, type I error recall_score/FN#實際X的機率, 寧可錯殺不可放過, type II error piotroski F-Score 用precision跟recall 加權調和平均數 縱軸為敏感度 ( sensitivity，即真陽性率 )，橫軸為 1-特異度 ( 1-specificity，即偽陽性率 )。
- 26. 26 [貝氏推論]賽門氏兩階段設計 R0：為未達進一步研究興趣反應率 (no further interest response rate) R1：全反應率 (Desired overall response rate) Control Clin Trials. 1989 Mar;10(1):1-10. 𝑃 𝐷𝑟𝑢𝑔 𝑖𝑠 𝑠𝑢𝑓𝑓𝑖𝑓𝑖𝑐𝑒𝑛𝑡𝑙𝑦 𝑝𝑟𝑜𝑚𝑖𝑠𝑖𝑛𝑔|𝐻0: 𝑝 ≤ 𝑅0 < 𝛼 𝑃 𝐷𝑟𝑢𝑔 𝑖𝑠 𝑠𝑢𝑓𝑓𝑖𝑓𝑖𝑐𝑒𝑛𝑡𝑙𝑦 𝑝𝑟𝑜𝑚𝑖𝑠𝑖𝑛𝑔|𝐻1: 𝑝 ≥ 𝑅1 ≥ 1 − 𝛽 R0 10% R1 30%
- 27. 27 Stage 1 15 patients, 3 response Prior information Prior Beta(α, β) Likelihood Binomial distribution N=15, Y=3 Posterior Beta(α, β) 貝氏推論 Beta(0.7, 2.1) Bin(15, 0.2) Beta(0.7+3, 2.1+12) Stage 2 總 Bin(30, 0.2) 樂觀 Beta(3, 7) 懷疑 Beta(1, 9) 0.613 0.347 0.040 0.053 0.484 0.463 懷疑 : 當最悲觀都認為可行 -> go 樂觀 : 最樂觀都覺得不可行 -> no go 0.053<R0, 0.463>R1 0.613>R0, 0.040<R1
- 28. 28 客服大數據 VS. 小數據 ▷ 要瞭解動物怎麼生活，就要去叢林，而 非動物園。我就是這麼做的。 ▷ 研究「弦外之音」，也就是實地消費者 身旁，收集線上與線下的小數據，接著 再把收集到的觀察心得與啟發等線索， 仔細咀嚼或從中深入挖掘，經過一連串 複雜的過程，最後找到尚未滿足或意識 到的欲望，能夠當作基礎，開發、產品 革新或創立新東西。 ▷ 新構想通常是兩件過去沒有關聯的事串 聯在一起 book:小數據獵人
- 29. 29 延伸閱讀–小數據獵人 拿掉我們的濾鏡 ▷ Google 有軟體可以根據打錯字、打字，評估感覺準確率70% ▷ 打字全部大寫的頻率，判斷信用等級精確率79% ▷ 生活中的事, 乍看之下無足輕重，但背後一定有他的故事，儀式、習慣、小動 作、喜好變成模式、相似處、關聯性、不平衡、誇張、不平衡、誇張指的是某 樣東西太多或太少，意思是缺了某樣東西或某樣東西被限制住 ▷ 德文中有一個「文化濾鏡」的說法（culture glasses / Kulturbrille），意 思是，當你將自己從這個世界抽離，你會看得更清楚。當你以外人的角度看一 個文化，你就會看到文化中一些奇異的行為。你要先變成對方 : ▷ 在了解阿拉伯婦女駕駛時，就戴起面紗把自己變成當地婦女； ▷ 《哈佛商業評論》（Harvard Business Review）一篇文章中下了一個結論， 假如資料與分析屬於「思考」類，內容、設計與生產研發歸為「執行」類，那 麼致力於消費者參與和互動的行銷人員就是「情感」類。他們認為這三種要素 缺一不可。簡單來講，21世紀行銷的生存與成功之道，莫過於整合線上與線 下資料，也就是把大數據與小數據合而為一。 book:小數據獵人
- 30. 30 延伸閱讀–小數據獵人 豐富資料、厚資料、深度資料 線上 vs 線下 ▷ 7C工具 book:小數據獵人
- 31. 沒有色彩, 灰黑, 1970, 80年代女性不允許化 妝、境內沒有實體真正代表西伯利亞，像是 被冷眼看待的地方，7月21hrs, 12月只3hrs 缺乏信任感，電話被竊聽 電影主角回家跑錯公寓/大樓，跑錯城市 大樓外觀弄得光鮮亮麗，可能被視為弱者 女性平均壽命長，Lancet在2014年cohort 有 25%在55歲前死亡，肝病跟酒精，目前平均 壽命是64歲，上癮的快感以取代苦楚 女性大紅口紅，過度嬌媚與咄咄逼人 看不到鏡子，冰箱磁鐵’有感而發’或是滑稽， 20、30個，甚至於40個或更多 核心文化是母親 冰箱磁鐵代表對自由、逃避現實、出國、異 國之旅的嚮往，是俄羅斯文化也是匱乏之處 酗酒或某種癮頭是為了尋求轉換和超然，跳 延伸閱讀–小數據獵人 關於小數據的幾個小故事 沙烏地阿拉伯跟西伯利亞都用 冰箱磁鐵，傳達重要家庭價值 1980後數位子民易分心，事事追求及時享樂 樂高變簡單的策略 熱愛滑板的11歲德國男孩，愛迪達舊鞋是戰 利品，金牌跟證據 改變策略讓零件更多更複雜 泰姬瑪哈陵300美元，史上最難，也帶起收藏 家十倍的潮流 沙烏地阿拉伯，生活奢侈是常態 沙烏地阿拉伯跟俄羅斯都對國家領導階層心 灰意冷 沙烏地阿拉伯冰箱磁鐵多是世界各國圖騰 公寓都有厚厚窗簾，宗教警察可以以沒拉上 窗簾對屋主開出罰單 水杯不是疊而是一個靠著一個，代表控制是 恐懼的表徵或結果 時鐘都快了5分鐘，伊斯蘭五功 Five Pillars of Islam，創造光環效應抵銷不知名恐懼 樂高銷售消防車、警車、保安車，沙烏地阿 拉伯緊急救援車輛玩具比世界各國多了49% 物品包覆塑膠套，保護、怕火 book:小數據獵人
- 33. 33book:獲利世代
- 34. 34book:獲利世代
- 35. 35book:獲利世代
- 36. 設計問券 for persona ▷ 3~7題開放式 姓名 年齡 頭銜 想法/感受 聽到 看到 説/做 痛苦 獲得
- 38. 38 焦點人物原型 photo 主要意見 姓名 年齡 頭銜 TA自我描述 目前的工具/流程 目標 Gain 獲得 Pain 痛苦 想要達成的任務 行為
- 39. Persona Study your TA Job Dream Attention InterestWhat I want Social Life what I did What I see
- 41. 如果我要開始….. 我的idea是.. The structure of integrated clickstream CRM system 4 system 1 system 2 system 3 clickstream of customers A [profile, gender1, fee700, crm0100, km1357, km657, csat 0011,0021,0031,0044] BI & dashboard(real time) VOC customer profile predictionevent MGMT KM system 5 recording NLP
- 42. 42 Q&A Q1 如何開始 source : Artificial Intelligence for the Real World by 湯瑪斯．戴文波特 Thomas H. Davenport , 拉傑夫．羅南奇 Rajeev Ronanki 2019/6/21 1.了解技術 : 組織應建立一個資源庫，隨著需求和人才增多，一個合理做法可能是指派專責小組，到特定業務職能或單位裡，但即使如此， 由一個中央協調部門來管理各個專案和職涯 2.建立專案組合 :評估確認機會，系統化的方式評估需求和能力，然後發展出一個安排好優先順序的專案組合。一家公司收集的資料可能太 多，超過目前人力或電腦火力能適當分析和應用的程度。例如，某家公司可能有關於消費者數位行為的大量資料，但對於這些 資料的意義、 可在策略上如何運用，公司卻欠缺見解。為處理這個問題，企業使用機器學習來支援一些任務，像是程式購買個人化數位廣告等，或是像思 科系統（Cisco Systems）和IBM的做法，建立數萬個「傾向模型」（propensity model），以判定哪些顧客可能購買哪些產品。 3. 推行試辦專案:驗證概念可行的試辦專案，特別適合有高潛力業務價值的計畫；重新設計商業流程。在制定認知技術專案時，應仔細思考 可以如何重新設計工作流程，尤其著重在人類和人工智慧的分工。有些認知專案，是80％的決策由機器做，20％由人類做；還有一些專案 的比率剛好相反。以系統化方式重新設計工作流程是有必要的，這樣才能確保人類和機器彼此截長補短。 4. 擴大規模
- 43. 43 Q&A source : Artificial Intelligence for the Real World by 湯瑪斯．戴文波特 Thomas H. Davenport , 拉傑夫．羅南奇 Rajeev Ronanki 2019/6/21 Q2 應用及技術選擇 機器人與認知 自動化 (RPA) 認知見解 (cognitive insight AI) 認知互動 (cognitive engagement AI) 商業流程自動化 Ex : NASA 透過資料分析取得見解 Ex : GE, Deloitte 與顧客和員工交流互動 Ex: Vanguard ● 把電子郵件和電話客服中心系統裡的 資料，轉移到紀錄系統裡；例如，更 新顧客檔案，像是地址改變或增加服 務項目等。 ● 更換遺失的信用卡或提款卡，進入多 個系統，更新各項紀錄，以及處理與 顧客的通訊。 ● 從多種文件類型擷取資訊，以調和多 個計費系統裡沒有收取服務費用的情 形。 ● 使用自然語言處理技術，來「閱讀」 法律和合約文件，擷取裡面的條款。 ● 美國國家航空太空總署（NASA）受 到成本壓力，因此推出四個RPA的試 辦專案，包括應付帳款和應收帳款、 資訊科技支出、人力資源 ● 預測某位顧客可能買什麼。 ● 即時找出信用詐欺，以及偵測保險理賠 詐欺。 ● 分析保固資料，以找出汽車和其他製造 品的安全或品質問題。 ● 自動化執行數位廣告個人化定向。 ● 提供保險公司更正確和詳細的精算模型 建構。 ● 智慧型代理人提供全年無休的顧客服務，處理 的問題愈來愈多且廣泛，從密碼查詢到技術支 援問題，全部以顧客的自然語言來進行。 ● 回答員工問題的內部網站，主題包括：資訊科 技、員工福利、人力資源政策。 ● 為零售商設計的產品與服務推薦系統，可提高 個人化、互動和銷售額，通常包括豐富的語言 或圖像。 ● 醫療推薦系統，協助醫療業者制定量身打造的 照護計畫，考慮到個別病患的健康狀況，與之 前的治療方式。