【清華 ai 公開課】ijcai理事長(zhǎng)楊強(qiáng)：人工智能在企業(yè)的落地是一門大學(xué)問:

---- 新智元整理 來源：清華ai公開課 編輯：劉小芹 【新智元導(dǎo)讀】上周，清華 ai 公開課迎來最后一講，本講主題是：落地的人工智能。 spamrgzn531 在課程開始，雷鳴老師先概述了對(duì)產(chǎn)業(yè)有較大影響的技術(shù)，以及未來將發(fā)生的演變。 從技術(shù)角度看，未來對(duì)產(chǎn)業(yè)產(chǎn)生比較大影響的技術(shù)有： 基于視頻的信息理解和處理技術(shù)。 無人車是自動(dòng)型的，因?yàn)樗恼麄€(gè)運(yùn)作是自動(dòng)的，也有自動(dòng)的學(xué)習(xí)能力，人類只是為它提供一些必要的資源。 交互 vs 核心：交互型的 ai 是為了跟人溝通，是閉環(huán)的。 還有一種做法是把 ai 作為一個(gè)核心的系統(tǒng)，它的副產(chǎn)品是對(duì)人有用，但它可以完全按照自己的方式發(fā)展。alphago 就是一個(gè)例子。 第二，人工智能在企業(yè)的落地是一門大學(xué)問，而且是一門藝術(shù)性的學(xué)問，因?yàn)檫€沒有到科學(xué)的程度。所以一個(gè)問題是，ai 是產(chǎn)品，還是技術(shù)，還是解決方案？

天貓數(shù)據(jù)造假，真是工程師的錯(cuò)？:

錘子4g手機(jī)在天貓頁面的真實(shí)預(yù)約數(shù)被乘以3，發(fā)現(xiàn)這個(gè)規(guī)律的是畢業(yè)自藍(lán)翔的機(jī)械從業(yè)者“左岸的小熊”。不是臨時(shí)工，是工程師干的天貓隨后官方澄清這一失誤是工程師所謂。 但“藍(lán)翔哥”不會(huì)常有，直接將作假數(shù)據(jù)實(shí)現(xiàn)放在前段頁面的“豬一樣的隊(duì)友”也不會(huì)常在。 政府介入也是有可能的。目前北京工商局就通過行政建議書等形式公布第三方商家售假信息，在各電商平臺(tái)之間建立起針對(duì)第三方商家的資質(zhì)和信用管理體系。 因?yàn)槠脚_(tái)的信用認(rèn)證體系可能并不牢靠，尤其是一家獨(dú)大的平臺(tái)，第三方尤其是有政府背書的權(quán)威第三方的認(rèn)證才更有可能保持獨(dú)立真實(shí)。未來是否會(huì)有銷售相關(guān)數(shù)據(jù)的真實(shí)性監(jiān)控呢？雙十一在即。 點(diǎn)擊“閱讀原文”看現(xiàn)身說法。 supersofter是wemedia早期成員。關(guān)注supersofter與阿超一起圍觀冷暖科技世界。

【行業(yè)】馬克?扎克伯格認(rèn)為ai會(huì)解決facebook最大的問題:

在關(guān)于這場(chǎng)監(jiān)管的對(duì)話中，最吸引人的問題之一是猶他州參議員orrin hatch在提到政府過度監(jiān)管的潛在危險(xiǎn)后，詢問什么樣的監(jiān)管措施無法解決劍橋分析公司(cambridge analytica trainwreck face ++和sensetime等合作伙伴與中國(guó)政府合作，為中國(guó)政府創(chuàng)建了一個(gè)面向13億市民的面部識(shí)別數(shù)據(jù)庫，為cctv監(jiān)控和智能眼鏡提供支持，讓警察能夠在幾秒鐘內(nèi)識(shí)別出人物面部特征。 與政府的合作關(guān)系讓中國(guó)企業(yè)有能力超越facebook等公司。例如，去年在國(guó)際計(jì)算機(jī)視覺會(huì)議上，face++的表現(xiàn)優(yōu)于谷歌、facebook和微軟。 當(dāng)被問到這個(gè)問題時(shí)，扎克伯格說，他不能保證俄羅斯政府支持的troll農(nóng)場(chǎng)互聯(lián)網(wǎng)研究機(jī)構(gòu)(ira)已經(jīng)完全從facebook上刪除。 國(guó)會(huì)議員以及整個(gè)世界都在關(guān)注扎克伯格的證詞。正如一名國(guó)會(huì)議員所言，扎克伯格在過去14年里，扎克伯格的道歉似乎足以證明自我監(jiān)管并沒有奏效，但他對(duì)計(jì)算機(jī)視覺的評(píng)估似乎是合理的。

驕傲！國(guó)辦為“一部手機(jī)游云南”打call !!!:

今年3月底，大理市政府對(duì)洱海流域水生態(tài)保護(hù)區(qū)核心區(qū)餐飲客棧等服務(wù)業(yè)開展整治，先后關(guān)?？蜅２惋嫿?jīng)營(yíng)戶2498家。 26.遼寧省盤山縣加快發(fā)展縣域經(jīng)濟(jì)，助推鄉(xiāng)村振興。 27.遼寧省調(diào)兵山市大力發(fā)展循環(huán)經(jīng)濟(jì)，推進(jìn)資源型城市轉(zhuǎn)型。 吉林省 28.吉林省長(zhǎng)春市探索打造“審批不見面、辦事不求人”政務(wù)服務(wù)新模式。 99.重慶市忠縣堅(jiān)持“?；尽?qiáng)基層、建機(jī)制”，推進(jìn)公立醫(yī)院改革。 四川省 100.四川省成都市實(shí)施“創(chuàng)業(yè)天府”行動(dòng)計(jì)劃，打造“雙創(chuàng)”升級(jí)版。 101.四川省瀘州市推出企業(yè)開辦小時(shí)清單制。 113.西藏自治區(qū)曲水縣創(chuàng)新脫貧思路，強(qiáng)化產(chǎn)業(yè)帶動(dòng)，激發(fā)內(nèi)生活力。 陜西省 114.陜西省西安市建立完善“1+n”社會(huì)救助體系，織牢織密兜底保障網(wǎng)。 注：騰訊文旅綜合自一部手機(jī)游云南、云南網(wǎng)、中國(guó)政府網(wǎng)、云報(bào)客戶端、云南日?qǐng)?bào)、中新網(wǎng)、一帶一路網(wǎng) ? 往期精彩回顧 （點(diǎn)擊圖片? 即可閱讀） ? ?

西豐政府政務(wù)OA系統(tǒng)：金山屯區(qū)政務(wù)政務(wù)OA系統(tǒng)中大廠報(bào)價(jià)查詢系統(tǒng)性能優(yōu)化之道！

務(wù)水平和效率，加速實(shí)現(xiàn)高水平管理體制的整體規(guī)劃。特付寶是河北瀚迪旗下的一款支付軟件。河北瀚迪電子科技有限公司是一家集收單運(yùn)營(yíng)服務(wù)、線下電子商務(wù)、金融產(chǎn)品技術(shù)創(chuàng)新等為一體的綜合類服務(wù)型高新技術(shù)企業(yè)，在2014年1月榮獲成為中國(guó)中小微企業(yè)聯(lián)合會(huì)指定的唯一收單運(yùn)營(yíng)服務(wù)。在國(guó)內(nèi)目前是第三方合作方最大、發(fā)展最迅猛的企業(yè)。啟用政務(wù)OA系統(tǒng)(www.政務(wù)OA.cn)，特付寶將充分發(fā)揮既有的優(yōu)勢(shì)，規(guī)范管理流程，強(qiáng)化管理質(zhì)量，提升服務(wù)水平。同時(shí)，政務(wù)OA系統(tǒng)也將不斷沉淀企業(yè)的實(shí)施與合作經(jīng)驗(yàn)，為特付寶提供更為便捷、智能、高效的協(xié)同解決方案。0 前言 機(jī)票查詢系統(tǒng)，日均億級(jí)流量，要求高吞吐，低延遲架構(gòu)設(shè)計(jì)。提升緩存的效率以及實(shí)時(shí)計(jì)算模塊長(zhǎng)尾延遲，成為制約機(jī)票查詢系統(tǒng)性能關(guān)鍵。本文介紹機(jī)票查詢系統(tǒng)在緩存和實(shí)時(shí)計(jì)算兩個(gè)領(lǐng)域的架構(gòu)提升。 1 機(jī)票搜索服務(wù)概述 1.1 機(jī)票搜索的業(yè)務(wù)特點(diǎn) 機(jī)票搜索業(yè)務(wù)：輸入目的地，然后點(diǎn)擊搜索，后臺(tái)就開始卷了。基本1~2s將最優(yōu)結(jié)果反給用戶。這個(gè)業(yè)務(wù)存在以下業(yè)務(wù)特點(diǎn)。 1.1.1 高流量、低延時(shí)、高成功率 超高流量，同時(shí)，對(duì)搜索結(jié)果要求也很高——成功率要高，不能查詢失敗或強(qiáng)說成功，希望能反給用戶最優(yōu)最新數(shù)據(jù)。 1.1.2 多引擎聚合，sla不一 機(jī)票搜索數(shù)據(jù)來源哪？很大一部分來源自己的機(jī)票運(yùn)價(jià)引擎。為補(bǔ)充產(chǎn)品豐富性，還引入國(guó)際一些gds、sla，如聯(lián)航。將外部引擎和自己引擎結(jié)果聚合后發(fā)給用戶。 1.1.3 計(jì)算密集&io密集 大家可能意識(shí)到，我說到我們自己的引擎就是基于一些運(yùn)價(jià)的數(shù)據(jù)、倉位的數(shù)據(jù)，還有其他一些航班的信息，我們會(huì)計(jì)算、比對(duì)、聚合，這是一個(gè)非常技術(shù)密計(jì)算密集型的這么一個(gè)服務(wù)。同時(shí)呢，外部的gds提供的查詢接口或者查詢引擎，對(duì)我們來說又是一個(gè)io密集型的子系統(tǒng)。我們的搜索服務(wù)要將這兩種不同的引擎結(jié)果很好地聚合起來。 1.1.4 不同業(yè)務(wù)場(chǎng)景的搜索結(jié)果不同要求 作為ota巨頭，還支持不同應(yīng)用場(chǎng)景。如同樣北京飛上海，由于搜索條件或搜索渠道不一，返回結(jié)果有所不同。如客戶是學(xué)生，可能搜到學(xué)生特價(jià)票，其他用戶就看不到。 2 公司基建 為應(yīng)對(duì)如此業(yè)務(wù)，有哪些利器？ 2.1 三個(gè)獨(dú)立idc 互相做災(zāi)備，實(shí)現(xiàn)其中一個(gè)idc完全宕機(jī)，業(yè)務(wù)也不受影響。 2.2 datacenter技術(shù)棧 springcloud+k8s+云服務(wù)（海外），感謝netflix開源支撐國(guó)內(nèi)互聯(lián)網(wǎng)極速發(fā)展。 2.3 基于開源的devops 我們基于開源做了整套的devops工具和框架。 2.4 多種存儲(chǔ)方案 公司內(nèi)部有比較完善可用度比較高的存儲(chǔ)方案，包括mysql，redis，mangodb…… 2.5 網(wǎng)絡(luò)可靠性 注重網(wǎng)絡(luò)可靠性，做了很多dr開發(fā)，sre實(shí)踐，廣泛推動(dòng)熔斷，限流等，以保證用戶得到高質(zhì)量服務(wù)。 3 機(jī)票搜索服務(wù)架構(gòu) 3.1 架構(gòu)圖 idc有三個(gè)，先引入gateway分流前端服務(wù)，前端服務(wù)通過服務(wù)治理，和后端聚合服務(wù)交互。聚合服務(wù)再調(diào)用很多引擎服務(wù)。 聚合服務(wù)結(jié)果，通過kafka推到ai數(shù)據(jù)平臺(tái)，做大數(shù)據(jù)分析、流量回放等數(shù)據(jù)操作。云上部署數(shù)據(jù)的過濾服務(wù)，使傳回?cái)?shù)據(jù)減少90%。 4 緩存架構(gòu) 4.1 緩存的挑戰(zhàn)和策略 4.1.1 為啥大量使用緩存應(yīng)對(duì)流量高峰？ 提高效率、速度的首選技術(shù)手段。 雖使用很多開源技術(shù)，但還有瓶頸。如數(shù)據(jù)庫是分片、高可用的mysql，但和一些云存儲(chǔ)、云數(shù)據(jù)庫比，其帶寬、存儲(chǔ)量、可用性有差距，通常需用緩存保護(hù)我們的數(shù)據(jù)庫，不然頻繁讀取會(huì)使數(shù)據(jù)庫很快超載。 很多外部依賴，提供給我們的帶寬，qps有限。而公司整體業(yè)務(wù)量是快速增長(zhǎng)的，而外部的業(yè)務(wù)伙伴給我們的帶寬，要么已達(dá)技術(shù)瓶頸，要么開始收高費(fèi)用。此時(shí)，使用緩存就可保護(hù)外部的一些合作伙伴，不至于擊穿他們的系統(tǒng)，也可幫我們降本。 4.1.2 本地緩存 vs 分布式緩存 整個(gè)架構(gòu)的演進(jìn)過程，一開始本地緩存較多，后來部分用到分布式緩存。 本地緩存的主要問題： 啟動(dòng)時(shí)，有個(gè)冷啟動(dòng)過程，對(duì)快速部署不利 與分布式緩存相比，本地緩存命中率太低 對(duì)海量的數(shù)據(jù)而言，單機(jī)提供命中率非常低，5%甚至更低。對(duì)此，現(xiàn)已全面切向redis分布式緩存。本著對(duì)戰(zhàn)failure的理念，不得不考慮失敗場(chǎng)景。萬一集群掛掉或一部分分片掛掉，這時(shí)需要通過限流客戶端、熔斷等，防止雪崩效應(yīng)。 4.1.3 ttl 命中率 新鮮度 動(dòng)態(tài)更新 ttl生命周期跟業(yè)務(wù)強(qiáng)相關(guān)。買機(jī)票經(jīng)常遇到：剛在報(bào)價(jià)列表頁看到一個(gè)低價(jià)機(jī)票，點(diǎn)進(jìn)報(bào)價(jià)詳情頁就沒了，why？航空公司低價(jià)艙位票，一次可能只放幾張，若在熱門航線，可能同時(shí)幾百人在查，它們都可能看到這幾張票，它就會(huì)出現(xiàn)在緩存里。若已有10人訂了票，其他人看到緩存再點(diǎn)進(jìn)去，運(yùn)價(jià)就已失效。對(duì)此，就要求權(quán)衡，不能片面追求高命中率，還得兼顧數(shù)據(jù)新鮮度。為保證新鮮度、數(shù)據(jù)準(zhǔn)確性，還有大量定時(shí)任務(wù)去做更新和清理。 4.2 緩存架構(gòu)演進(jìn) 4.2.1 多級(jí)緩存 架構(gòu)圖的三處緩存： 引擎級(jí)緩存 l1分布式聚合緩存，基本上就是用戶看到的最終查詢結(jié)果 l2二級(jí)緩存，分布式的子引擎結(jié)果 若聚合服務(wù)需多個(gè)返回結(jié)果，很大程度都是先讀一級(jí)緩存，一級(jí)緩存沒有命中的話，再?gòu)亩?jí)緩存里面去讀中間結(jié)果，這樣可以快速聚合出一個(gè)大家所需要的結(jié)果返回。 4.2.2 引擎緩存 引擎緩存： 查詢結(jié)果緩存 中間產(chǎn)品緩存 基礎(chǔ)數(shù)據(jù)緩存 使用一個(gè)多級(jí)緩存模式。如下圖，最頂部是指引前的結(jié)果緩存，儲(chǔ)存在redis，引擎內(nèi)部根據(jù)產(chǎn)品、供應(yīng)商，有多個(gè)渠道的中間結(jié)果，所以對(duì)子引擎來說會(huì)有個(gè)中間緩存。 這些中間結(jié)果計(jì)算，需要數(shù)據(jù)，這數(shù)據(jù)就來自最基礎(chǔ)的一級(jí)緩存。 4.2.3 基于redis的一級(jí)緩存 pros： 讀寫性能高 水平擴(kuò)展 cons： 固定ttl 命中率和新鮮度的平衡 結(jié)果： 命中率<20% 高新鮮度(ttl<5m，動(dòng)態(tài)刷新 讀寫延遲<3ms 一級(jí)緩存使用redis，是考慮其讀寫性能好，快速，水平擴(kuò)展性能，能提高存儲(chǔ)量及帶寬。但當(dāng)前設(shè)計(jì)局限性： 為簡(jiǎn)單，使用固定ttl，這是為保證返回結(jié)果的相對(duì)新鮮 為命中率和新鮮度，還在不斷提高 目前解決方案還不能完美解決這倆問題。 分析下返回結(jié)果，一級(jí)緩存命中率小于20%，某些場(chǎng)景更低，就是為保證更高準(zhǔn)確度和新鮮度。高優(yōu)先度，一級(jí)緩存的ttl肯定低于5min，有些場(chǎng)景可能只有幾十s；支持動(dòng)態(tài)刷新，整體延遲小于3ms。整個(gè)運(yùn)行過程可用性較好。 4.2.4 基于redis的二級(jí)緩存（架構(gòu)升級(jí)） pros： 讀寫性能進(jìn)一步提升 服務(wù)可靠性提升 成本消減 cons： 增加復(fù)雜性替代二級(jí)索引 結(jié)果： 成本降低90% 讀寫性能提升30% 4.2.5 基于mongodb的二級(jí)緩存 二級(jí)緩存一開始用mongodb： 高讀寫性能 支持二級(jí)緩存，方便數(shù)據(jù)清理 多渠道共用子引擎緩存 ttl通過ml配置 會(huì)計(jì)算相對(duì)較優(yōu)ttl，保證特定數(shù)據(jù)： 有的可緩存久點(diǎn) 有的可快速更新迭代 二級(jí)緩存基于mongodb，也有局限性： 架構(gòu)是越簡(jiǎn)單越好，多引入一種存儲(chǔ)會(huì)增加維護(hù)代價(jià)（強(qiáng)依賴） 由于mongodb的license模式，使得費(fèi)用非常高（ops） 結(jié)果： 但二級(jí)緩存使查詢整體吞吐量提高3倍 通過機(jī)器學(xué)習(xí)設(shè)定的ttl，使命中率提升27% 各引擎平均延時(shí)降低20% 都是可喜變化。在一個(gè)成熟的流量非常大的系統(tǒng)，能有個(gè)10%提升，就是個(gè)顯著技術(shù)特點(diǎn)。 針對(duì)mongodb也做了提升，最后將其切成redis，通過設(shè)計(jì)方案，雖增加部分復(fù)雜性，但替代了二級(jí)索引，改進(jìn)結(jié)果就是成本降低90%，讀寫性能提升30%。 5 lb演進(jìn) 系統(tǒng)首要目標(biāo)滿足高可用 其次是高流量支撐 可通過多層的均衡路由實(shí)現(xiàn)，把這些流量均勻分配到多個(gè)idc的多個(gè)集群。 5.1 目標(biāo) 高可用 高流量支撐 低事故影響范圍 提升資源利用率 優(yōu)化系統(tǒng)性能（長(zhǎng)尾優(yōu)化） 如個(gè)別查詢時(shí)間特長(zhǎng)，需要我們找到調(diào)度算法問題，一步步解決。 5.2 lb架構(gòu) 負(fù)載均衡 gateway，lb，ip直連 dc路由規(guī)則 ip直連+pooling 計(jì)算密集型任務(wù) 計(jì)算時(shí)長(zhǎng)&權(quán)重 部分依賴外部查詢 set化 lb的演進(jìn)： 公司的路由和負(fù)載均衡的架構(gòu)，非常典型，有g(shù)ateway、load、balance、ip直連，在ip基礎(chǔ)上實(shí)現(xiàn)了一項(xiàng)新的pooling技術(shù)。也實(shí)現(xiàn)了set化，在同一idc，所有的服務(wù)都只和該數(shù)據(jù)中心的節(jié)點(diǎn)打交道，盡量減少跨地區(qū)網(wǎng)絡(luò)互動(dòng)。 5.3 pooling 為啥做 pooling？有些計(jì)算密集的引擎，存在耗時(shí)長(zhǎng)，耗cpu資源多的子任務(wù)，這些子任務(wù)可能夾雜一些實(shí)時(shí)請(qǐng)求，所以這些任務(wù)可能會(huì)留在線程里邊，阻塞整個(gè)流程。 pooling就負(fù)責(zé)：我們把這些子任務(wù)放在queue里邊，將節(jié)點(diǎn)作為worker，總是動(dòng)態(tài)的去取，每次只取一個(gè)，計(jì)算完了要么把結(jié)果返回，要么把中間結(jié)果再放回queue。這樣的話如果有任何實(shí)時(shí)的外部調(diào)用，我們就可以把它分成多次，放進(jìn)queue進(jìn)行task的整個(gè)提交執(zhí)行和應(yīng)用結(jié)果的返回。 5.4 過載保護(hù) 有過載保護(hù) 扔掉排隊(duì)時(shí)間超過t的請(qǐng)求（t為超時(shí)時(shí)間），所有請(qǐng)求均超時(shí)，系統(tǒng)整體不可用 扔到排隊(duì)時(shí)間超過x的請(qǐng)求（x為小于t的時(shí)間），平均響應(yīng)時(shí)間為x+m，系統(tǒng)整體可用。m為平均處理時(shí)間 pooling設(shè)計(jì)需要一個(gè)過載保護(hù)，當(dāng)流量實(shí)在太高，可用簡(jiǎn)單的過載保護(hù)，把等待時(shí)間超過某閾值的請(qǐng)求全扔掉。當(dāng)然該閾值肯定小于會(huì)話時(shí)間，就能保證整個(gè)pooling服務(wù)高可用。 雖可能過濾掉一些請(qǐng)求，但若沒有過載保護(hù)，易發(fā)生滾雪球效應(yīng)，queue里任務(wù)越來越多，當(dāng)系統(tǒng)取到一個(gè)任務(wù)時(shí)，實(shí)際上它的原請(qǐng)求可能早已timeout。 img 壓測(cè)結(jié)果可見：達(dá)到系統(tǒng)極限值前，有無pooling兩種case的負(fù)載均衡差異。如80%負(fù)載下，不采用pooling的排隊(duì)時(shí)間比有pooling高10倍： 所以一些面臨相同流量問題廠家，可考慮把 pooling 作為一個(gè)動(dòng)態(tài)調(diào)度或一個(gè)control plan的改進(jìn)措施。 如下圖，實(shí)現(xiàn)pooling后平均響應(yīng)時(shí)間基本沒大變化，還是單層查詢計(jì)算普遍60~70ms。但實(shí)現(xiàn)pooling后，顯著的鍵值變少，鍵值范圍也都明顯控制在平均時(shí)間兩倍內(nèi)。這對(duì)大體量服務(wù)來說，比較平順曲線正是所需。 6 ai賦能 6.1 應(yīng)用場(chǎng)景 6.1.1 反爬 在前端，我們?cè)O(shè)定了智能反爬，能幫助屏蔽掉9%的流量。 6.1.2 查詢篩選 在聚合服務(wù)中，我們并會(huì)把所有請(qǐng)求都?jí)旱阶酉到y(tǒng)，而是會(huì)進(jìn)行一定的模式運(yùn)營(yíng)，找出價(jià)值最高實(shí)際用戶，然后把他們的請(qǐng)求發(fā)到引擎當(dāng)中。對(duì)于一些實(shí)際價(jià)值沒有那么高的，更多的是用緩存，或者屏蔽掉一些比較昂貴的引擎。 6.1.3 ttl智能設(shè)定 整個(gè)ttl設(shè)定使用ml技術(shù)。 6.2 ml技術(shù)棧和流程 ml技術(shù)棧和模型訓(xùn)練流程： 6.3 過濾請(qǐng)求 開銷非常大的子引擎多票，會(huì)拼接多個(gè)不同航空公司的出票，返給用戶。但拼接計(jì)算昂貴，只對(duì)一部分產(chǎn)品開放。通過機(jī)器學(xué)習(xí)找到哪些查詢可通過多票引擎得到最好結(jié)果，然后只對(duì)這一部分查詢用戶開放，結(jié)果也很不錯(cuò)。 看右上角圖片，整個(gè)引擎能過濾掉超過80%請(qǐng)求，流量高峰時(shí)能把曲線變得平滑，效果顯著。整個(gè)對(duì)于查詢結(jié)果、訂單數(shù)，都沒太大影響，且節(jié)省80%產(chǎn)品資源。這種線上模型運(yùn)算時(shí)間也短，普遍低于1ms。 7 總結(jié) 使用了多層靈活緩存，從而能很好的應(yīng)對(duì)高流量的沖擊，提高反應(yīng)速度。 使用可靠的調(diào)度和負(fù)載均衡，這樣就使我們的服務(wù)保持高可用狀態(tài)，并且解決了長(zhǎng)尾的查詢延遲問題。最后內(nèi)部嘗試了很多技術(shù)革新，將適度的ai技術(shù)推向生產(chǎn)，從目前來看，機(jī)器學(xué)習(xí)發(fā)揮了很好的效果。帶來了roi的提升，節(jié)省了效率，另外在流量高峰中，它能夠起到很好的削峰作用。以上就是我們?yōu)閼?yīng)對(duì)高流量洪峰所采取了一系列有針對(duì)性的架構(gòu)改善。 多層，靈活的緩存 -> 流量，速度 可靠的調(diào)度和負(fù)載均衡 -> 高可用 適度的ai -> roi，削峰 8 q&a q：啥場(chǎng)景用緩存？ a：所有場(chǎng)景都要考慮緩存。高流量時(shí)，每級(jí)緩存都能帶來很好的保護(hù)系統(tǒng)，提高性能的效果，但要考慮到緩存失效的應(yīng)對(duì)措施。 q：緩存迭代過程咋樣的？ a：先有l(wèi)1，又加l2，主要因?yàn)榱髁吭絹碓酱?，引擎外部依賴逐漸撐不住，不得不把中間結(jié)果也高效緩存，此即l1到l2的演進(jìn)。二級(jí)緩存用redis替代mongodb，是出于高可用考慮，費(fèi)用節(jié)省也是一個(gè)因素，但更主要是發(fā)現(xiàn)自運(yùn)維的mongodb比redis，整體可用性要差很多，所以最后決定切換。 q：分布式緩存的設(shè)計(jì)方式？ a：分布式緩存的關(guān)鍵在于它的kv怎么設(shè)定？須根據(jù)業(yè)務(wù)場(chǎng)景，如有的kv里加入ip地址，即pooling，基于redis建立了它的隊(duì)列，所以我們queue當(dāng)中是把這種請(qǐng)求方的ip作為建設(shè)的一部分放了進(jìn)去，就能保證子任務(wù)能知道到哪查詢它相應(yīng)的返回結(jié)果。 q：為什么redis的讀寫延遲能做到3ms以內(nèi)呢？ a：讀寫延時(shí)低其實(shí)主要指讀延時(shí)，讀延時(shí)3ms內(nèi)沒問題。 q：這隊(duì)列是內(nèi)存隊(duì)列？還是mq？ a：互聯(lián)隊(duì)列用redis，主要是為保證其高可用性。 q：緩存失效咋刷新，涉及分布式鎖？ a：文章所提緩存失效，并非指它里邊存的數(shù)據(jù)失效，主要指整個(gè)緩存機(jī)制失效。無需分布式鎖，因?yàn)槎际菃为?dú)的kv存儲(chǔ)。 q：緩存數(shù)據(jù)一致性咋保證？ a：非常難保證，常用技巧：緩存超過閾值，強(qiáng)行清除。然后若有更精確內(nèi)容進(jìn)來，要?jiǎng)討B(tài)刷新。如本可存5min，但第2min有位用戶查詢并下單，這時(shí)肯定是要做一次實(shí)時(shí)查詢，順便把還沒過期的內(nèi)容也刷新一遍。 q：熱key，大key咋監(jiān)控？ a：對(duì)我們熱區(qū)沒那么明顯，因?yàn)橐话阄覀兊囊粋€(gè)key對(duì)應(yīng)一個(gè)點(diǎn)，一個(gè)出發(fā)地和一個(gè)目的地，中間再加上各種渠道引擎的限制。而不像分片，你分成16或32片，可能某一分片邏輯設(shè)計(jì)不合理，導(dǎo)致那片過熱，然后相應(yīng)硬件直接到瓶頸。 q：詳解pooling？ a：原理：子任務(wù)耗時(shí)間不一，若完全基于soa進(jìn)行動(dòng)態(tài)隨機(jī)分，肯定有的計(jì)算節(jié)點(diǎn)分到的子任務(wù)較重，有的較輕，加入pooling，就好像加入一個(gè)排隊(duì)策略，特別是對(duì)中間還會(huì)實(shí)時(shí)調(diào)用離開幾s的case，排隊(duì)策略能極大節(jié)省計(jì)算資源。 q：監(jiān)控咋做的？ a：基于原來用了時(shí)序數(shù)據(jù)庫，如clickhouse，和grafana，然后現(xiàn)在兼容promeneus的數(shù)據(jù)收集和api。 q：二級(jí)緩存采用redis的啥數(shù)據(jù)類型？ a：二級(jí)緩存存儲(chǔ)中間結(jié)果，應(yīng)該是分類型的數(shù)據(jù)類型。 q；ttl計(jì)算應(yīng)該考慮啥？ a：最害怕數(shù)據(jù)異常，如系統(tǒng)總返回用戶一個(gè)已過期低票價(jià)，用戶體驗(yàn)很差，所以這方面犧牲命中率，然后縮短ttl，只不過ttl控制在5min內(nèi)，有時(shí)還要微調(diào)，所以還得用機(jī)器學(xué)習(xí)模型。 q：ip直連和pooling沒明白，是agg中涉及到的計(jì)算進(jìn)行拆分，將中間結(jié)果進(jìn)行存儲(chǔ)，其他請(qǐng)求里若也需要這中間計(jì)算，可直接獲取嗎？ a：ip直連和poolingip直連，其實(shí)把負(fù)載均勻分到各節(jié)點(diǎn)pooling，只不過你要計(jì)算的子任務(wù)入隊(duì)，然后每個(gè)運(yùn)算節(jié)點(diǎn)每次取一個(gè)，計(jì)算完再放回去，這樣計(jì)算效率更高。中間結(jié)果沒有共享，中間結(jié)果存回是因?yàn)橛械淖尤蝿?wù)需要中間離開，再去查其他實(shí)時(shí)系統(tǒng)，所以就相當(dāng)于把它分成兩個(gè)運(yùn)算子任務(wù)，中間的任務(wù)要重回隊(duì)列。 q：下單類似秒殺，發(fā)現(xiàn)一瞬間票搶光了，相應(yīng)緩存咋更新？ a：若有第1個(gè)用戶選擇了一個(gè)運(yùn)價(jià)，沒通過，要把緩存數(shù)據(jù)都給殺掉，然后盡量防止第2個(gè)用戶還會(huì)陷入同樣問題。 q：多級(jí)緩存數(shù)據(jù)咋保證一致？ a：因?yàn)槲覀円患?jí)緩存存的是最終的結(jié)果，二級(jí)緩存是中間結(jié)果，所以不需要保持一致。 q：一級(jí)、二級(jí)、三級(jí)緩存，請(qǐng)求過來，咋提高吞吐量，按理說，每個(gè)查詢過程都消耗時(shí)間，吞吐量應(yīng)該下降？ a：是的，若無這些緩存，幾乎所有都要走一遍。實(shí)時(shí)計(jì)算，時(shí)間長(zhǎng)，而且部署的集群能響應(yīng)的數(shù)很有限，然后一、二、三級(jí)每級(jí)都能攔截很多請(qǐng)求。一級(jí)約攔截20%，二級(jí)差不多40%~50%。此時(shí)同樣的集群，吞吐量顯然明顯增加。 q：如何防止緩存過期時(shí)刻產(chǎn)生的擊穿問題，目前公司是定時(shí)任務(wù)主動(dòng)緩存，還是根據(jù)用戶請(qǐng)求進(jìn)行被動(dòng)的緩存？ a：對(duì)于緩存清除，我們既有定時(shí)任務(wù)，也有被動(dòng)的更新。比如說用戶又取了一次或者購(gòu)票失敗這些情況，我們都是會(huì)刷新或者清除緩存的。 q：搜索結(jié)果會(huì)根據(jù)用戶特征重新計(jì)算運(yùn)價(jià)和票種嗎？ a：為啥我的運(yùn)價(jià)跟別人不一致，是不是被大數(shù)據(jù)殺熟？其實(shí)不是的，那為啥同樣查詢返回結(jié)果不一呢？有一定比例是因?yàn)榫彺鏀?shù)據(jù)異常，如前面緩存的到后面票賣光了，然后又推給了不幸用戶。公司有很多引擎如說國(guó)外供應(yīng)商，尤其聯(lián)航，他們系統(tǒng)帶寬不夠，可用性不高，延時(shí)也高，所以部分這種低價(jià)票不能及時(shí)返回到我們的最終結(jié)果，就會(huì)出現(xiàn)這種“殺熟”，這并非算法有意，只是系統(tǒng)局限性。 q：pooling 為啥用 redis？ a：為追求更高讀寫速度，其他中間件如內(nèi)存隊(duì)列，很難用在分布式調(diào)度。若用message queue，由于它存在明顯順序性，不能基于kv去讀到你所寫的，如你發(fā)了個(gè)子任務(wù)，這時(shí)你要定時(shí)取其結(jié)果，但你基于mq或內(nèi)存隊(duì)列沒法拿到，這也是一個(gè)限制。 q：多級(jí)緩存預(yù)熱咋保證mysql不崩？ a：冷啟動(dòng)問題更多作用在本地緩存，因?yàn)楸镜鼐彺姘l(fā)布有其他的情況，需要預(yù)熱，在這之間不能接受生產(chǎn)流量。對(duì)多級(jí)緩存、分布式緩存，預(yù)熱不是問題，因?yàn)樗揪褪欠植际降?，可能有部分?jié)點(diǎn)要下線之類，但對(duì)整個(gè)緩存機(jī)制影響很小，然后這一部分請(qǐng)求又分散到我們的多個(gè)服務(wù)器，不會(huì)產(chǎn)生太大抖動(dòng)。但若整個(gè)緩存機(jī)制失效如緩存集群完全下掉，還是要通過熔斷或限流對(duì)實(shí)時(shí)系統(tǒng)作過載保護(hù)。 q：redis對(duì)集合類qps不高，咋辦？ a：redis多加些節(jié)點(diǎn)，減少它的存儲(chǔ)使用率，把整體throughput提上即可。若你對(duì)云業(yè)務(wù)有了解，就知道每個(gè)節(jié)點(diǎn)都有throughput限制。若單節(jié)點(diǎn)throughput成為瓶頸，那就降低節(jié)點(diǎn)使用率。

2.4 億元、中電科中標(biāo)粵港澳大灣區(qū)大數(shù)據(jù)中心（一期）項(xiàng)目:

一期“數(shù)網(wǎng)”工程的iaas資源由深圳市政務(wù)云項(xiàng)目（二期）提供，本項(xiàng)目主要涵蓋“數(shù)紐”“數(shù)鏈”“數(shù)腦”“數(shù)盾”等部分，建設(shè)需求如下： 1、建立灣區(qū)算力服務(wù)調(diào)度樞紐（灣區(qū)“數(shù)紐”一期） 建設(shè)灣區(qū)核心主節(jié)點(diǎn)云平臺(tái) ，為粵港澳大灣區(qū)大數(shù)據(jù)中心提供包括基礎(chǔ)設(shè)施服務(wù)、數(shù)據(jù)服務(wù)、業(yè)務(wù)支撐服務(wù)在內(nèi)的全棧云服務(wù)。 3、打造灣區(qū)數(shù)據(jù)決策支持大腦（灣區(qū)“數(shù)腦”一期） 建設(shè)粵港澳大灣區(qū)大數(shù)據(jù)中心運(yùn)營(yíng)、管理、展示一體的運(yùn)營(yíng)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)中心運(yùn)行態(tài)勢(shì)全局掌握、運(yùn)營(yíng)管理有序高效；打造重點(diǎn)領(lǐng)域?qū)ｍ?xiàng)應(yīng)用展示系統(tǒng)，為產(chǎn)業(yè)升級(jí)、產(chǎn)業(yè)扶持政策優(yōu)化調(diào)整提供科學(xué)決策依據(jù) 經(jīng)過本項(xiàng)目的實(shí)施建設(shè)，將全面完成粵港澳大灣區(qū)大數(shù)據(jù)中心深圳主節(jié)點(diǎn)主體建設(shè)、粵港澳三地?cái)?shù)據(jù)中心和較大規(guī)模的社會(huì)化數(shù)據(jù)中心互聯(lián)互通機(jī)制得到初步驗(yàn)證、灣區(qū)政務(wù)數(shù)據(jù)與社會(huì)數(shù)據(jù)平臺(tái)化對(duì)接機(jī)制初步完善、政企一體化數(shù)據(jù)資源體系基本成型 “數(shù)腦”提供決策分析服務(wù)，在灣區(qū)“數(shù)紐”“數(shù)鏈”“數(shù)盾”一期示范項(xiàng)目成果進(jìn)行綜合性集中可視化展示基礎(chǔ)上，實(shí)現(xiàn)灣區(qū)“戰(zhàn)略-政策-企業(yè)-自然人”宏中微觀一體化動(dòng)態(tài)分析，加快形成粵港澳大灣區(qū)綜合展示、科學(xué)決策

富士康深圳龍華、觀瀾廠區(qū)獲準(zhǔn)恢復(fù)生產(chǎn):

3月21日消息，深圳市在經(jīng)歷了一周時(shí)間的防疫管控之后，已于今日正式“解封”。 鴻?？萍技瘓F(tuán)今日也發(fā)布聲明表示，依照《深圳市新型冠狀病毒肺炎疫情防控指揮部通告》，鴻海旗下富士康位于深圳龍華、觀瀾等主要廠區(qū)，在遵守防疫政策，嚴(yán)格落實(shí)疫情防控的前提下，已基本恢復(fù)正常工作秩序和生產(chǎn)經(jīng)營(yíng)。 據(jù)介紹，富士康深圳龍華廠區(qū)是在上周開始部分復(fù)工，之后申請(qǐng)?jiān)诒局艽笠?guī)模復(fù)工，目前已經(jīng)經(jīng)過深圳市政府審核通過，本周將恢復(fù)正常生產(chǎn)。 根據(jù)摩根士丹利的預(yù)估，鴻海約25%的總產(chǎn)能位于深圳龍華和觀瀾，這兩個(gè)據(jù)點(diǎn)皆有處理四大產(chǎn)品線，包括iphone、pc/nb、網(wǎng)路及組件，但關(guān)鍵產(chǎn)品的主要生產(chǎn)分布在中國(guó)大陸各地，如鄭州（占iphone生產(chǎn)近

測(cè)量異構(gòu)信息網(wǎng)絡(luò)的多樣性（cs ai）:

在本文中，我們開發(fā)了一個(gè)用于異構(gòu)信息網(wǎng)絡(luò)(hins)的多樣性度量的正式框架，這是一種靈活的、廣泛使用的網(wǎng)絡(luò)數(shù)據(jù)形式。這擴(kuò)大了多樣性措施的應(yīng)用，從分類和分配制度擴(kuò)展到可以由網(wǎng)絡(luò)更好地模擬的更復(fù)雜的關(guān)系。 在此過程中，我們不僅提供了來自不同領(lǐng)域的多個(gè)實(shí)踐的有效組織，而且還發(fā)現(xiàn)了由異構(gòu)信息網(wǎng)絡(luò)建模的系統(tǒng)中的新的可觀察性。我們通過開發(fā)與多樣性和網(wǎng)絡(luò)相關(guān)的不同領(lǐng)域相關(guān)的不同應(yīng)用程序來說明我們的方法的針對(duì)性。 fournier-sniehotta, remy poulain, lionel tabourier, fabien tarissan 原文地址：https://arxiv.org/abs/2001.01296 測(cè)量異構(gòu)信息網(wǎng)絡(luò)的多樣性

【每日要聞】蘋果在華招聘汽車軟件工程師；爆料稱騰訊將成立xr部門:

1、蘋果在華招聘汽車軟件工程師 2、南亞科技宣布斥資3000億新臺(tái)幣在新北市投建12英寸新晶圓廠 3、扎克伯格公開演示四款vr原型機(jī) 4、騰訊減持新東方在線套現(xiàn)超7億港元 5、拜登對(duì)蘋果零售員工組建首個(gè)工會(huì)感到 3、扎克伯格公開演示四款vr原型機(jī) 近日，meta罕見地一次性公布了4款vr頭戴設(shè)備的原型。 上周末，這些工人投票決定在這家科技巨頭的一家美國(guó)專賣店成立了首個(gè)工會(huì)。另外，拜登還接見了亞馬遜和星巴克的工會(huì)組織者。他補(bǔ)充說，由于工會(huì)的存在，“每個(gè)人都變得更好了，包括最終產(chǎn)品”。 8、特斯拉德國(guó)工廠招聘因薪資問題受阻 當(dāng)?shù)貢r(shí)間周一，德國(guó)最大工會(huì)ig metall表示，該工會(huì)收到了特斯拉在格倫海德工廠員工的報(bào)告，他們抱怨工資不足或不平等。 10、蘋果vr指環(huán)專利公開 據(jù)企查查顯示，6月21日，蘋果公司公開專利“可伸展環(huán)設(shè)備”。專利摘要顯示，環(huán)設(shè)備可具有外殼，該外殼被配置為佩戴在用戶的手指上。

轉(zhuǎn)載請(qǐng)注明出處,本站網(wǎng)址：http://m.shenzhen-haerbin.com/news_2475.html