『壹』 100萬年薪的演算法工程師在能力素質模型上有哪些差距
100W及以上的演算法工程師,基本屬於科學家了,大多數在這個領域的知名公司擔任leader的角色。知乎這樣的人其實挺多的,保護別人的隱私,我也不一個個艾特出來。這些人大多是名校博士,導師在業界非常有名。博士期間發表了很多頂會論文,拿過Google PhD fellow/Microsoft Fellow,或者做出了非常有影響力的工作。比如今年姚班的陳立傑和范浩強。眾所周知,學術是一個圈,而且還是一個挺小的圈;往往一個方向最好的幾家實驗室,還彼此認識,關系不錯。工業界雖然是誰行誰上,但演算法方向畢竟偏學術,特點非常接近學術界,帶有圈子屬性。現在演算法人才不僅貴,而且難招。大公司跟名校建立合作關系,請學術大佬來當首席科學家,他的博士也全都打包過來;創業公司利用自身的人脈關系,比如face++能招到不少清華優秀學子(創始人清華姚班),商湯科技招了很多香港中文大學的博士(創始人香港中文大學教授)等等。
『貳』 大數據工作都做什麼。我對大數據感興趣,想從事這方面的工作,但是不知道他具體是要做什麼。求解~~
大數據相關工作崗位很多,有大數據分析師、大數據挖掘演算法工程師、大數據研發工程師、數據產品經理、大數據可視化工程師、大數據爬蟲工程師、大數據運營專員、大數據架構師、大數據專家、大數據總監、大數據研究員、大數據科學家等等。
數據分析師:
工作內容:
a.臨時取數分析,比如雙11大促活動分析;產品的流量轉化情況、產品流程優化分析,等等;
b.報表需求分析--比如企業常見的日報、周報、月報、季報、年報、產品報表、流量轉化報表、經營分析報表、KPI報表等等;
c.業務專題分析:
精準營銷分析(用戶畫像分析、營銷對象分析、營銷策略分析、營銷效果分析);
風控分析(策略分析,反欺詐分析,信用狀況分析);
市場研究分析(行業分析、競品分析、市場分析、價格分析、渠道分析、決策分析等等);
工具和技能:
工具: R、python、SAS、SPSS、Spark、X-Mind、Excel、PPT
技能:需掌握SQL資料庫、概率統計、常用的演算法模型(分類、聚類、關聯、預測等,每一類模型的一兩種最典型的演算法)、分析報告的撰寫、商業的敏感性等等;
數據挖掘工程師:
工作內容:
a.用戶基礎研究:用戶生命周期刻畫(進入、成長、成熟、衰退、流失)、用戶細分模型、用戶價值模型、用戶活躍度模型、用戶意願度識別模型、用戶偏好識別模型、用戶流失預警模型、用戶激活模型等
b.個性化推薦演算法:基於協同過濾(USERBASE/ITEMBASE)的推薦,基於內容推薦,基於關聯規則Apriot演算法推薦,基於熱門地區、季節、商品、人群的推薦等
c.風控模型:惡意注冊模型、異地識別模型、欺詐識別模型、高危會員模型、
電商領域(炒信模型、刷單模型、職業差評師模型、虛假發貨模型、反欺詐模型)
金融領域(欺詐評分模型、徵信評分模型、催收模型、虛假賬單識別模型等)
d.產品知識庫:產品聚類分類模型、產品質量評分模型、違禁品識別模型、假貨識別模型等
e.文本挖掘、語義識別、圖像識別,等等
工具和技能:
工具: R、Python、SAS、SPSS、Spark、Mlib等等
技能:需掌握SQL資料庫、概率統計、機器學習演算法原理(分類、聚類、關聯、預測、神經網路等)、模型評估、模型部署、模型監控;
數據產品經理:
工作內容:
a.大數據平台建設,讓獲取數據、用數據變得輕而易舉;構建完善的指標體系,實現對業務的全流程監控、提高決策效率、降低運營成本、提升營收水平;
b.數據需求分析,形成數據產品,對內提升效率、控製成本,對外增加創收,最終實現數據價值變現;
c.典型的大數據產品:大數據分析平台、個性化推薦系統、精準營銷系統、廣告系統、徵信評分系統(如芝麻評分)、會員數據服務系統(如數據縱橫),等等;
工具和技能:
工具: 除了掌握數據分析工具,還需要掌握 像 原型設計工具Auxe、畫結構流程的X-Mind、visio、Excel、PPT等
技能:需掌握SQL資料庫、產品設計,同時,熟悉常用的數據產品框架
數據研發工程師:
工作內容:
a.大數據採集、日誌爬蟲、數據上報等數據獲取工作
b.大數據清洗、轉換、計算、存儲、展現等工作
c.大數據應用開發、可視化開發、報表開發等
工具和技能:
工具:hadoop、hbase、hive、kafaka、sqoop、java、python等
技能:需掌握資料庫、日誌採集方法、分布式計算、實時計算等技術
『叄』 如何成為一名合格的演算法工程師
BAT企業的演算法工程師是這樣工作的:問題抽象、數據採集和處理、特徵工程、建模訓練調優、模型評估、上線部署。(具體操作可以看阿里演算法專家chris老師的演算法工作流視頻演算法工作流是怎樣的?)而一個演算法工程師真正值錢的地方在於問題抽象和上線部署這兩個。