|
新聞中心
當前位置：網(wǎng)站首頁 > 新聞中心
數(shù)據(jù)科學最終遷移到云端的5個原因
在充斥著數(shù)據(jù)的世界中，數(shù)據(jù)科學家為企業(yè)產生洞察力提供幫助，并進行預測，以實現(xiàn)更明智的業(yè)務決策。通常，這些數(shù)據(jù)科學家是統(tǒng)計分析和數(shù)學建模方面的專家，并且精通編程語言，例如R或Python。
但是，除少數(shù)大型企業(yè)外，大多數(shù)數(shù)據(jù)科學工作仍然在筆記本電腦或本地服務器上完成，導致流程低效，容易出錯和延遲。在對于一些行業(yè)領先廠商如何將數(shù)據(jù)用于工作進行調查分析之后表明，“筆記本電腦的數(shù)據(jù)科學”將很快走上恐龍一樣的消亡之路。這是由于其效率低下，不能很好地進行協(xié)作，也無法產生最佳效果。
以下是數(shù)據(jù)科學家應該放棄筆記本電腦或本地服務器，并將其業(yè)務遷移到云端的五個充分的理由。
1.數(shù)據(jù)科學是一項團隊運動
算法和機器學習模型構成了企業(yè)高級分析和機器學習難題的一部分。數(shù)據(jù)科學家、數(shù)據(jù)工程師、機器學習工程師、數(shù)據(jù)分析師和公民數(shù)據(jù)科學家都需要在這些元素上進行協(xié)作，以便為業(yè)務決策提供數(shù)據(jù)驅動的見解。
當數(shù)據(jù)科學家在他們的筆記本電腦上構建模型時，他們會將數(shù)據(jù)工程師創(chuàng)建的數(shù)據(jù)集下載到他們的機器上，以構建和訓練機器學習模型。有時他們會使用本地服務器進行構建和培訓，但通常采用的是筆記本電腦。由于筆記本電腦和本地服務器的處理計算能力和內存有限，數(shù)據(jù)科學家必須對數(shù)據(jù)集進行采樣，以創(chuàng)建更小、更易于管理的數(shù)據(jù)集。雖然這些樣本集可以幫助實現(xiàn)項目，但它們在數(shù)據(jù)科學生命周期的后期階段會產生許多問題。
數(shù)據(jù)過時也成為一個問題。有了這些數(shù)據(jù)的本地副本，數(shù)據(jù)科學家們可能會根據(jù)不準確的全局快照來構建預測。而在核心的云計算使用更大、更具代表性的樣本可以緩解這種擔憂。
2.大數(shù)據(jù)勝過智能算法
最近，人們對人工智能和機器學習的興趣激增，這是由于能夠在大量結構化、非結構化和半結構化數(shù)據(jù)上快速處理和迭代(訓練和調整機器學習模型)。幾乎在所有情況下，機器學習都得益于在更大、更具代表性的樣本集上進行訓練。
企業(yè)可以通過將半結構化交互數(shù)據(jù)(網(wǎng)站交互日志、事件數(shù)據(jù))和非結構化數(shù)據(jù)(電子郵件文本、在線評論文本)與結構化交易數(shù)據(jù)(ERP、CRM、訂單管理系統(tǒng))相結合來解鎖強大的用例。從機器學習中釋放業(yè)務價值的關鍵是擁有結合事務和交互數(shù)據(jù)的大型數(shù)據(jù)集。隨著規(guī)模的擴大，數(shù)據(jù)通常需要在云端或大型內部部署集群中進行處理。將筆記本電腦添加到混合部署中會在整個流程中造成瓶頸，并導致延遲。
3.數(shù)據(jù)科學需要靈活的基礎設施
如今，數(shù)據(jù)科學家可以利用許多開源機器學習框架，如R、SciKit Learn、Spark MLlib、TensorFlow、MXnet和CNTK。但是，在筆記本電腦或本地服務器上管理這些框架的基礎設施、配置和環(huán)境非常麻煩。管理基礎設施的額外開銷會占用核心處理數(shù)據(jù)科學活動的時間。
在軟件即服務模式中，大部分開銷都會消失。云計算的基于使用情況的定價模型對于機器學習工作負載很有效，而機器學習工作負載在本質上是突發(fā)的。云計算還使探索不同的機器學習框架變得更容易，云計算供應商提供模型托管和部署選項。此外，還包括公有云計算服務提供商提供智能功能作為服務，這就減少了將這些功能集成到新產品或應用程序中的障礙。
4.中央存儲庫可提高數(shù)據(jù)準確性和模型可審計性
機器學習模型的預測僅與用于訓練它們的數(shù)據(jù)一樣準確和具有代表性。人工智能和機器學習的每一種表現(xiàn)都可以通過提供高質量的數(shù)據(jù)來實現(xiàn)。例如，提供轉向指示的應用程序已存在數(shù)十年，但由于數(shù)據(jù)量較大，如今更加準確。
因此，毫不奇怪，人工智能機器學習操作的重要部分圍繞數(shù)據(jù)物流展開，即數(shù)據(jù)集的收集、標記、分類和管理，反映了人們試圖通過機器學習建模的現(xiàn)實世界。對于擁有大量數(shù)據(jù)用戶的企業(yè)而言，數(shù)據(jù)物流已經(jīng)很復雜。當數(shù)據(jù)集的多個本地副本分散在這些用戶中時，問題才會變得更加嚴重。
此外，對安全和隱私的擔憂日益成為關注的焦點。企業(yè)數(shù)據(jù)流程需要符合數(shù)據(jù)隱私和安全法規(guī)。所有數(shù)據(jù)集的集中存儲庫不僅簡化了數(shù)據(jù)的管理和治理，還確保了數(shù)據(jù)一致性和模型可審計性。
5.更快的數(shù)據(jù)科學更有利于業(yè)務
所有上述原因都會導致基于筆記本電腦的數(shù)據(jù)科學延遲實現(xiàn)價值。在筆記本電腦或本地服務器上工作的數(shù)據(jù)科學家的典型工作流程中，第一步是對數(shù)據(jù)進行采樣，并手動將數(shù)據(jù)集下載到本地系統(tǒng)，或通過ODBC驅動程序連接到數(shù)據(jù)庫。第二步是安裝所有必需的軟件工具和軟件包，如RStudio、Jupyter Notebook、Anaconda發(fā)行版，機器學習庫和語言版本，如R、Python和Java。
當模型準備好部署到生產中時，數(shù)據(jù)科學家將其交給機器學習工程師。然后，機器學習工程師必須將代碼轉換為生產語言(如Java、Scala或C ++)，或者至少優(yōu)化代碼并與應用程序的其余部分集成。代碼優(yōu)化包括將任何數(shù)據(jù)查詢重寫為ETL作業(yè)，分析代碼以查找任何瓶頸，以及添加日志記錄，、容錯和其他生產級功能。
這些步驟中的每一步都存在可能導致延遲的瓶頸。例如，開發(fā)和生產環(huán)境之間的軟件或軟件包版本的不一致可能導致部署問題。在Windows或Mac環(huán)境中構建的代碼在部署到Linux時肯定會中斷。
在筆記本電腦上運行數(shù)據(jù)科學的所有上述問題都會導致業(yè)務價值的損失。數(shù)據(jù)科學涉及數(shù)據(jù)準備、模型構建和模型驗證中的資源密集型任務。數(shù)據(jù)科學家通常會重復數(shù)百次嘗試不同的特性、算法和模型規(guī)范，然后才能找到他們要解決的業(yè)務問題的正確模型。這些迭代可能需要大量的時間。圍繞基礎設施和環(huán)境管理、部署和協(xié)作施加瓶頸可能進一步延遲企業(yè)實現(xiàn)價值的時間。
依靠筆記本電腦或本地服務器的數(shù)據(jù)科學家們在容易入門和易于擴展和生產電離機器學習模型之間做出了一個不明智的權衡和選擇。雖然在使用筆記本電腦或本地服務器時，數(shù)據(jù)科學團隊的運行速度更快，但云計算平臺提供了更大的長期優(yōu)勢，其中包括無限制的計算能力和存儲、更容易的協(xié)作、更簡單的基礎設施管理和數(shù)據(jù)治理，最重要的是，生產時間更快。
在云端開始使用數(shù)據(jù)科學和機器學習的最快和最具成本效益的方法是使用基于云計算的數(shù)據(jù)科學和機器學習平臺。至少在這個用例中，筆記本電腦的未來發(fā)展是有限的。
|
