13518219792
隨著工具和基礎設施的成熟，應用人工智能不斷加速發展。將這些基礎設施與強大的人才庫和熱情、隨時可獲得的資本以及客戶采用人工智能 / 機器學習的高度意愿結合起來，你就有了一些特別的東西。我們正在邁向一個新的十年，在這個十年里，人工智能 / 機器學習將以更快的速度為消費者和企業創造真正的價值。
定義術語
應用人工智能 ：任何與將人工智能研究從實驗室帶到用例，以及兩者之間的一切有關的事情。從基礎設施和工具，到硬件，到工業中的部署面，再到模型本身，從人工智能研究的前沿到用例，都需要共同努力才能取得尖端進展。在我們這個領域中，成熟度的一個很好的檢驗標準，就是看一個新的進步從紙上到生產所需的時間。就在幾年前，你還可以瀏覽該領域的一些主要進展，并努力尋找真正的用例；這種情況正迅速開始改變。
一些選擇例子：
神經網絡研究實現自動駕駛汽車（Tesla、Cruise、Waymo 等）。
像 BERT 和 GPT-2/3 這樣的自然語言處理改進了搜索和助理（Google Search、Siri、Google Assistant、SoundHound、Clinc）。
強化學習幫助許多公司實現人工智能在工業機器人領域許下的崇高承諾（Covariant、FogHorn、Rethink）。
用于欺詐檢測和消費者結果的機器學習幫助銀行、信用卡和貸款機構限制欺詐和管理風險（銀行、信用卡、Verifi、Ravelin、Stripe 的反欺詐部門）。
生成對抗網絡可以生成新鮮的內容、逼真的面孔并提高照片質量（generated.photos、rosebud.ai、RunwayML）。
從研究到生產，需要的遠不止是一個模型。要使這些東西發揮作用，需要在研究和工程兩方面的努力齊頭并進。它需要硬件，需要可擴展的主機，需要 DevOps，需要強大的數據科學，等等。值得慶幸的是，越來越多的初創公司正在為每個構建塊構建解決方案，隨著越來越多的工具開源，大公司（如 Uber 和 Netflix）也加入其中。
我們將會記住那些發明了新模型的全明星人物們，但是那些將其全部轉化為生產代碼的工程師們，那些為你創建下一個數據集的標注員們，以及那些聲嘶力竭地反對違反安全和人權的抗議民眾，都應該記住他們在這一領域所做的貢獻。
為什么是現在？
我們看到人工智能用例的巨大機會正在各個行業涌現。隨著工具和基礎設施的成熟，任何可以編寫幾行代碼的人，都可以獲得新機會。無論是對現有市場的破壞，還是對新市場的創造，都是由采用驅動的。
我們已經看到機器學習在搜索引擎、信用卡欺詐檢測、智能手機攝像頭以及現代市場的激增。隨著傳統公司投資于使用機器學習來擴充他們的產品和流程所需的工具和團隊，我們開始看到越來越多的 企業采用 這一方法。
在本文中，我們不僅將介紹人工智能是如何使我們喜愛的產品和特性在數字世界中得以實現的，還將探索應用人工智能是如何改變工作流程、創造新機會，以及如何在制造業、建筑業、供應鏈和商業領域等解放勞動力的。我們將深入探討這一領域的當前趨勢，同時也會對事物的發展方向持某些立常
通常，我們可以識別出由某種新技術或新事件促成的創新浪潮。在過去的十年里，我們看到了人工智能的拐點，將我們從一堆炒作變成了真正的用例，從而推動了整個行業的價值。
那么，為什么現在是人工智能 / 機器學習新一波價值浪潮的拐點？
工具和基礎設施的成熟
規?；柧毢头盏目杉靶?/p>
作為 API 的大型模型
繼續獲得風險資本、研究資助和政府利益
工具和基礎設施的成熟
隨著實踐、工具和基礎設施開始成熟，可及性也在顯著增加。在基礎設施和工具方面，高級團隊或大型開放元嗎工作仍然是常態。在實際應用中，我們看到了由初級工程師、初出茅廬的統計學家和企業家創建的成功初創公司，他們愿意在泥沙中篩選，以使他們的應用發揮作用。同時，也請向那些有意參與這一波機會浪潮的 MBA 們問好。
此外，人才的涌入、更好的課程和培訓計劃，以及整個運動背后的大肆宣傳，使得聘請一名優秀的數據科學家或機器學習工程師不再是一項外層空間的任務。正因為有了更好的工具，數據科學家和機器學習工程師才可以做得更專業、更深入，而且非常高效。而且，大多數 MVP 可以用現成的模型或者使用 Scikit-Learn、Keras 之類的美觀且易于訪問的庫來構建。我們可以開 clf.fit() 的所有玩笑，但事實上，只需幾行代碼就可以構建出真正有價值的實際模型，這是一件好事。當一個領域的自身成員開始炮轟所有的“冒牌工程師”和“假數據科學家”時，他們真正想說的是“ 我很惱火，以前我需要幾周才能完成的工作，現在小菜鳥只用幾個小時就能做出來，豈有此理！”
而硬件的獲取，不再是一個障礙。對于有進取心的個人來說，有大量的免費計算時間可用。早期的 MVP 以前可能需要一些引導或天使的幫助，大多數非研究性的想法都可以起步，主要的障礙因素是數據的獲齲這是一件 非常好的事情 。值得慶賀的是，訓練模式的主要障礙不再是小眾技能或訪問昂貴的基礎設施了。
我們目睹了圍繞少數核心產品的基礎設施正在全面整合。AWS、GCP 和 Azure 在這一波浪潮中顯然是贏家，NVIDIA 和 Intel 的硬件占據了數據中心的主導地位。我們也看到一些公司涌入這個領域，采取更多利基方式，比如更清潔的訓練 + 部署（參見 Paperspace 和 FloydHub）。
顯然，我們都非常熟悉 TensorFlow、PyTorch、Scikit-Learn 和其他主要建模工具。在整個行業中，我們看到了對于大多數建模工作流，Jupyter 和各種克隆版本繼續占據主導地位。在數據科學家繁重的工作流和機器學習工程師的工作流之間也存在明顯的分歧，機器學習工程師們將時間花在 IDE 的選擇上，而建模工程師則將更多的時間花在 Jupyter，以及像 Colab、Deepnote、Count 等具有特定優勢的項目上。
這些工具仍然是生態系統的核心。但是在過去的五年里，大的推動因素也許是部署和服務。Docker 和 Kubernetes 仍然是生態系統的核心，而許多工具也加入了他們自己獨特的價值支柱。Kubeflow 正在迅速獲得人氣，而 TensorFlow 服務、MLFlow、BentoML、Cortex 和其他公司也在爭奪類似的市場份額，他們試圖通過使所有建模工程師能夠以最小的努力使其模型投入生產。“只需幾行代碼即可部署模型”是許多項目的口號。易于部署對于獲得客戶非常重要；可擴展性和維護性是長期留住客戶的關鍵因素。
這種創新是意料之中的，因為一般的數據科學家和不太注重工程的機器學習工程師可能不太愿意在 DevOps、容器編排、擴展等方面耗費太多的時間。而且，許多團隊在組建他們最初的核心團隊時，都沒有雇傭大量的工程人才。因此，里程可能會有所不同。
我傾向于將機器學習的研究工作大致分為以下幾個階段來看待。過去，我們被迫自己構建許多這樣的階段，或者完全忽略某些步驟（比如混亂的版本控制、不存在的 CI、手動擴展、只有在模型被明顯破壞時才進行維護等）。值得慶幸的是，許多團隊正在努力簡化我們的生活，幾乎每一步都是如此：
數據管理、模式、數據集版本控制
模型定義、訓練和評估
序列化、服務化
部署、CI/CD 和模型版本控制
監控和維護
在某些情況下，上述工作是相互獨立的。但在其他情況下，同一個工具也可以處理流程中的多個步驟。例如，我們可能會看到一個用于服務的工具也可以輕松地處理序列化。在其他情況下，用于訓練的庫可能與序列化（pickle、joblib、dill、onnx 等）緊密集成。生態系統中有趣的部分是，工具是如何成熟到這樣一個程度的，以至于你可以擁有像 BentoML 這樣的全套服務工具，但如果需要的話，你也可以有很多其他選項，進行額外的定制。更多偏重于工程的團隊可能不會花時間去使用 Bento、Cortex 或其他服務，這些服務是為技術含量較低的用戶準備的。而我個人喜歡 BentoML 和 Cortex 這樣的工具，因為它們為我們的小團隊節省了大量的時間。MLOps 還有很長的路要走。
看起來我們最缺的就是監控和維護這一塊。
Christopher Samiullah 很好地總結了 這一點。
很明顯，這份列表非常偏向于我過去曾使用過的工具，或者我正在積極使用的工具。一些不是機器學習專用的工具被排除在外。例如，雖然 Airflow 是許多工作流的關鍵部分，但在這種情況下被排除在外。此外，你還將看到對 Python 生態系統的明顯偏見，這可能會讓一些人對此感到懊惱。我們還排除了數據庫、版本控制等。顯然，數據收集和清理是我們工作流的核心，但這個過程的大部分對軟件工程來說并不新鮮，況且在別處的介紹比我在本文所講的要深入得多。我們主要討論建模工程師和機器學習工程師之外的工具，而不是數據工程師、分析師或商業智能重數據科學工作流。
作為 API 的大規模通用模型
讓我們來談談 GPT-3 的操作。比起 GPT-3 的成果，我可能并沒有那么多興致，但對這個方法作為其他行業的典范，我卻更感興趣。
我們似乎正在為大和（通用）模型的軍備競賽做準備。這種規模的計算，對于較小的公司和初創公司來說是不現實的。更小的努力將有利于聰明的優化和研究，推翻越來越多的計算問題。兩者的結合在這里似乎是明顯的贏家，我預計，領先的建模工作將圍繞著一小批擁有巨額資金的公司進行全面整合，這些公司負擔得起所需的算力和研究資金。然后，我們將看到一些占主導地位的公司為這些模型提供服務，這些模型是空開的，無需高度專業化的數據即可工作。這些用例可以在全球范圍內被各種產品使用。讓我們想象一下。
未來應用人工智能對關鍵參與者的潛在整合。
GPT-3 就是這種趨勢可能走向的一個很好的例子。在短短的幾周內，已經有幾十個出色的用例使用了 Open AI API。
在整個生態系統中，我們也看到了類似的努力。這種開發模式并不僅限于自然語言處理領域。從長遠來看，少數專注于軟件 / 硬件的自動駕駛初創公司可能會讓那些不想自己研發的公司趕上那些想自己研發的公司。一個公司能夠在不進行研發的情況下利用這些巨大的努力，這是一個重大的勝利。預計將會看到以服務形式提供的各種模型。大規模的模型將會推動大部分創新，越來越小的蛋糕將被越來越多的小眾玩家瓜分。隨著模型在泛化方面越來越出色，預計對定制建模工作的依賴程度將會越來越低。而且，這些特定于業務的用例與其說是在優化模型，不如說是在收集特定于應用程序的數據集。數據主宰著我們身邊的一切。
在（傳統）公司的部署
許多“有圍墻的花園”將會因為半私有 API 提供安全保障的缺乏而反對。對于那些能夠優化大型模型、壓縮模型并使不斷增長的數據湖易于管理的公司來說，這是一個巨大的機遇。很難相信，傳統公司都會要求部署超過 1750 億個參數的新一代模型。但是，請不要將他們遺忘。
當我們將 PII 引入到這個混合體中，事情就開始變得特別有趣。當你提出讓公司將他們的數據從其內部網絡發送到某個新的、時髦的 API，卻遭到那幫人指著你的臉嘲笑，千萬不要對此感到驚訝。只要計算和存儲仍然是一項開支，那些能夠壓縮模型并從較小的模型中得到類似結果的公司，將會保持自己存在的價值。訓練和服務的成本將持續大幅削減，但部署成本可能仍然相當高。人工智能公司的利潤率仍然低于傳統的 SaaS 公司，這在很大程度上是由于這個原因。
“有趣的是，我們在人工智能公司的財務數據看到了一個出乎意料的一致模式，毛利潤率往往在 50%~60% 的范圍內，遠低于類似 SaaS 企業的 60%~80% 以上的基準。”
a16z
不要低估小數據
擁有數十億個參數的大型模型將繼續受到熱棒。而海量的數據集將繼續推動這些被炒作的模型。在現實的工業中，較小的模型在很多用例是必不可少的。在構建邊緣場景時，你將面臨兩個核心決策：
較小或壓縮的模型（即 TensorFlow Lite）
遠程連接以進行計算
我們可以使用 TensorFlow Lite 等解決方案部署到邊緣設備。Hailo、Kneron 和 Perceive 等公司正在為邊緣和消費設備提供更好的硬件。硬件創新的步伐可能會超過小型模型的需求。
當遠程連接是一項選擇時，我們總是可以考慮執行芯片外計算，盡管存在很多障礙和常見的限制，如連接問題和計算時間。在像制造業這樣的環境中，這可能是可取的，因為由于過程的穩定性，連接性可能具有更高的保證。我們已經目睹，在安裝遠程控制系統的地方，5G 工廠如雨后春筍般涌現。無線傳感器以無線方式與控制系統通信。不言而喻，遠程推理將是這一轉變的一部分。還有很多用例，我們可以在這些用例中提交數據、完成其他任務，并在下游任務使用我們的計算結果。讓我們想一下制造業，你可以在上游拍攝產品照片，執行轉換，然后在下游對產品進行質檢。這顯然不是自動駕駛這樣的實時場景中的選項。
小數據也極具吸引力。為了成功進行概念驗證，我們可能會容忍大量的 Type 1 錯誤，這取決于行業和用例。傳感器通常也可能具有侵入性，因此，我們收集數據的時間越短越好。以 Instrumental 公司為例，該公司希望通過最少的例子來解決制造質量問題。
所以，不要低估小數據！
獲得資金
風險資本，尤其是風險投資，仍然是未來創新的主要把關者。值得慶幸的是， 在資助人工智能企業的方面，渠道是敞開的。附帶提一句，企業數據業務也得到了健康的發展，無論從輪數規模還是看純輪數的量都是如此。
對于普通的構建者來說，啟動機器學習業務變得越來越容易。一個粗略的登錄頁面，訪問 GPT-3（或任何其他預訓練模型），一些云計算積分，以及一兩條聰明的推文，將讓你得到構建和測試概念驗證所需的一切。
話雖如此，任何一個還算不錯的 PoC 都能很快得到風險投資的資金，因此，大多數人很快喪失自我創業并實現盈利的雄心。這樣說是有充分理由的。融資的輪次結束得更快，越來越多的天使基金和微基金使種子前輪和種子輪的資金流動更快。
企業風投（Google Ventures、Salesforce Ventures、Samsung Ventures、Intel Cpital 等）在應用人工智能和一般數據科學領域也非常活躍。這也說得通，因為在企業內部開發這些東西很困難。但風投公司可以幫助母公司找到與他們投資的人工智能初創公司的協同效應。一些高管仍然認為人工智能是一個高風險的賭注，不值得為此專門建立一個組織。如果他們改變主意的話，這些對人工智能初創公司的投資不僅為他們提供了一種潛在方式，使他們可以利用自己錯過的新技術，而且也可以作為一個健康的人才來源，要知道，在這一行業中，人才的獲取并不總是那么容易。請看看 Intel Capital 等企業風險投資公司最近的投資， 你會發現，人工智能和一般的企業數據公司的交易流起伏不定。
跨技術的機遇
計算機視覺的進步促成了自動駕駛革命、制造業的突破，以及更多。自然語言處理的進步改善了搜索、翻譯、知識理解等。我們最近才開始意識到強化學習的可能性、生成對抗網絡的潛力，等等。
讓我們來探討一下特定技術方法中的一些機會。之后，我們將以特定行業的方式來探討機會。觀察初創公司可能會做出的選擇，即創建一個廣泛的技術解決方案與將他們的技術解決方案應用于特定行業，這是一件很有意思的事情。
這些絕不是詳盡無遺的清單，甚至都不敢說已經觸及了表面。然而，它們應該能夠起到啟發的作用，讓你有一個更高層次的全景觀。為簡潔起見，我們有意跳過了遞歸神經網絡（Recurrent Neural Network，RNN）、自動編碼器和某些其他模型。
計算機視覺
關鍵技術和流行語 ：卷積神經網絡（CNN）、Dropout、目標檢測（分類 + 定位）。
前沿用途 ：分類、場景理解、跟蹤、運動、估計、重建。
優勢產業 ：汽車、醫藥、軍事、攝影。
樣本公司 ：Cruise、Cognex。
自然語言處理
關鍵技術和流行語 ：GPT、BERT、DistilBERT、XLNet、RoBERTa、Transformer-XL。
前沿用途 ：語音識別、文本生成、語言理解、翻譯、問答系統。
優勢產業 ：很難想象還會有自然語言處理不能發揮某種作用的企業。（雖然我不是自然語言處理主義者?。?/p>
樣本公司 ：Open AI、HuggingFace。
強化學習
關鍵技術和流行語 ：馬爾科夫（Markov）決策過程、時序差分學習、蒙特卡洛（Monte Carlo）、深度強化學習、Q- 學習。
前沿用途 ：游戲、市嘗控制、日程安排劃。
優勢產業（相對未使用） ：機器人技術、市場與經濟、工業自動化（機器人技術的主要用例）。
樣本公司 ：DeepMind、Open AI、Covariant。
生成式網絡
關鍵技術和流行語 ：變自編碼器（Variational Autoencoders，VAE）、生成對抗網絡、CycleGAN、DCGAN、cGAN、StyleGAN、生成器、鑒別器、博弈論。
優勢產業 ：創意與媒體、建模、攝影、視頻。
樣本公司 ：RunwayML、Rosebud.ai、Generative.photos。
跨行業的機遇
每個行業都會從應用機器學習中獲益。金融業在很大程度上解決了欺詐問題，制造業解決了一些傳統控制無法解決的自動化領域迫在眉睫的問題，電子商務繼續從推薦系統發展而來。所有領域的顛覆時機已成熟。下面是樣本行業中一些有趣的用例和公司。
制造業
關鍵技術 ：計算機視覺、強化學習、過程優化。
用例 ：質量保證、工業自動化、流程改進、預測性維護。
樣本公司 ：Covariant、Instrumental、FogHorn Systems（此外，Siemens、Rockwell、Cognex 等老牌公司也在積極投資并進行自己的研發，以起到防御作用。
商業
關鍵技術 ：推薦系統、欺詐檢測、訂單匹配、個性化。
用例 ：質量保證、工業自動化、流程改進。
樣本公司 ：Amazon 的推薦王國是最明顯的例子，像 Uber 這樣的大型實時市場通過動態定價和路由優化實時匹配，像 Stripe 和 Square 這樣的支付平臺依賴于欺詐檢測。
醫學
關鍵技術 ：計算機視覺、排序、遞歸神經網絡和長短期記憶網絡、強化學習。
用例 ：X 射線和其他成像的分類、藥物發現、基因組學、大腦圖譜（還有更多！）。
樣本公司 ：Insitro、Sophia Genetics、Flatiron Health、Allen Institute（非營利組織）。
自動駕駛
關鍵技術 ：計算機視覺、目標檢測、語義分割 / 場景理解。
用例 ：自動駕駛。
樣本公司 ：Tesla、Waymo、Cruise，還有很多公司。
建筑業
關鍵技術 ：計算機視覺。
用例 ：機械的安全、制圖、可視化、自主性。
樣本公司 ：Intsite、Kwant、Buildot。
創意與媒體
關鍵技術 ：自然語言處理、生成對抗網絡、計算機視覺。
用例 ：文本生成、視頻生成、歌曲和故事寫作、助理、語音生成、建模、Deepfake。
樣本公司 ：RunwayML、Rosebud、Persado。
軍事和國家監控
關鍵技術 ：我們不應鼓勵人工智能軍備競賽。
用例 ：我們不應鼓勵人工智能軍備競賽。
樣本公司 ：我們不應鼓勵人工智能軍備競賽。
能源
關鍵技術 ：計算機視覺、強化學習、流程優化。
用例 ：預測性維護、網格優化。
樣本公司 ：Stem、Origami、Infinite Uptime。
金融
關鍵技術 ：自然語言處理、異常檢測、傳統機器學習。
用例 ：自動化銀行體驗、欺詐檢測、個性化、風險管理、財富管理、交易。
樣本公司 ：Ravelin、Tala、Verifi、Suplari、各大銀行及其服務提供商 Quantopian。
作者介紹 ：
Luke Posey，Spawner.ai 的創始人。寶潔公司前人工智能總監?，F為 Dataset Daily 的專欄作者，撰寫關于人工智能 / 機器學習、數據和其他主題的文章。
來源： Towards Data Science
