轉載於科技島：
AI 系統該放雲端還是地端？企業有這 3 種財務考量｜專家論點
如何利用雲端和 AI 優化製造流程？技術考量｜專家論點
最近有位客戶問我，他的團隊為資料科學家建置機器學習相關系統建置與營運，而團隊常面臨的挑戰，是要面對各種來自使用者的需求和資安的相關規定，於是他提問：業界通常都怎麼做，才能既達成用戶需求同時提高效率？聽說很多公司都流行上雲，究竟雲端跟地端間有什麼差異，應該如何選擇？
快速連結
機器學習是什麼?
機器學習（Machine Learning），是人工智慧的一種。指的是讓機器自主學習，甚至舉一反三的演算法。經過訓練後的機器能從一堆數據中找出規律並做出預測，當輸入的數據越來越多，演算法也會持續的調整，並做出更精準的分析。
例如：社交平台會根據我們過往的觀看、或者點讚紀錄，來預測我們喜歡的貼文類型，並為我們加上喜好標籤，日後就會優先做相關貼文推送。
而當這些資訊越累積越多，社交平台便能根據這些紀錄來調整演算法、貼上更全面的喜好標籤、劃出消費者輪廓、並做出更精準的預測。
導入機器學習有什麼好處?
許多新技術得以發展，不外乎是想要用更少的力氣，創造更多價值。在談到機器學習的商業運用價值時，主要分為兩大項，首先是提升獲利，途徑包括機器學習可提高產能、推動新產品或新服務，或是提高客戶黏著度。第二點是可降低成本，透過優化流程來改善效率。
我們接著看機器學習在製造業可以透過哪些場景達成目標。
在製造業有哪些應用場景?
整個產品製造流程，可以概述分為設計、排程、製造、供應鏈管理和售後服務等。這篇文章主要談的是，在製造過程中，如何利用機器學習來降低出錯率，進而提升產能。
如果對更多應用有興趣也可以參考Azure for manufacturing
選擇設於雲端或地端的財務分析
在考量是否採用雲端架構時，財務是一個不能忽略的關鍵因素。針對成長型、成熟型、保守型的客戶各自有不同考量，舉例來說：
成長型企業重視營收成長
成長型企業重視的是如何能繼續壯大，使自家產品獲更多人採用，這點得仰賴投注更多人力和資金。此外，為了說服投資人，以取得更多資金，在估值方面，營收表現也扮演著重要角色。
舉例來說，像Shopify這類新創公司，需藉由擴展營業據點來服務更多客戶，同時也要不斷投入新功能研發，以和競爭者有所差異，因此得藉由持續融資來支撐。這時投資人也會將營收成長率納入考量依據，決定是否出資及投資金額。
這時候的企業應該花最多的心思在業務拓展，而不是煩惱跨國或者跨洲的 IT 規劃。此時雲端運算廠商在全球皆有佈局、設置資料中心的特性，便成為成長型企業的好夥伴。
成熟型企業重視毛利率
成熟型企業在獲利模式上已有自己的一套方法，年銷售量也逐漸趨於穩定。企業重視的是如何能在既有市場環境維持利潤。
以鴻海為例，當所生產的電子零件銷售達到非常穩定的程度，在意的就是如何維持成本。由於雲端運算非固定成本的特性，可以幫助成熟型企業在營收減少的同時，也減少成本，進而維持毛利率。
保守型企業需要手頭上有充裕現金
以保守型企業來說，風險管理相當重要，期望手上有充裕現金準備，才能應付大環境帶來的可能改變，並讓公司繼續拓展業務，進而穩定營運。
舉例來說，新冠肺炎疫情造成許多行業無法像往常一樣，有各種營業活動來產生收入，這時若正好碰上客戶的應付帳款沒有及時入帳，或廠房租賃等固定成本支出，就很有可能沒有足夠資金來支付薪水，造成營運危機。
此時雲端運算所帶來的資本支出轉營業費用，便能夠幫助保守型企業保留現金。
選擇設於雲端或地端的技術分析
除了財務指標，企業對於上雲與否的考量，也可從技術面向探討：
彈性
傳統 IT 支出是固定成本，在最一開始計算所需要運算能力和儲存空間時就需要完整規劃。隨著各種季節性或者非常態的需求出現，資訊部門往往需要超前部屬數年的時間，以因應業務單位的需求，如此一來便成空間或者金錢的浪費。
舉例來說，世界盃足球賽開踢的時候，全球運營商無不增添各種機器設備以因應廣大的收看需求，但等賽季過後，這些資源反倒閒置在旁，造成浪費。
這時候如果能夠使用雲端服務，便可大幅增加彈性，用多少算多少。將機器或者服務在每一天、甚至每一小時的效益發揮到極致。除了賽事轉播之外，各大電商的購物節、製造業的急單等也都是一樣的道理。
快速回應市場
不管是大型企業或新創公司，要在日新月異的環境生存，都必須具備快速回應市場的能力。舉例來說，當企業需要拓展海外據點，與其從土地、建築、水電等方面開始規劃架構機房，並進行伺服器、儲存空間等比價，不如直接向雲端服務商租用相關設備，可以加速時程。
資訊安全
許多企業客戶習慣把資訊安全的重責大任放在自己肩上，但其實現今雲端廠商每天面對各種駭客測試攻擊，早已發展出完整的團隊來專門應對，相關解決方案的研發也不斷推陳出新，目的就是要讓資料從身份驗證、資料傳輸、應用程式各方面都得到保護。
假設會習慣將黃金、珠寶等珍貴物品存在銀行保險箱中，委託專業機構來管理，面對重要的企業資料保存議題，也應該用相同思考方式來看待。
案例分享
最近幫一位企業客戶將機器學習平台搬往雲端，在訪談過程中，我發現客戶正面對以下挑戰：
經營面的挑戰
目前製造業面對「少量多樣化」的巿場需求，有別於過往規模經濟下，產能高就是獲利保證的情況，現在需要針對特定客戶，製造特殊產品以符合需求。
為了保持競爭力，產線變得更忙了，卻因為良率和換線時間等因素，不見得能取得更高利潤。此外，客戶也積極尋找創造新服務的機會來增加營收，無論從生產經驗到資料，都期待能為企業創造多元收入。
技術面的挑戰
儘管有了提高產能、創造新服務等明確目標，卻因為一些技術問題卡關。首先是企業內因為長年累積造成資料量龐大，並且種類繁多，需要取得這些資料就花上不少時間，而且不見得能取得足夠的資料。
其次是企業自行開發機器學習平台後，不僅維運不易，多系統間的資安卡控必須搭配內規作嚴謹的設計。同時間，又要考量如何與內部資訊共享，以避免重複工作。
最後，礙於多年以前所規劃的伺服器和個人電腦算力，早已不符現實所需，得出結果到調整產線可能已經是數周後的事情。
雲端解決方案怎麼幫助客戶?
團隊耗費大約三個月時間進行整體架構規畫，將專案再區分成不同的小專案，由不同架構師、合作夥伴及客戶端工程師協作完成。整個方案主要使用Azure平台上面的各種資料服務，包含 Data Lake、Synapse、Databricks與機器學習服務。
首先，將數十 TB 的 telemetry data，從地端資料倉儲中搬運到雲上．然後把散落於不同來源的資料，如 Oracle和SQL中的資料也搬上來。
同時，架構師也跟資料科學家緊密合作，將資料使用於 Databricks 及 Azure Machine Learning 中。針對可直接呈現、不需要再運算的資料，也利用Power BI呈現。
更進一步的說明如下圖架構所示，使用C# 整合 Azure Storage，將檔案依 size 分割，同步平行上傳。接著，使用 Polybase 建立外部資料表為了後續資料載入做準備。
根據需求，使用 Databricks 來清理和轉換資料，並儲存在 ADLS Gen2，其後便可以利用 Databricks 和 Synapse 之間的原生連接器，大規模存取和移動資料集。
最後，將測試過的模型用 Azure Machine Learning Service 和Container Registry進行容器化和部屬。另外，也可利用Azure Analysis Service和 Power BI 做視覺化呈現。
成果
專案目前已經上線，在經過我們訪談後整理出以下讓使用者最有感的成果：
首先是使用者體驗更順暢。過去當資料科學家想要製作模型時，為了因應公司內規要求，需要先申請資料權限，再從自己電腦上完成分析，而如果途中發現資料有缺誤，就需要重新申請。
整個分析和模型建立完成後，也需要另外申請讓模型上線。在使用了建置在雲端上的機器學習平台後，科學家可以一氣呵成，在同個平台上自行撈取需要的資料、進行分析、並把成果上線。
其次是整體所花時間大幅下降。過往需要等待從地端資料倉儲提取資料到個人電腦的時間，分析資料和建立模型的時間也受到個人電腦運算能力的限制，導致整個流程需要數天的時間才能完成
。現在，受惠於雲端平台上已經開發好的資料串接功能和無限算力，科學家可以大幅地將花費時間從數天變成數小時，進一步幫助產線在發現良率下降的原因後，快速反應、節省修正時間、提升產能。
使用者可以使用更多樣化的資料、得到更全面的分析。廠內因為運行多年，資料經常散落在各種資料來源、有不同的格式，譬如網頁服務、資料庫、虛擬機器等，而現行平台可以將全廠所有站點資料串接，進行分析。
除此之外，雲端上也提供各式各樣的服務是過往使用者們想像不到的，這些都幫助企業可以對自己的資料有更全盤的了解、更輕鬆地分析。
最後，客戶也表示，近年來隨著數位轉型、大數據、人工智慧的興起，員工們也更重視是否能在工作上學習到新技術，和全球接軌。導入雲端運算平台也幫助企業在人才招募和培訓上得到更好效果。
下一步
在專案進行中客戶不只一次跟我們談到希望能把廠區的即時資料，包含設備、環境、遙測等數據納入分析。除此之外，也可以結合業務資料，進行資料治理，而打造共同資料平台（Common Data Platform）。
上雲碰到的挑戰
回顧整個專案的執行過程，其實碰到不少挑戰，主要包括以下幾點：
Job 和 Script 改寫
客戶自家的資料倉儲由於已運行多年，有不少 job 和 script 需要改寫，加上原本運作的開源資料倉儲解決方案在國內有能力負責維運的廠商並不多，因此我們花了不少時間和心力，著手重寫和調整。
平行運算的概念轉換
在地端的 python，有許多程式撰寫不是為平行運算而設計，而為了享受雲端上平行運算的能力，必須改寫。這部分在教育訓練和驗證方面，需花費不少心力。會寫Python，不見得熟悉Spark，這屬於工具的使用和熟練度，是只要從單機成長到多節點需要熟悉的。
使用者需要抽出時間來學習新東西
製造廠的工程師通常都非常忙碌，大部分的工作時間已經被各種事務佔據，譬如跨部門合作開會、良率分析、報廢分析、改善方案評估、系統開發等等，需要另外花時間再學習一套新的工具，非常辛苦，因此可能導致工具很完整，但工程師能夠使用的功能有限。
資料上傳速度取決於頻寬
我們也計算了在整個專案當中，若將資料搬上雲所需要的時間，主要取決於頻寬。如果專案時程急迫，也可參考Azure Box，這是可以將資料放在大型硬碟中，直接郵寄到資料中心的服務，可大幅縮短傳輸上雲所需時間。
盤根錯節的地端系統整合
在實務上，確實也會碰到一些系統，無論如何都不適合上雲，例如和此系統有關聯的其他系統全部都位於地端，加上企業內部嚴謹的驗證等，造成網路規畫困難重重。
如果遭遇這種情況，建議分階段進行，切分階段目標來逐步達成。例如在這個專案中，我們就以其中一個廠區的資料來當作範例，以供其他廠區後續效法。
結論
如果單純以硬體成本考量，採用雲端方案不見得比較便宜，尤其台灣伺服器製造廠很多，設備取得成本遠低於其他客戶，單純以一般市售伺服器價格來計算總體擁有成本（Total Cost Optimization ，TCO）並不符合現實情況。
將機器學習平台上雲的效益，從彈性、可擴充性、快速回應市場和資訊安全等方面來看好處多，綜合效果會大於只考量到硬體成本。如果以企業長期布局規畫來看，建議將機器學習平台上雲，會是個良好的選擇。
