使用全面的資料平台最佳化預測性維護並降低成本
此處提供的架構示範了如何結合推薦的 Oracle 元件,以建立涵蓋整個資料分析生命週期 (從探索到行動和測量) 的分析架構,並提供上述廣泛的業務優勢。
1. 資料來源,探索
2. 擷取、轉換
3. 堅持、策劃、建立
4. 分析、學習、預測
5. 衡量、行動
「資料來源,探索」支柱包含兩種資料類別。
1. 業務記錄資料包含來自 ERP、MES、WHMS、CMMS (維護與資產管理)、IoT、SCADA、歷史學家與操作員輸入的資料 (錯誤、品質、觀察)。
2. 技術輸入資料包括 IIoT 資料、Roving Edge 裝置資料、影像、電子郵件、影片、書面文件 (OCR),以及分散式事件 (例如生產線的緊急停止)。
「擷取,轉換」支柱由四個功能組成。
1. 批次擷取會使用 OCI 資料整合、Oracle Data Integrator 和資料庫工具。
2. 大量傳輸使用 OCI FastConnect、OCI 資料傳輸、MFT 及 OCI CLI。
3. 使用 OCI GoldenGate 進行變更資料擷取。
4. 串流擷取會使用 Kafka Connect。
這四個功能會以單向方式連結到「持續」、「策劃」、「建立」支柱內的服務資料存放區和雲端儲存空間中。
此外,串流擷取會連線至「分析」、「學習」、「預測」支柱中的串流處理。
「堅持」、「策劃」、「建立」支柱由五個功能組成。
1. 服務資料存放區使用 Oracle Autonomous Data Warehouse 和 Exadata Cloud Service。
2. 雲端儲存空間使用 OCI 物件儲存。
3. 託管 Hadoop 使用 Oracle Big Data Service
4. 批次處理使用 OCI 資料流程。
5. 治理使用 OCI 資料目錄。
這些功能會在支柱內連接。雲端儲存空間以單向方式連線至服務資料存放區和受管理的 Hadoop;它也以雙向方式連線至批次處理。
託管 Hadoop 以單向方式連線至服務資料存放區。
兩項功能可連接至「分析、學習、預測」支柱。服務資料存放區可同時連線至分析和視覺化功能,也可連線至資料產品、API 功能。雲端儲存空間可連線至機器學習功能。
「分析、學習、預測」支柱由四個功能組成。
1. 分析和視覺化使用 Oracle Analytics Cloud、GraphStudio 和 ISV。
2. 資料產品、API 會使用 OCI API 閘道和 OCI 函數。
3. 機器學習使用 OCI 資料科學與 Oracle Machine Learning。
4.AI 服務使用 OCI Anomaly Detection、OCI Forecasting、OCI Language 以及 OCI Vision。
「衡量、行動」支柱擷取資料分析的使用方式: 人員與合作夥伴、應用程式、模型及 Roving Edge 裝置。
人員與合作夥伴包括整體設備效率 (OEE)、根本原因分析、精益製造及六標準差、品質控制及統計處理控制 (SPC)、供應鏈分析。
應用程式包括 Production Planning 和 Scheduling Optimization。
基礎架構、網路、安全性和 IAM 均支援三大支柱要素:擷取、轉換、持續、策劃、建立及分析、學習、預測。
連結、擷取及轉換資料
我們的解決方案由三個要素組成,每個要素都支援特定的資料平台功能。第一支柱提供連接、擷取和轉換資料的能力。
將資料注入架構有四種主要方式,可讓製造組織提升營運效率和效能。
若要開始進行流程,我們會啟用操作交易資料的大量傳輸 。大量資料需要第一次移轉至 Oracle Cloud Infrastructure (OCI) 的情況使用大量傳輸服務,例如來自現有內部部署分析儲存區域或其他雲端來源的資料。我們將使用的特定大量傳輸服務,取決於資料的位置和傳輸頻率。例如,我們可能會使用 OCI Data Transfer 服務或 OCI Data Transfer Appliance,從歷史規劃或資料倉儲儲存區域載入大量內部部署資料。若持續移動大量資料,建議使用 OCI FastConnect,以在客戶的資料中心與 OCI 之間提供高頻寬的專用網路連線。
經常需要即時或接近即時的擷取,且資料會定期使用 OCI GoldenGate 從倉儲管理、排程及訂單管理系統擷取。OCI GoldenGate 使用變更資料 擷取來偵測需要提供服務之系統基礎結構中的變更事件 (例如新增元件、完成的維護作業、天氣變化等等),並將資料即時傳送至持續儲存層和 (或) 串流層。
對製造公司而言,從多個來源即時分析資料,有助於提供寶貴的洞察分析,協助他們提升營運效率和整體績效。在此使用案例中,我們使用串流擷取 ,透過 IoT、機器對機器通訊和其他方式擷取從感測器讀取的所有資料。製造商能夠即時擷取和分析資料串流,這對執行預測性資產維護的能力至關重要。串流可以源自數個 ISA-95 等級 2 系統,例如監督控制和資料獲取 (SCADA) 系統、可程式設計邏輯控制及批次自動化系統。將擷取資料 (事件),並在資料儲存於 OCI Object Storage之前進行一些基本的轉換 / 彙總。其他串流分析可用來識別關聯事件,而任何識別的模式都可以使用 OCI 資料科學 (OCI Data Science) 回饋 (手動) 檢查原始資料。
為了即時分析此高頻率串流資料,我們會使用串流處理 來提供進階分析。傳統分析工具從靜態資料擷取資訊時,串流分析會即時評估移動中資料的價值。這不是唯一的優勢。由於串流分析可以是高度自動化,因此可以協助製造商降低營運成本。例如,串流分析可提供基本公用事業成本 (例如電力與水) 的即時資料。廠房和工廠接著可以使用自動化串流分析工具,針對可最佳化區域即時洞察分析,藉此降低能源成本,並使用人工智慧適當地回應某些作業事件。串流分析還可以對即將到來的設備維護需求進行即時預測,協助公司事先做好準備,迎接任何即將進行的維修或例行維護。
雖然即時需求不斷進化,但最常見的 ERP 擷取、規劃、倉儲管理和運輸管理系統擷取是使用 ETL 處理程序的批次擷取 。批次擷取用於從不支援資料串流的系統匯入資料 (例如,舊的 SCADA 或維護管理系統)。這些擷取可頻繁擷取,每 10 或 15 分鐘擷取一次,但由於擷取並處理異動群組,而不是個別異動,它們仍屬批次性質。OCI 提供不同的服務以處理批次擷取,例如 OCI 運算執行處理上執行的原生 OCI 資料整合服務和 Oracle Data Integrator。服務選項主要根據客戶偏好而非技術需求。
持續、處理及策劃資料
資料持續性與處理建立在三個 (選擇性地為四個) 元件上。有些客戶會使用所有客戶,有些則是子集。視磁碟區和資料類型而定,資料可以載入物件儲存空間,也可以直接載入結構化關聯式資料庫以進行持續儲存。我們預期套用資料科學功能時,從原始形式 (未處理的原生檔案或擷取) 的資料來源擷取的資料,通常會從交易系統擷取並載入到雲端儲存空間 。
雲端儲存空間 是我們資料平台最常見的資料持續儲存層。此方法可同時用於結構化和非結構化資料。OCI Object Storage、OCI Data Flow 和 Oracle Autonomous Data Warehouse 是基本的建構區塊。從原始格式的資料來源擷取的資料,並載入 OCI Object Storage 中。OCI Object Storage是主要資料持續儲存層,而 OCI Data Flow中的 Spark 則是主要批次處理引擎。批次處理 涉及數個活動,包括基本噪音處理、遺失資料管理,以及根據定義的輸出資料集進行篩選。系統會根據需要的處理和使用的資料類型,將結果寫回各種物件儲存層或持續關聯儲存區域。
使用 Oracle Big Data Service for Hadoop ( 受管理的 Hadoop ) 是 OCI Object Storage空間和 OCI Data Flow組態的替代方案。從產品或技能的角度來看,這兩種組態還可能與客戶一起使用,以及是否已對 Hadoop 生態系統進行現有投資。客戶如果已經在 Hadoop (而非 Hadoop 分散式檔案系統) 下使用物件儲存空間,可以將此組態轉換成 Oracle Big Data Service。Hadoop 環境中其他元件 (例如 Hive) 也可以開始播放和推動巨量資料服務,這取決於客戶所使用或打算使用的視覺化和資料科學工具。雖然此架構概述了 Oracle 提供的所有服務,但客戶可以選擇繼續使用現有的部分元件,尤其是視覺化和資料科學工具。
我們現在將使用服務資料存放區 ,以最佳化形式保留精選資料,以提升查詢效能。服務資料存放區提供持續性的關聯式層,可直接透過 SQL 工具為一般使用者提供高品質策劃資料。在本解決方案中,Oracle Autonomous Data Warehouse 已建立為企業資料倉儲提供服務的資料存放區,並視需要進行更多專業化網域層次資料市集。它也可以是資料科學專案的資料來源,也可以是 Oracle Machine Learning 所需的儲存區域。服務資料存放區可能會採用數種形式,包括 Oracle MySQL HeatWave、Oracle Database Exadata Cloud Service 或 Oracle Exadata Cloud@Customer。
分析資料、預測及採取行動
分析、預測和採取行動的能力由三種技術方法促進。
進階分析功能對於維護和效能最佳化至關重要。在此使用案例中,我們仰賴 Oracle Analytics Cloud 來提供分析和視覺化 。這可讓組織使用描述性分析 (說明含長條圖與圖表的目前趨勢)、預測分析 (預測未來事件、識別趨勢,以及判斷不確定結果的機率),以及規範分析 (提供適當的動作以支援最佳決策)。
除了進階分析之外,還使用越來越多的資料科學、機器學習和人工智慧來尋找異常、預測可能發生細目,以及最佳化採購流程。您可以在資料庫中使用 OCI 資料科學、OCI AI 服務或 Oracle Machine Learning。我們使用機器學習 和資料科學方法來建立和訓練我們的預測性維護模型。然後,您就可以透過 API 部署這些機器學習模型,或者將其內嵌在 OCI GoldenGate 串流分析管線中。在某些情況下,甚至可以使用 Oracle Machine Learning Services REST API 在資料庫中部署這些模型 (若要這麼做,模型必須使用 Open Neural Network Exchange 格式)。此外,Zeppelin 筆記型電腦和機器學習演算法的 OCI Data Science for Jupyter/Python 導向筆記型電腦或 Oracle Machine Learning 可部署在服務或交易資料存放區中。同樣地,單獨或結合 Oracle Machine Learning 和 OCI Data Science 可以開發建議 / 決策模型。這些模型都可以部署為服務,並在 OCI API Gateway 後部署為「資料產品」和服務。最後,一旦建立機器學習模型,即可透過 Oracle Roving Edge Device (若允許) 或類似的應用程式,部署到屬於分散式控制系統 (如允許) 的應用程式中。
透過將資料科學與機器學習識別的模式結合所建立的多個模型,可套用至 AI 服務 所提供的回應與決策系統。
OCI Anomaly Detection 可即時監控供應鏈效能度量 (例如原物料庫存、生產吞吐量、在製品、在途時間、庫存週轉率等等),以識別並處理中斷情況。在複雜的供應鏈中,所識別異常的嚴重性分數可協助排列觀察之業務中斷的優先順序。
OCI Forecasting 可協助預測供應鏈度量,例如需求、供應和資源容量,因此可以採取適當的動作提前準備。
OCI Vision 和 OCI Language 可協助瞭解外送產品品質報表和產品瑕疵報表等文件,以強化供應鏈資料。
最終但關鍵的元件是資料治理 。這項服務將由 OCI 資料目錄提供,此免費服務可為資料平台生態系統中的所有資料來源提供資料治理和描述資料管理 (技術和業務描述資料)。OCI Data Catalog 也是從 Oracle Autonomous Data Warehouse 到 OCI Object Storage 查詢的重要元件,因為無論資料儲存方式為何,都能快速找到資料。這可讓一般使用者、開發人員及資料科學家在架構中所有持續儲存的資料存放區中使用常見的存取語言 (SQL)。