TYK-KY01A型 大數據(科研方向)科學協同創新平臺
一、平臺概述
數據科學協同創新平臺是一款集成大數據開發、數據挖掘、數據可視化等功能的綜合性科研實訓系統。平臺將數據科學算法及數據分析圖表等功能代碼模塊化,通過用鼠標拖拽的方式即可便捷的構建數據科學流程,實現數據科學應用開發。旨在為高校提供大數據應用開發可落地的實驗實訓及部署環境,提升學生對數據的實際應用能力。結合高校的數據科學理論教學,幫助學生成為擁有實踐經驗的應用者,讓學生能夠真正掌握大數據科研能力,提升學生的綜合市場競爭力。
二、建設目標
數據科學協同創新平臺通過提供各行業場景模板,內嵌的算法算子及強大的數據處理能力,結合系統提供的經過一線驗證的數據科學行業案例,可供大數據、人工智能相關專業的師生在平臺上完成大數據、人工智能實訓工作。培養學生了解行業工程實踐經驗,具備相應的定量分析、科學預測和算法模型應用能力。
數據科學協同創新平臺內嵌了結合各個行業的數據可視化、數據挖掘等方向的課件資料,包括基礎技術知識、核心技術知識、模塊化基本場景應用以及每個算法的詳細介紹及應用資料,可以有效助力用戶完成由初級教學到高階實訓的轉化。
三、平臺架構
數據科學協同創新平臺采用B/S架構,支持自適應布局和任意終端的縮放;支持直接使用瀏覽器登錄訪問,實驗開展不受空間限制,在網絡聯通情況下即可訪問系統開展實驗。
四、建設內容
1、項目管理系統
項目管理系統提供數據科學項目管理功能,用戶通過創建項目,并在項目中創建工作流、可視化、在線編程文件,進行數據科學開發的相關工作。
1)支持用戶進行對項目的增刪改查操作;
2)項目內支持創建并使用pipeline、可視化、交互式編程等開發工具;
3)項目信息包括項目名稱、項目創建人、創建時間、修改時間、項目簡介;
4)內置項目網址,支持查看分享。
2、自動建模系統
數據科學協同創新平臺內建有多種滿足各行業場景的基礎數據輸入組件,支持主流的數據源接口及數據格式,滿足用戶個性化的數據挖掘需求。用戶想從大數據中揭示什么樣的趨勢、 規律等決策知識,數據科學協同創新平臺都可以實現。支持所有主流的大數據、人工智能算法,同時,數據科學協同創新平臺具備可拓展性,可供用戶開發新的算法算子。
1)支持運行、調試、結果預覽、保存、另存為等基礎功能;
2)算子數量超過100個,涵蓋數據處理、特征工程、機器學習算法、模型評估等全流程的開發步驟;
3)實現算子運行可視化效果,并且支持搜索功能,可以快速查找算子 ;
4)操作區中用戶可通過拖拽算子連接,構建AI開發流程,操作區可實現多算法、多分支、多算子流同時運行。
5)支持配置算子參數,算子參數直接影響模型結果;
6)支持實時查看算子的運行結果;
7)內置算子說明,說明介紹算子基本信息、應用場景、詳細參數,幫助用戶了解使用。
8)支持實時反饋運行日志,可以查看每個任務節點的狀態、結果報告以及節點日志,清楚了解pipeline運行情況。
3、可視化大屏模塊
可視化大屏模塊提供web式的可視化快速開發功能,支持響應式開發,操作簡單快捷,基于行業數據可以快速便捷的搭建商業智能模型。設計功能方面是一個精簡版的可視化開發平臺,擁有數據可視化(BI)常用的功能、交互和圖形組件。
可視化大屏模塊配置數據及設置可視化圖形樣式方式簡便易上手;可以通過布局組件加點擊移動按鈕的形式來移動已經拖入設計區的圖形組件。簡便的操作只為快速實現BI數據可視化模型。
1)包含多種頁面樣式,用戶可根據屏幕大小、顏色、主題自動切換大屏樣式,制作酷炫的大屏;
2)用戶可根據自己的需求構建可視化網站,支持網頁間的跳轉,可實現復雜的可視化大屏制作;
3)可視化大屏可自動的刷新內容,可根據用戶需求設置定時任務;
4)支持對數據進行排序、條件運算、篩選等復雜統計運算操作;
5)支持將已制作好的大屏發布和共享;
6)組件接近80個,涵蓋基本、表單、圖形、地圖、形狀、組合等類型;
4、交互式編程模塊
數據科學協同創新平臺的交互式編程模塊,支持用戶對平臺的二次開發和科研實訓。編程平臺界面簡潔,功能齊全,容易上手操作。用戶可以在編程平臺上實現具體模型中的算法,尤其適合搞科研的用戶,可以靈活切換拖拽組件和編程方式,提高科研效率。
1)支持支持筆記本、控制臺、終端、文本文件、Python文件等編碼形式;
2)支持Debug功能,可查看變量、調用堆棧、斷點調試、查看源文件和內核源;
3)支持快捷展示正在打開的文件、啟動的內核、運行的終端;
4)支持快捷顯示筆記本目錄,點擊目錄可快速定位;
5、自定義組件功能
自定義組件功能支持用戶通過代碼編寫組件,拓展自動建模系統的功能,滿足更多的定制化的大數據、人工智能開發需求;模塊對用戶編碼內容沒有限制,支持數據處理、特征工程、機器學習算法、模型評估等各個類型的算子編程,同時支持用戶測試算子的可用性,測試通過的算子可在自動建模系統與內置標準的算子連接,構建數據挖掘流程,實現數據挖掘任務。
6、資源管理系統
資源管理系統是對開發流程中數據和模型的統一管理,科研資源包括本地數據、數據源、平臺模型等,資源系統實現自動建模系統和可視化大屏模塊的打通,用戶可利用科研資源進行數據科學相關工作的開發。
1)本地數據支持txt、csv、excel等格式,具備數據預覽的功能;
2)數據基本管理能力,支持本地數據和數據源增刪改查功能;
3)用戶可配置數據源接口;支持十多種數據源包括關系型數據庫、非關系型數據庫、時序數據庫、云端數據庫、分布式文件系統;
4)可將本地算法模型上傳到系統,并應用于自動建模系統;
7、行業場景模塊
行業場景模塊的標準案例集成了涵蓋十多個行業,數據挖掘、數據分析、AI開發等方向的科研實訓案例,案例包含實驗指導和可運行項目,用戶可一鍵保存該案例到本地空間,進行實訓學習。
案例模塊還支持用戶自己編寫案例,支持Markdown,支持關聯項目;同時用戶也可以將案例共享出來,讓所有的用戶學習何使用,一方面教師可以憑此功能進行實訓授課、作業練習,另一方面同學間可以進行學科交流,促進科研水平的提高。
8、管理端功能
管理端對平臺的所有用戶進行統一的管理,管理用戶信息,支持對用戶的項目、數據、模型、資源、回收站等文件進行刪查操作;并統計用戶平臺的使用情況。
管理端支持回收站功能,支持恢復已刪除的文件,如果占用平臺空間過大導致系統無法正常工作,也可永久清除部分文件或者清空回收站。
?