洋山深水港四期智能任務(wù)調(diào)度服務(wù)軟件（ITF）是碼頭無人自動化生產(chǎn)管理系統(tǒng)的核心軟件。要求突破傳統(tǒng)碼頭業(yè)務(wù)系統(tǒng)的處理能力、達到核心系統(tǒng)自主研發(fā)及安全可控的目標。國產(chǎn)分布式事務(wù)數(shù)據(jù)庫HotDB承擔了從系統(tǒng)前端到后端、從應(yīng)用層到數(shù)據(jù)庫層的整體架構(gòu)設(shè)計，完成了智能任務(wù)調(diào)度系統(tǒng)ITF的產(chǎn)品設(shè)計及研發(fā)，實現(xiàn)了碼頭操作系統(tǒng)的數(shù)據(jù)存儲和數(shù)據(jù)處理，實現(xiàn)了從集中式到分布式架構(gòu)上的轉(zhuǎn)型飛躍，助力上港集團實現(xiàn)碼頭核心系統(tǒng)全生命周期的自主可控，滿足了無人自動化碼頭工業(yè)級高可用、高并發(fā)、高吞吐、智能自治的業(yè)務(wù)需要。
上海洋山深水港四期無人自動化碼頭-分布式事務(wù)數(shù)據(jù)庫項目
項目概況：
上海洋山深水港四期無人自動化碼頭項目，是目前世界上首個實現(xiàn)港口及碼頭無人全自動化運作的工程，僅次于中國港珠澳大橋的第二大工程。碼頭操作系統(tǒng)的智能任務(wù)調(diào)度服務(wù)軟件（ITF）是碼頭生產(chǎn)管理系統(tǒng)的核心軟件組成，承擔了整個生產(chǎn)系統(tǒng)的任務(wù)接收、任務(wù)智能分配調(diào)度、工作站算力智能調(diào)度、任務(wù)計算結(jié)果完成后的回傳、集群管理和操作審計等功能。
由于洋山深水港規(guī)模龐大、自動化設(shè)備繁多、港口調(diào)度任務(wù)量日益增加，且存在高峰調(diào)度等情況，因而產(chǎn)生規(guī)模龐大的數(shù)據(jù)處理和數(shù)據(jù)存儲量，及精準高速的數(shù)據(jù)采集（5毫秒/次），因此智能任務(wù)調(diào)度服務(wù)軟件的穩(wěn)定可靠、容錯自愈、響應(yīng)時間、吞吐量等變得至關(guān)重要，要求智能任務(wù)調(diào)度服務(wù)軟件（ITF）、分布式事務(wù)數(shù)據(jù)庫軟件等平臺的服務(wù)組件做到在線滾動升級。
熱璞數(shù)據(jù)庫解決方案：
1、熱璞數(shù)據(jù)庫團隊進行了分布式架構(gòu)的設(shè)計和改造，整套核心系統(tǒng)的技術(shù)架構(gòu)全部采用開源軟件和國產(chǎn)軟件實現(xiàn)，例如：開發(fā)語言為JAVA、操作系統(tǒng)為CentOS、應(yīng)用服務(wù)器為Tomcat和Nginx、大數(shù)據(jù)平臺為Hadoop、數(shù)據(jù)庫為HotDB分布式事務(wù)數(shù)據(jù)庫、服務(wù)器為國產(chǎn)硬件設(shè)備。
2、設(shè)計實現(xiàn)了ITF 智能任務(wù)調(diào)度系統(tǒng)的整體架構(gòu)與功能，解決了整個碼頭生產(chǎn)管理系統(tǒng)任務(wù)群的無人化智能調(diào)度。ITF智能任務(wù)調(diào)度系統(tǒng)采用服務(wù)化架構(gòu)設(shè)計，ITF 集群最少由三個節(jié)點組成，可水平擴展。并能夠進行 ITF Server 服務(wù)的在線升級，在集群節(jié)點列表中選擇升級的節(jié)點，將該節(jié)點與集群分離，進行自動升級，升級成功的節(jié)點大于半數(shù)時，進行批量的集群升級（將未升級的節(jié)點為批量分離，已升級的節(jié)點批量加入集群），再將未升級的節(jié)點升級并加入到集群中。
3、設(shè)立兩個數(shù)據(jù)中心，主數(shù)據(jù)中心和災(zāi)備數(shù)據(jù)中心。主數(shù)據(jù)中心部署高可用版本的 ITF Management 管理平臺，集群版本的 ITF Server 服務(wù)，負載均衡集群、Redis 集群。主數(shù)據(jù)中心的服務(wù)用于日常業(yè)務(wù)。備數(shù)據(jù)中心部署單點版的完整服務(wù)，作為容災(zāi)使用。
4、根據(jù)洋山深水港任務(wù)調(diào)度服務(wù)軟件（ITF）對分布式事務(wù)數(shù)據(jù)庫的技術(shù)需求，熱璞數(shù)據(jù)庫分別進行了數(shù)據(jù)持久層的技術(shù)架構(gòu)設(shè)計、數(shù)據(jù)緩存層的技術(shù)架構(gòu)設(shè)計、整體部署架構(gòu)設(shè)計、后端應(yīng)用程序的功能研發(fā)及高性能保障、智能管理平臺的功能研發(fā)及高性能保障等多個階段的工作，成功實現(xiàn)了系統(tǒng)架構(gòu)的高可用、高吞吐、高性能、穩(wěn)定運行等需求。滿足了業(yè)務(wù)系統(tǒng)自動化碼頭年吞吐量400萬集裝箱，運輸設(shè)備150臺，一小時40萬任務(wù)分配的需求，保障了整個業(yè)務(wù)的穩(wěn)定運行。
熱璞數(shù)據(jù)庫解決方案實現(xiàn)的價值：
1、工業(yè)級別的數(shù)據(jù)服務(wù)高可用及應(yīng)用服務(wù)高可用保障了業(yè)務(wù)系統(tǒng)的穩(wěn)定、可靠及安全；連續(xù)地對業(yè)務(wù)系統(tǒng)提供服務(wù)使碼頭的運營更加流暢及高效。
2、碼頭操作系統(tǒng)任務(wù)群的智能調(diào)度、應(yīng)用及數(shù)據(jù)庫故障的智能自治實現(xiàn)了業(yè)務(wù)系統(tǒng)架構(gòu)的無人化自動運維管理，協(xié)助洋山港的體系架構(gòu)與無人化技術(shù)走在同行業(yè)內(nèi)的最前端。
3、從集中式向分布式轉(zhuǎn)型后所采用的分布式事務(wù)數(shù)據(jù)庫HotDB實現(xiàn)了海量數(shù)據(jù)的持久化存儲、在線水平擴容及數(shù)據(jù)庫層面的智能運維，有效降低了使用門檻及運維成本。
4、數(shù)據(jù)緩存層哨兵架構(gòu)降低了系統(tǒng)宕機的風險，提高業(yè)務(wù)系統(tǒng)服務(wù)的連續(xù)性，從而提供了更高級別的數(shù)據(jù)緩存服務(wù)的穩(wěn)定性。
5、響應(yīng)國產(chǎn)自主可控的號召，采用完全自研的核心應(yīng)用組件、開源內(nèi)存數(shù)據(jù)庫及國產(chǎn)分布式事務(wù)數(shù)據(jù)庫HotDB, 積極促進國產(chǎn)化建設(shè)。
項目上線時間：2017年-至今
數(shù)據(jù)節(jié)點規(guī)模： 64個數(shù)據(jù)節(jié)點
業(yè)務(wù)最高并發(fā)數(shù)： 15.2萬
業(yè)務(wù)數(shù)據(jù)量：96TB/6個月
碼頭自動化設(shè)備：760個及以上
數(shù)據(jù)采集周期：1次/設(shè)備/5毫秒
