近年來產(chǎn)業(yè)各界紛紛將機(jī)器學(xué)習(xí)平臺(tái)作為研發(fā)的重點(diǎn),作為人工智能領(lǐng)域領(lǐng)先企業(yè),百融云創(chuàng)歷經(jīng)3年自主研發(fā)了ORCA機(jī)器學(xué)習(xí)框架,覆蓋模型開發(fā)、訓(xùn)練、部署、分析的全周期端到端技術(shù)服務(wù),能夠幫助企業(yè)用戶實(shí)現(xiàn)模型開發(fā)的從無到有,從零到一。
模型的訓(xùn)練和部署環(huán)節(jié),是整個(gè)模型全生命周期的兩個(gè)端點(diǎn)。在金融應(yīng)用場(chǎng)景中,通常情況下,建模分析師會(huì)選擇python語言去進(jìn)行模型的開發(fā)和訓(xùn)練。但到了部署環(huán)節(jié),受到應(yīng)用場(chǎng)景、金融機(jī)構(gòu)軟硬件基礎(chǔ)、使用習(xí)慣、模型性能、系統(tǒng)監(jiān)控等因素的影響,可能需要換到了另外一種高性能語言或環(huán)境。
傳統(tǒng)模式下,需要分析師或研發(fā)工程師用人工的方式,敲出一行行代碼去完成模型的復(fù)現(xiàn),如果只是一兩個(gè)模型是完全可以應(yīng)對(duì)的,但一些大型銀行每年動(dòng)輒就要上線幾十上百個(gè)模型,這些模型的訪問量非常大,縱使金融機(jī)構(gòu)近年來儲(chǔ)備了大量科技人才,如果還是靠人力來完成這些工作,絕對(duì)是不可承受之重。
百融云創(chuàng)ORCA機(jī)器學(xué)習(xí)平臺(tái)為解決這一難題開拓性研發(fā)出ORCA-serving,這是一種跨語言或環(huán)境的模型訓(xùn)練與自動(dòng)化部署技術(shù),如金融機(jī)構(gòu)在模型開發(fā)訓(xùn)練階段應(yīng)用的是python語言,在部署時(shí)會(huì)根據(jù)需求自動(dòng)轉(zhuǎn)化為java、rust或者python等語言架構(gòu)以及web服務(wù)器、Spark等部署環(huán)境,讓建模人員只需關(guān)注業(yè)務(wù)模型開發(fā),即可獲取專家工程級(jí)的模型部署服務(wù)。
值得一提的是,ORCA已經(jīng)得到高效應(yīng)用,ORCA-serving已承載百融云創(chuàng)過百億級(jí)的模型推理服務(wù),目前也逐步向合作伙伴進(jìn)行開放共享,部分功能已應(yīng)用于本地化模型管理平臺(tái)產(chǎn)品中。ORCA在實(shí)際應(yīng)用中展現(xiàn)出強(qiáng)大的性能表現(xiàn),能夠?qū)C(jī)器學(xué)習(xí)模型推理性能(TPS)平均提升300%以上,復(fù)雜模型提升700%,模型測(cè)試與部署時(shí)間縮短50%以上。