大數(shù)據(jù)時(shí)代主流媒體的封面網(wǎng)關(guān)發(fā)展探析

大數(shù)據(jù)時(shí)代主流媒體的封面網(wǎng)關(guān)發(fā)展探析

王  磊  王子健

(四川封面?zhèn)髅接邢挢?zé)任公司)

【摘  要】大數(shù)據(jù)時(shí)代，傳媒業(yè)逐漸開始向融媒體時(shí)代過渡。隨之帶來的是數(shù)據(jù)流量爆發(fā)式增長(zhǎng)、智能媒體迭代升級(jí)提速以及網(wǎng)絡(luò)數(shù)據(jù)安全等問題。為了更好地解決這些問題，封面以自己在融媒體行業(yè)多年的探索，結(jié)合業(yè)務(wù)痛點(diǎn)和業(yè)務(wù)難點(diǎn)，對(duì)網(wǎng)關(guān)建設(shè)進(jìn)行了深入的研究。封面網(wǎng)關(guān)一方面承擔(dān)起南北流量的唯一入口，一方面提取東西流量的共性功能。以路由轉(zhuǎn)發(fā)和負(fù)載均衡為基礎(chǔ)，監(jiān)控告警和限流隔離/熔斷降級(jí)為保障，A/B分流和安全鑒權(quán)輔助跟進(jìn)，形成完整的保護(hù)屏障，助力封面建設(shè)“引領(lǐng)人工智能時(shí)代的泛內(nèi)容生態(tài)平臺(tái)”。

【關(guān)健詞】大數(shù)據(jù)  融媒體  網(wǎng)關(guān)

1  概述

大數(shù)據(jù)時(shí)代，傳媒業(yè)逐漸開始向融媒體時(shí)代過渡。隨之帶來的是數(shù)據(jù)流量爆發(fā)式增長(zhǎng)、智能媒體迭代升級(jí)提速以及網(wǎng)絡(luò)數(shù)據(jù)安全等問題。為了更好地解決這些問題，封面以自己在融媒體行業(yè)多年的探索，結(jié)合業(yè)務(wù)痛點(diǎn)和業(yè)務(wù)難點(diǎn)，對(duì)網(wǎng)關(guān)建設(shè)進(jìn)行了深入的研究。封面網(wǎng)關(guān)一方面承擔(dān)起南北流量的唯一入口，一方面提取東西流量的共性功能。以路由轉(zhuǎn)發(fā)和負(fù)載均衡為基礎(chǔ)，監(jiān)控告警和限流隔離/熔斷降級(jí)為保障，A/B分流和安全鑒權(quán)輔助跟進(jìn)，形成完整的保護(hù)屏障，助力封面建設(shè)“引領(lǐng)人國(guó)對(duì)世面中工智能時(shí)代的泛內(nèi)容生態(tài)平臺(tái)”。傳統(tǒng)互聯(lián)網(wǎng)架構(gòu)隨著時(shí)代發(fā)展的已經(jīng)由單體架構(gòu)逐漸演化成微服務(wù)架構(gòu)，而API網(wǎng)關(guān)已經(jīng)成為微服務(wù)架構(gòu)中不可或缺的一環(huán)。在客戶端和服務(wù)，服務(wù)與服務(wù)之間引入一個(gè)額外層，作為從客戶端向服務(wù)，服務(wù)向服務(wù)發(fā)起請(qǐng)求路由的反向代理。類似面向?qū)ο笤O(shè)計(jì)中的外觀模式，往上承接南北流量，為封裝底層系統(tǒng)架構(gòu)的API提供了單一入口；同時(shí)往下會(huì)分發(fā)流量到微服務(wù)應(yīng)用或者BFF(Backends for Frontends)聚合應(yīng)用，在BFF規(guī)范化之前仍然將其視為一個(gè)普通微服務(wù)應(yīng)用。稱為API網(wǎng)關(guān)。整體架構(gòu)圖如圖1:

2  請(qǐng)求分發(fā)

請(qǐng)求分發(fā)也是封面網(wǎng)關(guān)承載流量的基礎(chǔ)，封面網(wǎng)關(guān)以路有轉(zhuǎn)發(fā)和負(fù)載均衡為核心對(duì)接多渠道的請(qǐng)求。

2.1 API管理

當(dāng)應(yīng)用服務(wù)大規(guī)模增長(zhǎng)的時(shí)候，API數(shù)量變得很龐大，我們有必要對(duì)API進(jìn)行統(tǒng)一管理，按照業(yè)務(wù)線對(duì)API進(jìn)行劃分進(jìn)行不同的管理。

在劃分出不同業(yè)務(wù)線之后，能直觀的感知到哪些業(yè)務(wù)是內(nèi)部調(diào)用，哪些業(yè)務(wù)是對(duì)外輸出的。從傳媒行業(yè)的角度來看，埋點(diǎn)及采集相關(guān)服務(wù)通常屬于內(nèi)部服務(wù)，側(cè)重點(diǎn)往往在于數(shù)據(jù)的穩(wěn)定性，保障數(shù)據(jù)的最終落庫(kù)；智能審核和校對(duì)相關(guān)服務(wù)通常以云服務(wù)的形式提供，數(shù)據(jù)流量也很大，側(cè)重于保障API接口性能穩(wěn)定性和安全性。

在劃分出保障重點(diǎn)之后，我們能針對(duì)不同的API設(shè)置不同的保障規(guī)則，通過消息隊(duì)列解藕通知網(wǎng)關(guān)，使配置生效。

通過API管理平臺(tái)的成功建設(shè)，我們能對(duì)現(xiàn)有業(yè)務(wù)進(jìn)行梳理，防止不同產(chǎn)品線之間重復(fù)開發(fā)。此外，也為技術(shù)中臺(tái)的建設(shè)提供了基礎(chǔ)支撐，圍繞此可以展開對(duì)可集成服務(wù)的探索，如計(jì)費(fèi)中心、用戶中心等。

2.2  路由轉(zhuǎn)發(fā)

路由轉(zhuǎn)發(fā)是網(wǎng)關(guān)建設(shè)的基石，承接南北流量，為封裝底層數(shù)據(jù)服務(wù)的API提供了單一入口。同時(shí)，路由轉(zhuǎn)發(fā)也可以在基礎(chǔ)的轉(zhuǎn)發(fā)功能上做縱向拓展，通過對(duì)融媒體時(shí)代的深入分析，會(huì)發(fā)現(xiàn)瀏覽媒資信息的渠道會(huì)有多種，如常見的網(wǎng)頁(yè)、APP,公眾號(hào)或小程序等，但是不同的場(chǎng)景會(huì)導(dǎo)致接口存在差異性，這時(shí)后臺(tái)服務(wù)就要對(duì)接不同的API需求，產(chǎn)生各種各樣的問題?；诖丝紤]，引入了BFF。

這樣做之后，有以下幾點(diǎn)好處：

(1)聚合，將后端多個(gè)請(qǐng)求合并成一個(gè)請(qǐng)求，減少網(wǎng)絡(luò)傳輸時(shí)間。

(2)適配，將內(nèi)部復(fù)雜的微服務(wù)，適配成對(duì)各種不同用戶體驗(yàn)友好和統(tǒng)一的API。

(3)裁剪，根據(jù)不同請(qǐng)求來源，對(duì)數(shù)據(jù)進(jìn)行提煉，形成不同的展現(xiàn)；比如手機(jī)端和PC端大小尺寸和性能不同，如果進(jìn)行相同的展現(xiàn)，勢(shì)必會(huì)影響效果

2.3 MOCK

在前后端分離的開發(fā)模式中，前后端開發(fā)存在時(shí)間差，服務(wù)與服務(wù)之間也會(huì)存在開發(fā)時(shí)間差。為了進(jìn)一步提高開發(fā)效率，封面API提供了MOCK數(shù)據(jù)的功能，只需要雙方提前約定好數(shù)據(jù)格式，在請(qǐng)求進(jìn)來時(shí)可以直接返回mock數(shù)據(jù)，提高開發(fā)效率。

MOCK功能的實(shí)用性不僅僅只體現(xiàn)在開發(fā)聯(lián)調(diào)中。在實(shí)際生產(chǎn)中，往往會(huì)出現(xiàn)很多不可預(yù)知的問題，而解決問題是需要一定時(shí)間的。此時(shí)，可以通過MOCK的功能在流量進(jìn)入的時(shí)候就進(jìn)行有效的攔截返回，不會(huì)讓流量進(jìn)入到服務(wù)層級(jí)，既不會(huì)影響用戶感知，也為解決問題留出了時(shí)間和空間。

3  安全把控

時(shí)常我們會(huì)遇見一些異常流量，典型的就是惡意爬蟲，所以完善一些基礎(chǔ)的安全策略是必要的。

3.1 IP黑白名單

融媒體時(shí)代，對(duì)于數(shù)據(jù)安全越來越看重。媒資數(shù)據(jù)量迅速增長(zhǎng)的同時(shí)，網(wǎng)絡(luò)攻擊發(fā)生的頻次與日俱增，攻擊手段層出不窮。為了更好地應(yīng)對(duì)為了提高訪問IP質(zhì)量，封面API需要授權(quán)之后才允許請(qǐng)求進(jìn)入，其中最常用也是最簡(jiǎn)單高效的方式就是黑白名單。

封面網(wǎng)關(guān)提供了日志記錄的功能，會(huì)將網(wǎng)關(guān)日志實(shí)時(shí)采集記錄到大數(shù)據(jù)日志平臺(tái)上。通過大數(shù)據(jù)安全分析，如果判斷某個(gè)IP存在異常情況，就可以通過黑白名單的方式進(jìn)行限制。

3.2  安全認(rèn)證

隨著封面云智一體平臺(tái)建設(shè)的快速發(fā)展，一系列云產(chǎn)品的快速迭代發(fā)展，單一的IP黑白名單的限制并不能覆蓋所有的安全檢測(cè)面。同時(shí)，微服務(wù)數(shù)量的急速增長(zhǎng)，不同微服務(wù)會(huì)有不同的服務(wù)調(diào)用地址，每個(gè)微服務(wù)單獨(dú)鑒權(quán)的情況下，維護(hù)難度也在上升。因此，我們引入統(tǒng)一的認(rèn)證授權(quán)。

集中認(rèn)證授權(quán)的方式，為API接口調(diào)用提供了安全性保障，同時(shí)也解決了多服務(wù)單獨(dú)鑒權(quán)的問題。由網(wǎng)關(guān)統(tǒng)一管理，在流量入口進(jìn)行鑒權(quán)認(rèn)證，在分發(fā)到不同的服務(wù)上。

3.3  限流隔離/熔斷降級(jí)

封面網(wǎng)關(guān)作為南北流量的唯一入口，一般具有較高的訪問量，封面網(wǎng)關(guān)每天的流量平均在千萬(wàn)以上，一些時(shí)段的峰值會(huì)很高，也就意味著很高的并發(fā)量。同時(shí)極高訪問量必然出現(xiàn)流量的復(fù)雜性問題。API接口本身也存在性能瓶頸，保障接口的穩(wěn)定性是必需的。而對(duì)流量進(jìn)行整治管理是業(yè)務(wù)發(fā)展的必然趨勢(shì)。

限流隔離主要是作用在流入方向服務(wù)端側(cè)的流量控制，其中限流的目標(biāo)是主動(dòng)防御。對(duì)于服務(wù)接口提供者來講，它自己有自己接口壓力負(fù)載值，當(dāng)達(dá)到這個(gè)閾值時(shí)，觸發(fā)限制請(qǐng)求機(jī)制，這就是限流，簡(jiǎn)單而言就是限制接口訪問QPS,隔離主要是不同的服務(wù)分配獨(dú)立的、一定的資源，當(dāng)自己的資源用完，直接返回失敗而不是占用別人的資源，從而達(dá)到服務(wù)隔離的目的。隔離策略可以使用線程隔離或信號(hào)隔離。

熔斷降級(jí)則是作用在流出方向客戶端側(cè)的流量控制，可以配置在一定錯(cuò)誤率情況下進(jìn)行熔斷，并配合降級(jí)數(shù)據(jù)快速返回。通俗來講，對(duì)于接口來說，接口的熔斷觸發(fā)條件是在某個(gè)時(shí)間片內(nèi)失敗達(dá)到一定指標(biāo)，比如5分鐘內(nèi)接口調(diào)用錯(cuò)誤次數(shù)比例達(dá)到50%以上，觸發(fā)熔斷，熔斷后，服務(wù)將進(jìn)行降級(jí)(服務(wù)降級(jí)可以理解為服務(wù)保底策略，服務(wù)失敗或異常后，返回指定的默認(rèn)信息)。

封面網(wǎng)關(guān)的限流隔離/熔斷降級(jí)基于管理平臺(tái)、消息隊(duì)列和網(wǎng)關(guān)實(shí)現(xiàn)。管理平臺(tái)可針對(duì)不同的接口配置單獨(dú)的策略，通過消息隊(duì)列的方式實(shí)時(shí)通知網(wǎng)關(guān)生效。

3.4 A/B分流

因?yàn)槿诿襟w概念的提出，媒體行業(yè)技術(shù)發(fā)展日新月異，升級(jí)迭代愈加頻繁。在進(jìn)行持續(xù)迭代的背后離不開試驗(yàn)性工作，其中被互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)行業(yè)廣泛應(yīng)用的就是A/B測(cè)試。A/B測(cè)試的本質(zhì)試驗(yàn)，作為一種優(yōu)化方法，通過對(duì)比試驗(yàn)獲取用戶反饋結(jié)果(成果轉(zhuǎn)換率和用戶滿意度),帶來產(chǎn)品和技術(shù)的創(chuàng)新，以實(shí)現(xiàn)各項(xiàng)指標(biāo)的增長(zhǎng)。

在互聯(lián)網(wǎng)產(chǎn)品迭代實(shí)驗(yàn)中的A/B測(cè)試是指：為了驗(yàn)證一個(gè)新的產(chǎn)品交互設(shè)計(jì)、產(chǎn)品功能或者策略的效果，在同一時(shí)間段，給多組用戶(一般叫作對(duì)照組和試驗(yàn)組，用戶的分組方法統(tǒng)計(jì)上隨機(jī)，使多組用戶在統(tǒng)計(jì)角度無差別)分別展示優(yōu)化前(對(duì)照組)和優(yōu)化后(試驗(yàn)組，可以有多組)的產(chǎn)品交互設(shè)計(jì)、產(chǎn)品功能或者策略、算法，并通過數(shù)據(jù)分析，判斷優(yōu)化前后的產(chǎn)品交互設(shè)計(jì)、產(chǎn)品功能或者策略、算法在一個(gè)或者多個(gè)評(píng)估指標(biāo)上是否符合預(yù)期的一種試驗(yàn)方法。

封面網(wǎng)關(guān)A/B測(cè)試被廣泛地應(yīng)用于算法服務(wù)迭代升級(jí)之中，以推薦算法為例，在技術(shù)改進(jìn)的初期，將一定比例的流量導(dǎo)向新的推薦策略服務(wù)。通過數(shù)據(jù)比對(duì)，量化算法升級(jí)帶來的收益或風(fēng)險(xiǎn)，提供算法迭代的數(shù)據(jù)依據(jù)。

4  數(shù)據(jù)分析

4.1  數(shù)據(jù)可視化

通過網(wǎng)關(guān)日志收集記錄，我們可以很快地得到數(shù)據(jù)訪問報(bào)表，以數(shù)據(jù)為支撐，提供接口和網(wǎng)關(guān)策略優(yōu)化的支點(diǎn)，反哺整個(gè)數(shù)據(jù)基礎(chǔ)能力建設(shè)體系。

"

圖2  日志可視化界面

4.2  安全告警

通過日志中心建設(shè)，封面網(wǎng)關(guān)可以對(duì)日志進(jìn)行不同維度的分析，自定義不同的告警規(guī)則(錯(cuò)誤數(shù)、錯(cuò)誤率、降級(jí)熔斷率等)通過任務(wù)調(diào)度平臺(tái)生成不同的監(jiān)控調(diào)度任務(wù)，實(shí)時(shí)告警提醒相關(guān)人員，從而保障了整個(gè)業(yè)務(wù)生態(tài)的穩(wěn)定性。

5總結(jié)

封面網(wǎng)關(guān)以保障封面建設(shè)先進(jìn)的“引領(lǐng)人工智能時(shí)代的泛內(nèi)容生態(tài)平臺(tái)”為出發(fā)點(diǎn)，深入地分析當(dāng)前業(yè)務(wù)的技術(shù)痛點(diǎn)和難點(diǎn)，與封面各業(yè)務(wù)線做深度的融合，形成了完整的安全保障體系。封面網(wǎng)關(guān)已經(jīng)具備了完善的使用流程和規(guī)范。

參考文獻(xiàn)：

[1]蓋泉賀，高傳集，顏亮，等，一種K8S環(huán)境下的API網(wǎng)關(guān)服務(wù)高可用實(shí)現(xiàn)方法：,CN112422683A[P].

2021.

[2]劉偉超，吳擁軍，陳亮，等，一種基于API網(wǎng)關(guān)的生產(chǎn)數(shù)據(jù)實(shí)時(shí)時(shí)鐘同步方法及系統(tǒng)：,CN112381348A[P].2021.

[3]吳潤(rùn)，基于API網(wǎng)關(guān)的微服務(wù)組合策略研究[J].數(shù)碼世界，2019(3):3.

[4]溫馨，樊婧雯，王富強(qiáng)，基于OpenResty平臺(tái)的API網(wǎng)關(guān)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息化研究，2020(3):

7.

[5]王小波，郭毅.論微服務(wù)中使用API網(wǎng)關(guān)的設(shè)計(jì)與實(shí)現(xiàn)[J].市場(chǎng)周刊·理論版，2020.6]馮騏，沈富可.高校能力開放平臺(tái)中的API網(wǎng)關(guān)設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)教育信息化，2021(3):6.