分享程序员开发的那些事...
更新时间：2022-04-29 05:28:18
演讲嘉宾简介： 阿里巴巴大交通行业产品专家——郑恺龙（花名:高幸）
以下内容根据演讲视频及PPT整理而成。
本次分享主要围绕以下五个方面：
一、基建从IDC到云
二、营销从发券到满减
三、商品从运价到供应链
四、安全从验证码到大数据
五、新架构集成云原生技术
据2019年统计数据，云的基础设施占比超50%，已超过传统数据中心。
IDC：IDC包括自建网络，如网络建设、带宽协调、网络安全保障。其次，自行购买服务器，包括服务器安装、操作系统安装、服务器管理等。第三，数据库维护，包括建立、优化、监控。
专有云：越来越多传统IT通过专有云方案上云，如使用VPC、ECS、RDS等重要组件。
优先级：传统IT上云路径有优先级划分。搜索侧优先上云，包括商品、报价、库存。其次优先履约侧，包括下单、退改。第三优先资金侧，包括交易、结算资金。最后是客户数据。
ALL IN CLOUD：电商、金融、教育行业均广泛实现上云。
高可用：需对核心应用实现弹性扩容，支持容器化。拔网线场景也需要实现高可用。
低成本：新业务多生长于云端，IaaS、PaaS层能力得到最大程度复用，使研发人员得以专注于SaaS层业务的开发，实现少发电。云支持按需使用。同时支持托管，保证业务稳定运行并减少企业投入。
CMC：上云支持CMC体系。
传统IDC：包括IDC安全产品、IDC网络环境。
IDC安全产品包括安全防护产品、DDos防护、Web应用防火墙、服务器防护、威胁检测。
自建IDC链路如下图所示，负载均衡分发互联网请求到核心应用集群。Reds缓存数据库支持高并发，消息队列支持高可用，MySQL集群作为业务数据库。
迭代上云：云侧有相应的安全产品，包括安全防护云端、Web应用防火墙、安骑士、态势感知、管理与监控等。
云侧存在安全隔离的网络环境，支持公共云、政务云、金融云。SLB负载均衡将网络请求分发到ECS应用集群，ECS支持弹性扩容。Reds缓存数据库支持高并发，RDS业务数据库支持业务存储与读写，消息队列支持高可用。OSS云存储体系支持针对非结构数据的管理。
通过迭代上云的方案制定、预案演练、方案实施、效果验证进行逐步上云。通过工具使上云又快又稳，通过上云使架构更加优化。以此从底层开始将新技术、新架构搭建起来。
营销方式日新月异，营销架构体系复杂。
传统IT一般在新商品领域通过发放优惠券方式进行重点营销。首先建立券池，包括预算申请、流程审核、券码发放。同时组织领券，包括会员注册、领券、查看。最后在特定场景下用券。优惠券营销范围多为APP、官网，通常采用推文、短信方式召回客户。
互联网侧营销体系的搭建相对完善，实现了日常化。营销活动需提前制定策略，包括制定运营策略及策略分组。支持多种互联网玩法，在权益中心进行权益配置，在相关平台配置导购以支持营销流程。营销分为多在支付宝、飞猪、微信、钉钉等大型平台，通过大促、社群、直播等方式进行客户召回。
阿里云会员营销架构体系主要分为三层，如下图所示。顶层为数字渠道，包括支持自有平台、数字渠道、IoT智能识别，支持会员招募、潜客激活、会员画像、忠诚度经营、营销策略、数据罗盘。中间层为双中台，业务中台包括会员中心、标签中心、账户中心、权益中心、营销中心、促销中心。数据中台包括标签、模型、指标。底层为云计算平台，包括核心技术组件、计算框架、基础设施。
传统IT-10元优惠券：发放优惠券，营销范围为APP、官网、微信。客户召回方式为通过推文或短信引导客户进入落地页。有券池、注册、领券、用券等流程。
如上图中红色标签所示，传统IT发放优惠券营销重点在官网及权益中心。
互联网-满减：满减活动无需发放优惠券，活动、玩法、权益、导购的定义支持配置化。如上图绿色标签所示，运营人员在营销策略处定义满减活动，在促销中心进行自动化配置，在权益中心配置10元优惠券权益。人群配置包括明确营销策略及在标签中心定义人群标签。客户召回方面，在大促及部分日常场景下进行满减活动。优惠表达方面，客户通过搜索获取优惠，该部分客户无感知。当商品符合满减条件，通过商品划价展示优惠价格，并由小黄条增强优惠表达。若客户下单，导购链路将支持履约服务，包括下单、退改、结算。
可见，互联网新技术、新架构需要支持营销活动日常化、运营配置化，以提高营销效率，提升客户体验。
商品中心构建了平台的核心供应能力，一定程度上影响着客户搜索结果，属于核心供应链的一部分。更加结构化的商品中心能够增强供应链能力。
商品相对分散，包括主营商品，如机票、火车票，辅营商品，如保险、行李、餐食，及第三方商品，如打车、酒店、门票。
商品纵向能力较强，包括报价、履约、结算能力。
传统IT商品中心有较为成熟的架构模块支持商品中心的建设，如shopping、pricing及第三方核心架构模块。
商品结构体系化，支持统一报价、履约服务，形成了互联网的核心供应链。
商品中心包括商品包装、辅营推荐、商品报价、支持一品多价、优品差品判断、组合商品。
同时支持多商家类型，包括B2C、B2B2C、CRS、C2M、TP。
互联网支持商品多渠道供给，包括旗舰店、批发、零售、代理、自有及海外渠道。
商品供给体系健全，包括商品定义SKU、库存、价格、正向履约、逆向履约及资金管理。
整个商品体系构建在阿里云基础设施之上，包括专有云、VPC、ECS、Dubbo、K8S、EDAS、RDS、SAE。
商品架构支持中心化、客户化，商品丰富齐全，尽可能满足客户需求。因此需要接入更多不同类型的商家、渠道、及供给，在架构方面支持统一报价、履约、资金及云基础。对商品架构体系提出了高要求。
传统IT-NDC行李：在销售机票的基础上售卖行李。商品表达为单品形式或向客户推荐。报价支持Offer（与机票等一起报价）或单独报价。履约侧支持与机票整体履约或单品履约，同时支持兜底能力。架构层面支持OneOffer、OneOrder架构体系。
该案例中，由上图红色标注可见，传统IT关注辅营推荐及履约保障。
互联网-LCC行李：互联网售卖行李。商品表达从客户角度来看为多等级报价方式，如单独购买机票、少量行李机票、大量行李机票、额外购买行李等多种报价。支持一口价方式展示报价及推荐。客户可以看到多种形式的表达并按需挑选。
商品实现了结构化。履约侧支持单品或整体履约。架构层面构建了商品中心，同时拉通会员，支持多接入。
互联网更加重视商品中心的构建及商品供给体系的标准化，更符合客户需求。新技术、新架构一定要实现商品中心的构建及高效的商品接入。
由于商家进行大量营销活动，黄牛、爬虫等蠢蠢欲动，需要构建一套完善的安全防爬体系。
高频鉴别：包括对高频业务请求进行处理，验证码形式从数字到字母数字混合到图形到问答验证码的发展，及对ip和http报文的校验。
业务降级：当一部分重要资源需要进行活动但是无法保证100%安全防爬时，可以采用业务降级，例如会员登陆、实名认证、限制本人购买。
定向投放：对某些单向渠道、商品、商家进行POS投放，可增加爬虫、黄牛等的成本。另外可采取后返方式完成营销资源，避免相关安全隐患。通过带资方式在平台进行营销等活动，借助平台方的能力提升安全保障。
大数据：互联网侧安全防爬体系基于大数据，如通过会员信息进行校验。同时支持多维度校验及旁路介入分析。
算法：首先要对商业模型进行建模，通过大数据学习用户行为习惯，区分正常用户与机器人，并制定安全防爬策略，例如拦截恶意请求，人工处理可疑请求，正常请求进行业务处理等不同模式。
风控：互联网活动的资源投放具有预期计划及应急方案。营销无重点针对人群投放的风控处理较为困难，针对特定人群投放的风控体系更为健壮。互联网资金流为可实时结算状态，可实时发现资金异常进行相关资源下线等处理。
阿里云爬虫风险管理：下图所示为阿里云爬虫风险管理体系。左侧包括正常用户、机器爬虫在内的所有请求通过互联网进入爬虫风险管理体系。爬虫风险管理体系背后存在核心引擎及规则，包括大数据实时智能引擎、云端海量威胁情报、专家攻防经验规则及深度学习算法模型。评估为恶意的业务请求 “入狱”，不作处理。评估正常的业务请求将进入Web业务服务器进行业务处理。
阿里云数据安全架构：下图所示数据安全架构分为多层。一个互联网请求从外网到获取到数据会经过多层安全校验。证书服务（SSL）校验包括DDoS防御、WAF分析、云防火墙。同时应用身份服务（IDaaS）验证包括身份认证及授权。请求经过校验后进入负载均衡，若拥有专有网络VPC，则存在一层VPC保护。同时密钥管理（KMS）及加密（HSM）。数据层存在核心的数据保护（SDDP），包括数据管理、数据服务及数据审计。数据审计包括数据日志调查、数据行为审计记忆数据风险检测。
针对阿里云用户或内部操作人员可进行相关数据的拉取分析，同样需要经过多层安全校验，包括经过平台身份管理（RAM）进行身份认证与授权，经过终端防泄漏（DLP）堡垒机。同时需要经过数据保护，特别是通过数据审计异常风险控制，加固公司内部、外部的数据安全。
新架构从传统IT到互联网正在全面集成云原生技术。
一般拥有自建IDC，相对较重，需自行建设、更新、维护。上云可使架构变轻，有专业团队进行支持、优化，使架构更加稳定。传统IT在上云过程中不断优先优化PaaS层，较SaaS层的优化而言对业务的侵入性更低。另外，IDC全部切掉上云变成核心的云基础，对业务兼容性、稳定性的要求较高，因此通过PaaS层优化切入来提升传统IDC系统能力的可行性更高。
下图所示方案通过交易系统使用消息队列的方式支持流计算、购物车、物流、积分、评价。目前消息队列使传统IT的交易系统能力大幅提升。因此使用大量云原生技术优先优化PaaS层是非常可行的方案。
互联网侧云原生技术通常由专业团队提供专业产品、技术、咨询。并且实现了云原生技术的云化，云原生的位置在SaaS层下面，云基础之上。同时互联网侧已开源大量云原生技术，如分布式应用框架Dubbo，消息队列Rocket，Agit等。
越来越多的传统IT、互联网IT通过集成云原生技术大幅提升核心业务系统的安全、性能。
期待阿里CIO学院能够带来更多精彩的云原生技术的交流与培训。