不会建数据资产系统的SRE，不是一名好运维
一、熟悉数据资产
1. 数据资产——企业IT价值
图片
如图所示，未举行数据资产化建设时，数据可能泛起离散状态，数据生产和消耗不统一，容易泛起数据孤岛或零利益的情形。
建设数据资产化后，我们整合差别渠道数据，结构统一的数据源，或数据收罗、存储、剖析的流程链路，进而统一对应的数据结构、数据关系和消耗出口。
运营数据经由收罗、整编后，可效劳于自身决媾和营业流程。
2. 数据资产——以运维场景为例
图片
上图以场景为例，先容了数据资产的分类。要明确数据资产，需要明确数据资产的三个要素，即数据类型、数据形式和数据载体的对应关系。
数据类型：运维特征的信息形貌
营业指标层面，SRE关注生意营业耗时、生意营业订单量等信息；操作软件层面，SRE关注用户IP、接口挪用情形等信息；基础设施层面，则关注对应的网络丢包率、内存占用或CPU使用率等信息；再深入，SRE会越发关注变换事务、宣布试点或紧遽变换的数目等数据。
数据形式：数据贮存于数据载体的形式
我们凭证日志类、关系类及监控类等数据的差别体现形式，选择响应存储方法，好比关系型数据库、一连性数据库、新闻行列或者日志文件等。
数据载体：为运维数据提供存储的方法
3. 数据资产——提升SRE价值
图片
凭证获得的运维数据，首先建设一个资产化平台，例如后文提到的CMDB。使用这些平台，凭证消耗场景对大宗的运维数据举行剖析和治理，从而实现资产化。
另外，我们可以使用数字资产平台快速建设和刷新与SRE稳固性相关的平台，如SLO和容量治理平台。一旦平台建设乐成，我们将一连探索数据的潜在价值，并提升SRE所关注的稳固性。
二、数据治理-要领论
1. 运维数据标准面临的问题
图片
运维数据标准化面临的问题，和大数据场景下数据质量的问题类似，主要包括数据孤岛、数据质量不高、数据不可知、数据效劳不敷、获取数据的开发耗时长等。
这些问题导致，数据消耗场景难以快速迭代，无法知足营业需求。当人力资源、效劳器资源、中央件资源等缺乏时，数据标准化建设将带来灾难性的影响。
运维数据天生是不标准的，好比，日志和日志监控的数据存储方法差别。而我们要在资源有限的情形下，举行最大化叙述，完成标准化。
针对近期业内较量火的看法，好比DataOps、AIOps等模子或场景，我们还缺少成熟、周全的数据建模要领论。
2. 建设运维数据治理模子
将运维数据提升为数据资产，需围绕治理要领、治理历程和手艺平台三部分睁开。
图片
1）治理要领
主数据治理：将SRE关注的数据举行界说和拆分。好比，主机和CLP等数据可作为主数据，我们对其举行生命周期治理。
广义元数据治理：这些数据在闭环的上报流程中，进入到CMDB，就是广义元数据治理。以CMDB的模式为代表，向上层提供响应的数据支持。
要害治理链路：基于数据标准、治理质量和清静基线三个维度，梳理整个治理链路，即数据标准、质量目的、整个变换的基线要求。
2）治理历程
治理历程包括战略、建设与运营。整体建设方面，需要建设平台和工具，辅助自身运营。
3）手艺平台
建设手艺平台的主要目的是，通过工具支持存量和增量数据。
3. 聚焦数据治理要害要素
数据治理的要害要素主要围绕四方面：组织包管、制度建设、项目落地清静台支持。
组织包管：为解决人力资源问题，我们明确成员角色和职责分工。由产品、运营和研发三种角色，组成数据治理专项团队。
制度建设：需要建设标准化流程，并包管其有序落实，好比资源接入、资源开发、资源数据模子等规范。
项目落地：最先整体的专项治理，数据治理是长效的历程，而非简朴的运动式作战。若是数据质量严重不达标，我们会建设专项小组，接纳运动式的作战方法，紧迫修复数据质量的问题。但建设长效治理手段需凭证数据产品，输出对应的治理要领论，并将其落实为产品化的平台手段，以此驱动数据责任方举行数据治理。
平台支持：平台建设主要围绕细腻怀抱、执行治理效率等维度举行。
三、CMDB平台建设
1. CMDB设置治理库
CMDB设置治理处，主要围绕四方面举行建设：基础备案的手艺台账、详细自然属性、自然关联关系、资源消耗图谱。我们需要分层建设对应营业的模子，再通过自动化感知或标准化流程，实时推送设置动态。
对应设置也需要有对应的可视化界面，引发协作实力，最终，这些数据通过APP或响应离线场景，增进数据的消耗场景。
2. CMDB在ITIL时代的定位——元数据中央
小我私人明确，CMDB是元数据中央。如上图所示，我们设置治理的数据库CMDB，会对组织、职员、决议、权限、流程等相关数据举行洗濯或组装操作。
下层对接的平台许多，好比监控平台、邮件、短信、运维的数据库等。这些数据组装完毕后，会交由上层（类似效劳治理层的平台）举行数据输出，完成资产治理、设置治理等一系列效劳，并举行平台建设。
3. CMBD在新时代的定位——以应用为中央
、
以应用为中央，可以实现组织-项目-职员的关联关系，并与应用绑定。
应用运行历程中，使用对应资源（效劳器资源、设置中央、可视察性指标等），再凭证公司的组织架构形成隶属关系，最终把组织架构视角引用到微效劳视角，形成资源及其资源的关系——拓扑，其中包括应用拓扑、物理拓扑。
4. 以应用为中央的CMDB优势
图片
5. 应用在运行时代与元数据中央的关系
图片
上图所示为CMDB，它会将基础测试设施的元数据、Paas相关数据及运行数据，提供应上层（CI平台、CD平台、效劳运行平台和效劳运营平台）使用，图中所示的下层平台就形成效劳资源支持平台。
这样建设的利益是，为应用的全生命周期提供基本的数据支持，包括应用建设、应用运行时态（构建、宣布、扩容、计费）、接纳应用下线后资源。
6. CMDB建设的四大阶段
图片
上图是建设CMDB的四大阶段，我们现在处于从效劳导向到价值导向的第四阶段。
部分导向：
岂论有无CMDB系统，现实都保存CMDB需求，以部分为单位维护设置信息；
信息是伶仃的、不实时的，无法包管完整性和准确性。
数据导向：
各部分都体贴的数据及相互关系统一纳入CMDB治理，并建设设置治理流程制度；
由于消耗场景不明确，造成消耗价值与生产本钱的失衡。
B站数据生产本钱建设并非很高，可是数据消耗产品建设特殊多，或是营业侧经常定制场景需求，CMDB需要定制介入开发，完成营业侧诉求。由此袒露出问题，CMDB有300多个OKACI，未便于维护。
场景导向：
局部数据标准化水平，准确性较高；
由于使用场景简单，总体消耗价值不高，生产成内情对较高。
效劳导向：
数据供应效劳，支持一样平常操作管控，如自动化、监控、作业流治理、运维剖析等；
引入多样化的数据生产/消耗手段，逐步平衡消耗价值与生产本钱。
价值导向：
CMDB周全支持效劳及营业生长，如效劳容量治理、可用性治理，成为IT运维的基石；
自动推动组织IT治理水平的提升。
7. CMDB模子怎样构建
图片
界说数据类型：包括主机、交流机、应用、应用设置文件，设置职员接到需求后会对此举行调研。
界说数据焦点属性：以主机为例，需要上报或收罗IP、序列号、机房、云厂商等资源焦点属性。
构建数据模子直接关系：梳理资源与资源之间的对应关系，如包括关系、依赖关系、运行关系等，以便后续制作资源拓扑。例如，应用使用一种数据类型，主机使用另一种数据类型，那么应用运行时会依赖主机，主机反过来可以组成应用。
消耗场景确认：确认消耗场景，就是确认数据用于哪些阶段。若是用于集群安排，可能需要到应用维度举行相关安排，或对应的运维作业。
确立数据规范：生命周期（从建设、生产到安排）是怎样的历程 ？数据状态转变后，平台怎样感知 ？
综上所述，我们要以数据全生命周期为起点，确定属性、理清关系、明确消耗场景，借助自动化流程来包管数据的实时性与准确性。
1）模子关系界说
图片
2）CI关系DEMO举例
图片
3）CMDB落地实验框架
现状评估：目今是否有CMDB平台 ？这个平台建设水平怎样 ？这部分数据质量怎样 ？组织架构和手艺架构怎样 ？未来上线的历程中，需要用到的资源状态怎样 ？
项目启动：启动时，需要界说接入资源的 CI模子和关系、后期消耗场景、数据泉源、CI关连方。
数据实例化：举行数据实例化检测时，会搭建测试情形，导入CI模子或实例化数据。
数据校验：在UG情形内，审查数据上报和现实产出的比照情形，确认数据质量能否达标。数据质量达标后，需要建设生产情形，以检测数据在生产情形的状态。
数据场景消耗：数据落到生产情形后，需审查数据消耗的场景，我们要与运营平台或SRE平台举行对接。
4）标准化先行
标准化先行是，落地之前的所有事项，都围绕标准化举行建设。其中包括一些强要求，好比妄想要求、流程要求、组织要求清静台要求。
规范要求：
明确界说CMDB平台的作用，以及其他营业系统间的关系；
明确界说资源的治理历程、责任人和责任平台；
明确界说资源的基线标准以及误差治理步伐；
从效劳营业场景的视角，妄想和建设设置治理能力。
流程要求：
能够真实反应资源状态；
能够完整包括所有资源信息以及资源间关系；
全局唯一的权威数据源；
数据能够被用户及系统利便、实时、高效地获取。
组织要求：
建设统一的设置治理能力建设主体；
各个营业团队明确设置消耗和完善的责任；
形成设置治理讨论、优化和需求网络的机制。
平台要求：
逐步实现设置自动发明、自动维护；
实时跟踪资源的状态及设置转变；
模子无邪，能够凭证营业需求实时扩展和调解；
设置可视化，能够支持资源问题的剖析和快速定位。
5）打造数据全生命周期闭环
首先，确定应用属性。应用的属性可能包括，应用的中英文名称、应用品级、唯一ID、归属营业和营业域等，属性内容主要取决于小我私人界说。界说应用后，应用可能与其他CI爆发关系，需进一步梳理。
其次，明确应用的属性认真人。应用具有对应的认真人、研发和SRE等，针对应用构建、宣布、变换，以及围绕用户举行的其他行动，我们都有对应流程，以包管应用的设置和变换审核。
最后，举行准时的收罗使命，以包管应用最终的数据准确性。
6）推动设置的自动发明和更新
上图提到的“资源”照旧古板意义上的资源，好比效劳器资源。通过一定方法收罗这些资源，最终上报到资源治理平台。
建设完善的设置收罗能力，杜绝人工维护的场景；
自动发明资源和应用的设置信息；
对接流程、治理平台和装备，实时获取和更新设置状态；
建设资源设置和使用规范，通过CMDB举行合规检查；
推动实现设置消耗闭环，通过消耗反响，自动维护数据可靠性。
以上就是不会建数据资产系统的SRE，不是一名好运维的详细内容，更多请关注本网内其它相关文章！
