数据存储和操作

来自DAMAChina
Root讨论 | 贡献2023年2月16日 (四) 02:01的版本 →‎基本概念
跳到导航 跳到搜索

数据存储与操作包括对存储数据的设计、实施和支持,最大化实现数据资源的价值,贯穿于数据创建/获取到处置的整个生命周期。

业务驱动因素:

组织依赖它们的信息系统来运营业务。数据存储与操作活动对于依赖数据的企业来说非常关键,这些活动的主要驱动因素是业务连续性。如果某个系统不可用,企业运营可能受到损害,甚至完全停止运营。为IT运营提供可靠的数据存储基础设施,可以最大幅度降低业务中断的风险。

管理目标和原则

数据存储与操作的管理目标:

  • 在整个数据生命周期中管理数据的可用性。
  • 确保数据资产的完整性。
  • 管理数据交易事务的性能。

数据存储与操作需要遵循以下指导原则,可以更好地完成目标,且有助于数据管理的整体工作。

  • 识别自动化的机会并采取行动:自动化数据库开发过程、开发工具和流程,缩短每个开发周期过程, 可以减少错误和返工,将对开发团队的影响降至最低。通过这种方式,DBA可以适应更多敏捷迭代的应用程序开发方法。
  • 构建时就考虑重用的思想:开发抽象的和可重用的数据对象并推广使用,不让应用程序与数据库模式紧耦合。
  • 理解并适当使用最佳实践:DBA应该将数据库标准和最佳实践作为需求来推广。但是,如果出现偏离标准的情况,并且偏离理由可以接受,那么DBA应该有足够的灵活性来处理这些偏差。数据库标准不应该成为项目成功的威胁。
  • 提供数据库的标准支持需求:例如,服务水平协议(SLA)可以反映DBA推荐的、开发人员认可的方法,以确保数据完整性和安全性。
  • 为项目中的DBA角色设置期望值:在项目定义阶段就让DBA参与进来,有助于确保项目方法论贯穿于整个软件开发生命周期。

基本概念

数据库术语

数据库

实例(Instance)

模式(Schema)

节点

数据生命周期管理

数据库管理员(DBA)

数据库架构类型

集中式数据库

分布式数据库

联邦数据库

区块链数据库

虚拟化

云计算

数据处理类型

ACID

BASE

CAP

数据存储介质

软盘

存储区域网络(SAN)

内存

列式数据库(Columnar-based  Databases)

闪存(Flash Memory)

数据库环境

生产环境

非生产环境

开发环境

测试环境

数据沙盒或实验环境

数据库组织模型

层次数据库

关系数据库

多维数据库

时态数据库

非关系型数据库

列式数据库

空间数据库

对象/多媒体数据库

平面文件数据库

键值对数据库(Key-Value Pair Database)

三元组存储(Triplestore )

专用数据库

常见数据库过程

数据归档

容量和增长预测

变动数据捕获(Change Data Capture,CDC)

数据清除

数据复制

韧性与恢复

数据保留(Retention)

数据分片(Sharding)

管理活动

管理数据库技术

  • 理解数据库的技术特征
  • 评估数据库技术
  • 管理和监控数据库技术

管理数据库操作

  • 理解需求
    • 定义存储需求
    • 识别使用模式
    • 定义访问需求
  • 规划业务连续性
    • 备份数据
    • 恢复数据
  • 创建数据库实例
    • 物理存储环境管理
    • 管理数据访问控制
    • 创建存储容器
    • 应用物理数据模型
    • 加载数据
    • 管理数据复制
  • 管理数据库性能
    • 设置数据库性能服务水平SLA
    • 管理数据库可用性
    • 管理数据库运行
    • 维护数据库性能服务水平
    • 维护备用环境
  • 管理测试数据集
  • 管理数据迁移

工具和方法

工具

  • 数据建模工具
  • 数据库监控工具
  • 数据库管理工具
  • 开发支持工具

方法

  • 在低阶环境中测试
  • 物理命名标准
  • 所有变更操作脚本化

实践指南

  • 就绪评估/风险评估
  • 组织和文化变化

数据存储与操作的治理

  • 度量指标
  • 信息资产跟踪
  • 数据审计与数据有效性