数据存储和操作

来自DAMAChina
跳到导航 跳到搜索

数据存储与操作包括对存储数据的设计、实施和支持,最大化实现数据资源的价值,贯穿于数据创建/获取到处置的整个生命周期。

业务驱动因素:

组织依赖它们的信息系统来运营业务。数据存储与操作活动对于依赖数据的企业来说非常关键,这些活动的主要驱动因素是业务连续性。如果某个系统不可用,企业运营可能受到损害,甚至完全停止运营。为IT运营提供可靠的数据存储基础设施,可以最大幅度降低业务中断的风险。

管理目标和原则

数据存储与操作的管理目标:

  • 在整个数据生命周期中管理数据的可用性。
  • 确保数据资产的完整性。
  • 管理数据交易事务的性能。

数据存储与操作需要遵循以下指导原则,可以更好地完成目标,且有助于数据管理的整体工作。

  • 识别自动化的机会并采取行动:自动化数据库开发过程、开发工具和流程,缩短每个开发周期过程, 可以减少错误和返工,将对开发团队的影响降至最低。通过这种方式,DBA可以适应更多敏捷迭代的应用程序开发方法。
  • 构建时就考虑重用的思想:开发抽象的和可重用的数据对象并推广使用,不让应用程序与数据库模式紧耦合。
  • 理解并适当使用最佳实践:DBA应该将数据库标准和最佳实践作为需求来推广。但是,如果出现偏离标准的情况,并且偏离理由可以接受,那么DBA应该有足够的灵活性来处理这些偏差。数据库标准不应该成为项目成功的威胁。
  • 提供数据库的标准支持需求:例如,服务水平协议(SLA)可以反映DBA推荐的、开发人员认可的方法,以确保数据完整性和安全性。
  • 为项目中的DBA角色设置期望值:在项目定义阶段就让DBA参与进来,有助于确保项目方法论贯穿于整个软件开发生命周期。

基本概念

  • 数据库术语
  • 数据库
  • 实例(Instance)
  • 模式(Schema)
  • 节点
  • 数据生命周期管理
  • 数据库管理员(DBA)
  • 数据库架构类型
  • 集中式数据库
  • 分布式数据库
  • 联邦数据库
  • 区块链数据库
  • 虚拟化
  • 云计算
  • 数据处理类型
  • ACID
  • BASE
  • CAP
  • 数据存储介质
  • 软盘
  • 存储区域网络(SAN)
  • 内存
  • 列式数据库(Columnar-based  Databases)
  • 闪存(Flash Memory)
  • 数据库环境
  • 生产环境
  • 非生产环境
  • 开发环境
  • 测试环境
  • 数据沙盒或实验环境
  • 数据库组织模型
  • 层次数据库
  • 关系数据库
  • 多维数据库
  • 时态数据库
  • 非关系型数据库
  • 列式数据库
  • 空间数据库
  • 对象/多媒体数据库
  • 平面文件数据库
  • 键值对数据库(Key-Value Pair Database)
  • 三元组存储(Triplestore )
  • 专用数据库
  • 常见数据库过程
  • 数据归档
  • 容量和增长预测
  • 变动数据捕获(Change Data Capture,CDC)
  • 数据清除
  • 数据复制
  • 韧性与恢复
  • 数据保留(Retention)
  • 数据分片(Sharding)

管理活动

管理数据库技术

  • 理解数据库的技术特征
  • 评估数据库技术
  • 管理和监控数据库技术

管理数据库操作

  • 理解需求
    • 定义存储需求
    • 识别使用模式
    • 定义访问需求
  • 规划业务连续性
    • 备份数据
    • 恢复数据
  • 创建数据库实例
    • 物理存储环境管理
    • 管理数据访问控制
    • 创建存储容器
    • 应用物理数据模型
    • 加载数据
    • 管理数据复制
  • 管理数据库性能
    • 设置数据库性能服务水平SLA
    • 管理数据库可用性
    • 管理数据库运行
    • 维护数据库性能服务水平
    • 维护备用环境
  • 管理测试数据集
  • 管理数据迁移

工具和方法

工具

  • 数据建模工具
  • 数据库监控工具
  • 数据库管理工具
  • 开发支持工具

方法

  • 在低阶环境中测试
  • 物理命名标准
  • 所有变更操作脚本化

实践指南

  • 就绪评估/风险评估
  • 组织和文化变化

数据存储与操作的治理

  • 度量指标
  • 信息资产跟踪
  • 数据审计与数据有效性