百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

oracle-高水位

ccwgpt 2024-12-24 11:37 30 浏览 0 评论

高水位线

(HWM)是数据块未格式化且从未使用过的段中的分界点,也可以想象为一个水库的历史最高水位。

MSSM使用free lists来管理段空间。创建表格时,段中的任何块都不会格式化。当会话首次向表中插入行时,数据库会在可用列表中搜索可用块。如果数据库找不到可用的块,则会预生成一组块,将它们放在空闲列表中,并开始向块中插入数据。在MSSM中,全表扫描读取HWM下的所有块。

ASSM不使用free lists,因此必须以不同的方式管理空间。当会话首次将数据插入表中时,数据库将格式化单个位图块,而不是像MSSM中那样预先格式化一组块。位图跟踪段中块的状态,代替free lists。数据库使用位图查找空闲块,然后在用数据填充每个块之前对其进行格式化。ASSM在块之间展开插入以避免并发问题。

ASSM段中的每个数据块都处于以下状态之一:
HWM上方:
1、这些块未格式化,从未使用过。
HWM下方这些块处于以下状态之一:
1、已分配,但当前未格式化且未使用
2、格式化并包含数据
3、已格式化且为空,因为数据已删除

将ASSM段描述为一系列水平块。如下图,创建一个空表格时,HWM位于左侧段的开头。由于尚未插入任何数据,因此段中的所有块都未格式化且从未使用过。

假设事务将行插入到段中。数据库必须分配一组块来保存行。分配的块低于HWM。数据库格式化此组中的位图块以保存元数据,但不预处理组中的其余块。

如下图,在HWM以下的块是已分配的块,在HWM以上的是未分配的块。当数据写入发生时那么low hwm对应的分界点左侧就是实际存在数据或者被格式化的块。

数据库在HWM和低HWM之间选择一个块,并对其进行写入。数据库可以很容易地在HWM和低HWM之间选择任何其他块,或者在低HWM下选择任何具有可用空间的块。

当low hwm和hwm之间没有空余块可用的时候,数据块会移动hwm并分配一组没有格式化的块。原来的low hwm会移动到之前的hwm,新的hwm会移动到新的位置。


总结来说:

在MSSM表空间中每个段只有一个HWM,在ASSM表空间中,除了HWM外,还有一个低HWM。

在MSSM中,当HWM向前推进时,HWM之下的所有块都会被格式化并立即有效,Oracle可以安全地读取这块。

而对于ASSM,HWM推进时,Oracle并不会立即格式化所有块,而是在第一次真正使用这些块时才会完成格式化,以便安全地读取(这里的“安全”意思就是判断是否格式化)。第一次使用会发生在数据库向给定块插入记录时。

对于ASSM,数据会被插入到位于低HWM和HWM之间的任意块中,而在这个区域中的许多块可能没有被格式化。新数据要插入,但是通过bitmap确认到HWM下空间不足,则HWM会向右推进,分配一组未被格式化的块。HWM向右推进后,low HWM向右移动到老HWM的位置。 注意:官方文档上额外说到,如果在 low HWM之下有空余空间的任何块,也会被插入。

HWM以上的都是未分配、未格式化,HWM以下的都是被分配了的,有的格式化,有的没有

low HWM以下的都是格式化了的。

全表扫描和HWM的关系

当Oracle全表扫描至HWM后,会对低HWM以下的所有块直接读取并加以处理。而对介于低HWM和HWM之间的块,需要参考管理这些块所用的ASSM位图信息以便查看应该读取哪些块,以及哪些块应该被忽略。

如何查看表的高水位实验

LUQX@oradb>select round((1-a.used/b.num_total)*100,0) percent from
(SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1) a,
(select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX') b;  2    3  

   PERCENT
----------
	 3     高水位下的空闲块为3%   如果超过20-30%建议关注。说明表碎片比较严重。

查看某个表实际使用的块。
方法一:
LUQX@oradb>select count (distinct dbms_rowid.rowid_block_number(rowid)||'-'||dbms_rowid.rowid_relative_fno (rowid)) "used blocks" from TEST1;

used blocks
-----------
       1589     #查看当前实际使用的块数量
 方法二:
 LUQX@oradb>SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1;   实际使用1589个block

      USED
----------
      1589  #查看当前实际使用的块数量

 查看分配的块
 建议收集统计信息后查看会更准确:analyze table tablename compute statistics;
LUQX@oradb>select blocks,empty_blocks,num_rows from dba_tables where table_name='TEST1';

    BLOCKS EMPTY_BLOCKS   NUM_ROWS
---------- ------------ ----------
      1630	     34    1048576         #查看当前已分配的块数量和行数(可以理解为hwm为1630+34=1664)
HWMBLOCKS = “Blocks Containing data” + “Empty blocks”    
BLOCKS represents the number of blocks 'ever' used by the segment. 
EMPTY_BLOCKS represents only the number of blocks above the 'HIGH WATER MARK' 

删除100万条记录
LUQX@oradb>delete from test1 where rownum<1000000;

999999 rows deleted.

LUQX@oradb>commit;

Commit complete.

LUQX@oradb>analyze table test1 compute statistics;

Table analyzed.

LUQX@oradb>select round((1-a.used/b.num_total)*100,0) percent from
(SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1) a,
(select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX') b;  2    3  

   PERCENT
---------- 
	95    高水位已经为95  那么此时需要注意了

LUQX@oradb>select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX';

 NUM_TOTAL
----------
      1630

LUQX@oradb>SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1;

      USED
----------
	74    实际使用为74个块

LUQX@oradb>select blocks,empty_blocks,num_rows from dba_tables where table_name='TEST1';

    BLOCKS EMPTY_BLOCKS   NUM_ROWS
---------- ------------ ----------
      1630	     34      48577     分配块及空闲块未变化。#理解为hwm未降低。

通过执行shrink space操作降低高水位
LUQX@oradb>alter table test1 enable row movement;

Table altered.

LUQX@oradb>alter table test1 shrink space;

Table altered.

LUQX@oradb>analyze table test1 compute statistics;    收集统计信息

Table analyzed.

LUQX@oradb>select round((1-a.used/b.num_total)*100,0) percent from
(SELECT COUNT (DISTINCT SUBSTR(rowid,1,15)) Used FROM LUQX.TEST1) a,
(select blocks num_total from dba_tables where table_name='TEST1' and owner='LUQX') b;  2    3  

   PERCENT
----------
	 0              #通过命令查看水位下已经没有空闲块。


LUQX@oradb>select blocks,empty_blocks,num_rows from dba_tables where table_name='TEST1';

    BLOCKS EMPTY_BLOCKS   NUM_ROWS
---------- ------------ ----------
	74	     14      48577                #同时分配的block数量也下降未74个

降低水位的几种方式

ANALYZE TABLE table_name COMPUTE STATISTICS; 分析表
SELECT blocks, empty_blocks, num_rows FROM dba_tables WHERE  table_name='table_name'; 查询高水位线
方法 1:
alter table table_name enable row movement; 开启行迁移(收缩表操做第一步)
alter table table_name shrink space ; 收缩表空间
alter table table_name disable row movement; 关闭行迁移
1 压缩segment,调整hwm,并马上释放空间
2 shrink是以行为单位重组数据,根据复杂算法从逻辑+物理重组数据
3 shrink的算法是从segment的底部开始,移动row到segment的顶部,移动的过程相当于delete/insert操作的组合,在这个过程中会产生大量的undo和redo信息。
4 耗时可能非常长,通常慢于move。
5 对于空间的要求,shrink不需要额外的空间。
ALTER TABLE TABLE_NAME ENABLE ROW MOVEMENT;
alter table <table_name> shrink space [ <null> | compact | cascade ];
alter table shrink space compact cascade;
ALTER TABLE TABLE_NAME DISABLE ROW MOVEMENT;
cascade: 缩小表及其索引,并移动高水位线,释放空间,这个参数是在shrink table的时候自动级联索引,相当于rebulid index。
compact: 仅仅是缩小表和索引,并不移动高水位线,不释放空间
加上compact选项仅重新整理segment 空间,并压缩表的记录在以后进行release空间。
但数据库并不调整hwm及释放空间.
为了释放空间.你必须再发布alter table shrink space
--compact用于把一个长操作分割为两个较短的操作
如果在业务繁忙时做压缩,可以使用alter table shrink space compact来对表格进行碎片整理,而不调整高水位线,之后再次调用alter table table_name shrink space来释放空间。
也可以使用alter table table_name shrink space cascade来同时对索引都进行收缩,这等同于同时执行alter index idxname shrink space。

方法 2:
alter table table_name move; 移动表需要新建索引 ,表空间需要有足够的空间用于move。可以指定别的表空间
1 会锁表
2 move是以block为单位重组数据,行的rowid都会跟着变化,索引会失效,需要重建索引。
3 需要准备两倍的空间。
create Index new_index On table_name(deptno); 单一索引
create Index new_index on table_name(deptno,job); 复合索引
方法 3:
truncate table table_name; 清空表
方法4:
导出导入表

show_space.sql

tom大神的show space语句可以快速的查看表的空间占用情况信息及表的碎片状态。

CREATE OR REPLACE PROCEDURE show_space(p_segname   IN VARCHAR2,
                                       p_owner     IN VARCHAR2 DEFAULT USER,
                                       p_type      IN VARCHAR2 DEFAULT 'TABLE',
                                       p_partition IN VARCHAR2 DEFAULT NULL) AS
  l_free_blks          NUMBER;
  l_total_blocks       NUMBER;
  l_total_bytes        NUMBER;
  l_unused_blocks      NUMBER;
  l_unused_bytes       NUMBER;
  l_lastusedextfileid  NUMBER;
  l_lastusedextblockid NUMBER;
  l_last_used_block    NUMBER;
  l_segment_space_mgmt VARCHAR2(255);
  l_unformatted_blocks NUMBER;
  l_unformatted_bytes  NUMBER;
  l_fs1_blocks         NUMBER;
  l_fs1_bytes          NUMBER;
  l_fs2_blocks         NUMBER;
  l_fs2_bytes          NUMBER;
  l_fs3_blocks         NUMBER;
  l_fs3_bytes          NUMBER;
  l_fs4_blocks         NUMBER;
  l_fs4_bytes          NUMBER;
  l_full_blocks        NUMBER;
  l_full_bytes         NUMBER;

  PROCEDURE p(p_label IN VARCHAR2,
              p_num   IN NUMBER) IS
  BEGIN
    dbms_output.put_line(rpad(p_label, 40, '.') ||
                         (p_num));
  END;
BEGIN
  EXECUTE IMMEDIATE 'select ts.segment_space_management from dba_segments seg,dba_tablespaces ts where seg.segment_name = :p_segname and (:p_partition is null or seg.partition_name = :p_partition) and seg.owner = :p_owner and seg.tablespace_name=ts.tablespace_name'
    INTO l_segment_space_mgmt
    USING p_segname, p_partition, p_partition, p_owner;

  --     exception
  --             when too_many_rows
  --             then
  --             dbms_output.put_line('This must be a partitioned table,use p_partition => ');
  --             return;
  --     end;

  IF l_segment_space_mgmt = 'AUTO' THEN
    dbms_space.space_usage(p_owner, p_segname, p_type, l_unformatted_blocks,
                           l_unformatted_bytes, l_fs1_blocks, l_fs1_bytes,
                           l_fs2_blocks, l_fs2_bytes, l_fs3_blocks, l_fs3_bytes,
                           l_fs4_blocks, l_fs4_bytes, l_full_blocks,
                           l_full_bytes, p_partition);

    p('Unformatted Blocks  ', l_unformatted_blocks);
    p('FS1 Blocks (0-25)   ', l_fs1_blocks);
    p('FS2 Blocks (25-50)  ', l_fs2_blocks);
    p('FS3 Blocks (50-75)  ', l_fs3_blocks);
    p('FS4 Blocks (75-100) ', l_fs4_blocks);
    p('Full Blocks         ', l_full_blocks);
  ELSE
    dbms_space.free_blocks(segment_owner => p_owner, segment_name => p_segname,
                           segment_type => p_type, freelist_group_id => 0,
                           free_blks => l_free_blks);
  END IF;

  dbms_space.unused_space(segment_owner => p_owner, segment_name => p_segname,
                          segment_type => p_type, partition_name => p_partition,
                          total_blocks => l_total_blocks,
                          total_bytes => l_total_bytes,
                          unused_blocks => l_unused_blocks,
                          unused_bytes => l_unused_bytes,
                          last_used_extent_file_id => l_lastusedextfileid,
                          last_used_extent_block_id => l_lastusedextblockid,
                          last_used_block => l_last_used_block);

  p('Total Blocks ', l_total_blocks);
  p('Total Bytes  ', l_total_bytes);
  p('Total MBytes ', trunc(l_total_bytes / 1024 / 1024));
  p('Unused Blocks', l_unused_blocks);
  p('Unused Bytes ', l_unused_bytes);
  p('Last Used Ext FileId', l_lastusedextfileid);
  p('Last Used Ext BlockId', l_lastusedextblockid);
  p('Last Used Block', l_last_used_block);
END;
/
Procedure created.

执行sql创建对应的存储过程

SYS@oradb>desc show_space;
PROCEDURE show_space
 Argument Name			Type			In/Out Default?
 ------------------------------ ----------------------- ------ --------
 P_SEGNAME			VARCHAR2		IN
 P_OWNER			VARCHAR2		IN     DEFAULT
 P_TYPE 			VARCHAR2		IN     DEFAULT
 P_PARTITION			VARCHAR2		IN     DEFAULT
 参数说明:
  p_segname:对像名称
  p_owner:对像所属用户名  
  p_type:对像类型(常用的:INDEX,TABLE,TABLE PARTITION,INDEX PARTITION,CLUSTER)
  p_partition :如果是分区对像,分区名
调用举例:
BEGIN
 SHOW_SPACE(p_segname => 'test',p_owner => 'test',p_type => 'TABLE PARTITION',p_partition => 'testp1');
END;
或 
exec show_space('test');

查看某个表的信息

查看空表信息:

表中插入数据查看状态

删除表中数据查看状态

执行shrink space后的效果

相关推荐

go-admin开源项目,快速搭建一个管理后台系统,直接二次开发上线

#头条创作挑战赛#目录1,关于go-admin2,使用go-admin进行构建3,使用go-admin进行数据库,后端初始化4,下载前端代码,进行node编译5,总结1,关于go-admingithu...

【开源】一款高效优雅的 Vite+Vue3 中后台管理模板——Arco-Admin

今天给大家分享一款开源的基于Vite、TypeScript和Vue3的中后台前端框架,结合了ArcoDesign提供的优雅设计与强大功能。值得一提的是,ArcoDesign是字节跳...

看看这样的Dotnet后台管理,那真是叫一个清新优雅高颜值!!!

MalusAdmin基于Vue3/TypeScript/NaiveUI和NET7&Sqlsugar开发的后台管理框架。采用最原生最简洁的方式来实现,前端清新优雅高颜值,后端结...

NET 7 + Vue.js 的前后端分离的通用后台管理系统框架

DncZeus项目简介DncZeus是一个基于.NET7+Vue.js的前后端分离的通用后台管理系统框架。后端使用.NET7+EntityFrameworkCore构建,UI则...

后台管理系统这么受欢迎吗?又 Go 一个开源项目

大家好,我是欧盆索思(opensource),每天为你带来优秀的开源项目!之前推荐过两款后台管理系统,都是Go语言实现的。十分钟内构建数据可视化和管理后台:还同时支持众多框架基于Go语言Gi...

支持AI + 低代码!一款开箱即用的强大权限管理系统

写在前面大家好,这里是IT学习日记。今日推荐项目:cool-admin,获取方式在文后!1000+优质开源项目推荐进度:51/1000。如需更多类型优质项目推荐,请在文章后留言。项目简介如果你在为设计...

使用 Flask-Admin 快速开发博客后台管理系统:关键要点解析

一、为什么选择Flask-Admin?Flask-Admin是Flask生态中高效的后台管理框架,核心优势在于:-零代码生成CRUD界面:基于数据库模型自动生成增删改查功能-高度可定制...

通用后台管理系统需求及原型设计(后台管理系统需求分析)

编辑导读:后台管理系统,会根据不同公司、不同业务的要求做出改变。那么,有没有通用的功能和和需求设计模版呢?有的。本文作者基于自身工作经验,总结了一套通用的后台管理系统需求及原型设计,与你分享。网上很多...

基于 Vue3 后台管理平台Vue3.x-Admin

今天给大家分享一个Vue3.0框架搭建的后台管理模板Vue3.xAdmin。vue3.x-admin使用vue3开发的后台管理系统。主要包括CSS3特效、可拖拽的div、图表、益智小游戏、vuex4...

火爆全网:后台管理系统源码分享(项目部署+前后端手册+运维)

这是一款基于SpringBoot2.1.0、Jpa、SpringSecurity、redis、Vue的前后端分离的后台管理系统,项目采用分模块开发方式,权限控制采用RBAC,支持数...

好多程序员都在用的通用管理后台—likeadmin

前言作为一个程序员,最害怕的就是每次开新项目时,总是要从用户、角色、菜单、接口等一系列功能从头开始写代码,重复的工作实在是太多了,即耗费时间,又耗费精力,这个时候就需要一些能提高效率的工具,例如一个通...

Axure无限级导航菜单(axure导航栏左右滑动怎么做)

在Axure设计中,树组件是展示层级结构数据的关键UI组件,广泛应用于文件管理、导航菜单和数据分类等场景。本篇文章将详细解析如何在Axure中构建一个实用的无限级导航菜单,帮助你高效管理和...

三星调整HBM团队组织架构 押宝定制化HBM

【三星调整HBM团队组织架构押宝定制化HBM】《科创板日报》27日讯,消息称,三星电子DS(设备解决方案)部门负责人全永铉正在进行内部组织大幅调整。他将三星HBM开发团队细分为标准HBM、定制化HB...

北森组织架构一览(北森总部地址)

北森的职级组织架构和职级名称都很有意思。可以作为企业参考。1)培养路径:森小白(BeisenNewcomer):新入职员工。森小贤(BeisenSage):L1层级森大侠(BeisenWarri...

高手正在使用的四个PLC编程思路,吃透让你少走20年弯路

在工业自动化领域,PLC(可编程逻辑控制器)编程是核心技能之一。掌握高效的编程思路不仅能提升工作效率,还能减少调试过程中的错误。以下是四条经过PLC工程师实践检验的编程思路,理解并运用这些思路可以让你...

取消回复欢迎 发表评论: