`
king_tt
  • 浏览: 2083714 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

全面了解数据库设计中分类算法

 
阅读更多

【转】推荐:全面了解数据库设计中分类算法

分类算法要解决的问题

在网站建设中,分类算法的应用非常的普遍。在设计一个电子商店时,要涉及到商品分类;在设计发布系统时,要涉及到栏目或者频道分类;在设计软件下载这样的程序时,要涉及到软件的分类;如此等等。可以说,分类是一个很普遍的问题。

我常常面试一些程序员,而且我几乎毫无例外地要问他们一些关于分类算法的问题。下面的举几个我常常询问的问题。你认为你可以很轻松地回答么?

1、分类算法常常表现为树的表示和遍历问题。那么,请问:如果用数据库中的一个Table来表达树型分类,应该有几个字段?

2、如何快速地从这个Table恢复出一棵树?

3、如何判断某个分类是否是另一个分类的子类?

4、如何查找某个分类的所有产品?

5、如何生成分类所在的路径。

6、如何新增分类?

在不限制分类的级数和每级分类的个数时,这些问题并不是可以轻松回答的。本文试图解决这些问题。

分类的数据结构

我们知道:分类的数据结构实际上是一棵树。在《数据结构》课程中,大家可能学过Tree的算法。由于在网站建设中我们大量使用数据库,所以我们将从Tree在数据库中的存储谈起。

为简化问题,我们假设每个节点只需要保留Name这一个信息。我们需要为每个节点编号。编号的方法有很多种。在数据库中常用的就是自动编号。这在Access、SQL Server、Oracle中都是这样。假设编号字段为ID。

为了表示某个节点ID1是另外一个节点ID2的父节点,我们需要在数据库中再保留一个字段,说明这个分类是属于哪个节点的儿子。把这个字段取名为FatherID。如这里的ID2,其FatherID就是ID1。

这样,我们就得到了分类Catalog的数据表定义:
Create Table [Catalog]([ID] [int] NOT NULL,[Name] [nvarchar](50) NOT NULL,[FatherID] [int] NOT NULL);

约定:我们约定用-1作为最上面一层分类的父亲编码。编号为-1的分类。这是一个虚拟的分类。它在数据库中没有记录。

如何恢复出一棵树

上面的Catalog定义的最大优势,就在于用它可以轻松地恢复出一棵树?分类树。为了更清楚地展示算法,我们先考虑一个简单的问题:怎样显示某个分类的下一级分类。我们知道,要查询某个分类FID的下一级分类,SQL语句非常简单:


select Name from catalog where FatherID=FID

显示这些类别时,我们可以这样:
<%REM oConn---数据库连接,调用GetChildren时已经打开REM FID-----当前分类的编号Function GetChildren(oConn,FID)strSQL = "select ID,Name from catalog where FatherID="&FIDset rsCatalog = oConn.Execute(strSQL)%>

<UL><%Do while not rsCatalog.Eof %><LI><%=rsCatalog("Name")%><%Loop%></UL>

<% rsCatalog.CloseEnd Function%>

现在我们来看看如何显示FID下的所有分类。这需要用到递归算法。我们只需要在GetChildren函数中简单地对所有ID进行调用:GetChildren(oConn,Catalog(“ID”))就可以了。


<%REM oConn---数据库连接,已经打开REM FID-----当前分类的编号Function GetChildren(oConn,FID)strSQL = "select Name from catalog where FatherID="&FIDset rsCatalog = oConn.Execute(strSQL)%>

<UL><%Do while not rsCatalog.Eof %>

<LI><%=rsCatalog("Name")%>

<%=GetChildren(oConn,Catalog("ID"))%><%Loop%>

</UL><% rsCatalog.CloseEnd Function%>

修改后的GetChildren就可以完成显示FID分类的所有子分类的任务。要显示所有的分类,只需要如此调用就可以了:


<%REM strConn--连接数据库的字符串,请根据情况修改set oConn = Server.CreateObject("ADODB.Connection")oConn.Open strConn=GetChildren(oConn,-1)oConn.Close%>

如何查找某个分类的所有产品

现在来解决我们在前面提出的第四个问题。

第三个问题留作习题。我们假设产品的数据表如下定义:
Create Table Product([ID] [int] NOT NULL,[Name] [nvchar] NOT NULL,[FatherID] [int] NOT NULL);

其中,ID是产品的编号,Name是产品的名称,而FatherID是产品所属的分类。对第四个问题,很容易想到的办法是:先找到这个分类FID的所有子类,然后查询所有子类下的所有产品。实现这个算法实际上很复杂。代码大致如下:


<%Function GetAllID(oConn,FID)Dim strTempIf FID=-1 thenstrTemp = ""elsestrTemp =","end ifstrSQL = "select Name from catalog where FatherID="&FIDset rsCatalog = oConn.Execute(strSQL)Do while not rsCatalog.Eof strTemp=strTemp&rsCatalog("ID")&GetAllID(oConn,Catalog("ID")) REM 递归调用LooprsCatalog.CloseGetAllID = strTempEnd FunctionREM strConn--连接数据库的字符串,请根据情况修改set oConn = Server.CreateObject("ADODB.Connection")oConn.Open strConnFID = Request.QueryString("FID")strSQL = "select top 100 * from Product where FatherID in ("&GetAllID(oConn,FID)&")"set rsProduct=oConn.Execute(strSQL)%>

<UL><%Do while not rsProduct.EOF%>

<LI><%=rsProduct("Name")%><% Loop%>

</UL>

<%rsProduct.CloseoConn.Close %>

这个算法有很多缺点。试列举几个如下:

1、 由于我们需要查询FID下的所有分类,当分类非常多时,算法将非常地不经济,而且,由于要构造一个很大的strSQL,试想如果有1000个分类,这个strSQL将很大,能否执行就是一个问题。

2、 我们知道,在SQL中使用In子句的效率是非常低的。这个算法不可避免地要使用In子句,效率很低。

我发现80%以上的程序员钟爱这样的算法,并在很多系统中大量地使用。细心的程序员会发现他们写出了很慢的程序,但苦于找不到原因。他们反复地检查SQL的执行效率,提高机器的档次,但效率的增加很少。

最根本的问题就出在这个算法本身。算法定了,能够再优化的机会就不多了。我们下面来介绍一种算法,效率将是上面算法的10倍以上。

分类编码算法

问题就出在前面我们采用了顺序编码,这是一种最简单的编码方法。大家知道,简单并不意味着效率。实际上,编码科学是程序员必修的课程。下面,我们通过设计一种编码算法,使分类的编号ID中同时包含了其父类的信息。一个五级分类的例子如下:

此例中,用32(4+7+7+7+7)位整数来编码,其中,第一级分类有4位,可以表达16种分类。第二级到第五级分类分别有7位,可以表达128个子分类。

显然,如果我们得到一个编码为 1092787200 的分类,我们就知道:由于其编码为

0100 0001001 0001010 0111000 0000000

所以它是第四级分类。其父类的二进制编码是0100 0001001 0001010 0000000 0000000,十进制编号为1092780032。依次我们还可以知道,其父类的父类编码是0100 0001001 0000000 0000000 0000000,其父类的父类的父类编码是0100 0000000 0000000 0000000 0000000。

现在我们在一般的情况下来讨论类别编码问题。设类别的层次为k,第i层的编码位数为Ni, 那么总的编码位数为N(N1+N2+..+Nk)。我们就得到任何一个类别的编码形式如下:

2^(N-(N1+N2+…+Ni))*j + 父类编码

其中,i表示第i层,j表示当前层的第j个分类。这样我们就把任何分类的编码分成了两个部分,其中一部分是它的层编码,一部分是它的父类编码。由下面公式定一的k个编码我们称为特征码:(因为i可以取k个值,所以有k个)

2^N-2^(N-(N1+N2+…+Ni))

对于任何给定的类别ID,如果我们把ID和k个特征码“相与”,得到的非0编码,就是其所有父类的编码!

位编码算法

对任何顺序编码的Catalog表,我们可以设计一个位编码算法,将所有的类别编码规格化为位编码。在具体实现时,我们先创建一个临时表:
Create TempCatalog([OldID] [int] NOT NULL,[NewID] [int] NOT NULL,[OldFatherID] [int] NOT NULL,[NewFatherID] [int] NOT NULL);

在这个表中,我们保留所有原来的类别编号OldID和其父类编号OldFatherID,以及重新计算的满足位编码要求的相应编号NewID、NewFatherID。

程序如下:
<%REM oConn---数据库连接,已经打开REM OldFather---原来的父类编号REM NewFather---新的父类编号REM N---编码总位数REM Ni--每一级的编码位数数组REM Level--当前的级数sub FormatAllID(oConn,OldFather,NewFather,N,Nm,Ni byref,Level)strSQL = "select CatalogID , FatherID from Catalog where FatherID=" & OldFatherset rsCatalog=oConn.Execute( strSQL )j = 1do while not rsCatalog.EOFi = 2 ^(N - Nm) * jif Level then i= i + NewFatherOldCatalog = rsCatalog("CatalogID")NewCatalog = i

REM 写入临时表:
strSQL = "Insert into TempCatalog (OldCatalogID , NewCatalogID , OldFatherID , NewFatherID)"strSQL = strSQL & " values(" & OldCatalog & " , " & NewCatalog & " , " & OldFather & " , " & NewFather & ")"Conn.Execute strSQLREM 递归调用FormatAllID:Nm = Nm + Ni(Level+1) FormatAllID oConn,OldCatalog , NewCatalog ,N,Nm,Ni,Level + 1rsCatalog.MoveNextj = j+1looprsCatalog.Closeend sub%>

调用这个算法的一个例子如下:
<%REM 定义编码参数,其中N为总位数,Ni为每一级的位数。Dim N,Ni(5) Ni(1) = 4N = Ni(1) for i=2 to 5Ni(i) = 7N = N + Ni(i)next

REM 打开数据库,创建临时表:
strSQL = "Create TempCatalog( [OldID] [int] NOT NULL, [NewID] [int] NOT NULL, [OldFatherID] [int] NOT NULL, [NewFatherID] [int] NOT NULL);"Set Conn = Server.CreateObject("ADODB.Connection") Conn.Open Application("strConn")Conn.Execute strSQL

REM 调用规格化例程:
FormatAllID Conn,-1,-1,N,Ni(1),Ni,0REM -----REM 在此处更新所有相关表的类别编码为新的编码即可。REM -----

REM 关闭数据库:
strSQL= "drop table TempCatalog;"Conn.Execute strSQLConn.Close%>

第四个问题

现在我们回头看看第四个问题:怎样得到某个分类下的所有产品。由于采用了位编码,现 在问题变得很简单。我们很容易推算:某个产品属于某个类别的条件是Product.FatherID&(Catalog.ID的特征码)= Catalog.ID。其中“&”代表位与算法。这在SQL Server中是直接支持的。

举例来说:产品所属的类别为:1092787200,而当前类别为1092780032。当前类别对应的特征值为:4294950912,由于1092787200&4294950912=8537400,所以这个产品属于分类8537400。

我们前面已经给出了计算特征码的公式。特征码并不多,而且很容易计算,可以考虑在Global.asa中Application_OnStart时间触发时计算出来,存放在Application(“Mark”)数组中。

当然,有了特征码,我们还可以得到更加有效率的算法。我们知道,虽然我们采用了位编 码,实际上还是一种顺序编码的方法。表现出第I级的分类编码肯定比第I+1级分类的编码要小。根据这个特点,我们还可以由FID得到两个特征码,其中一个 是本级位特征码FID0,一个是上级位特征码FID1。而产品属于某个分类FID的充分必要条件是:


Product.FatherID>FID0 and Product.FatherID<FID1

下面的程序显示分类FID下的所有产品。由于数据表Product已经对FatherID进行索引,故查询速度极快:
<%REM oConn---数据库连接,已经打开REM FID---当前分类REM FIDMark---特征值数组,典型的情况下为Application(“Mark”)REM k---数组元素个数,也是分类的级数Sub GetAllProduct(oConn,FID,FIDMark byref,k)' 根据FID计算出特征值FID0,FID1for i=k to 1if (FID and FIDMark = FID ) then exitnext strSQL = "select Name from Product where FatherID>"FIDMark(i)&" and FatherID<"FIDMark(i-1)set rsProduct=oConn.Execute(strSQL)%><UL><%Do While Not rsProduct.Eof%><LI><%=rsProduct("Name")Loop%></UL><%rsProduct.CloseEnd Sub%>

关于第5个问题、第6个问题,就留作习题吧。有了上面的位编码,一切都应该迎刃而解。


话题: [收集] 各式各样的 无限级分类 的数据库设计方案

第一种方案:

表为两张,一张分类表,一张信息表。
表1:
`ID` int(10),
`cID` tinyint(3) ,
`title` varchar(255),
表2:
`cID` tinyint(3) ,
`parentID` tinyint(3),
`order` tinyint(3) ,
`name` varchar(255),

这样可以根据cID = parentID来判断上一级内容,运用递归至最顶层 。

第二种方案:

设置parentID为varchar类型,将父类id都集中在这个字段里,用符号隔开,比如:1,3,6
这样可以比较容易得到各上级分类的ID,而且在查询分类下的信息的时候,可以使用如:Select * From information Where cID Like "1,3%"。不过在添加分类和转移分类的时候操作将非常麻烦。

以上两种方案地址:http://search.phpres.com/phpres-top2007,98552.html

第三种方案:

每级分类递增两位数字,这样,每级分类的数目限定在100个之间,分类方法主要为编码法;
示例:
一级分类:01,02,03
二级分类:0101,0102,0103,0201,0202........
三级分类:010101,010102,010103,010104..........


数据库查询时使用 like '01%'就可得到一级分类01下的所有子分类,非常方便!
如果要列出所有分类的树型结构,只需用一条语句select * from pro_class order by code,再稍微处理一下就可。(其中,pro_class为产品分类表,code为类别编码)。


设计的数据库结构如下:
id: 类别id,主键
classname: 类名
classcode: 类别编码
parent: 父id
left_child: 最左孩子id(或第一个孩子)
right_sibling: 右兄弟id
layer: 层级(第一级类别为1,第2级类别2,以此类推)

分享到:
评论

相关推荐

    Python人脸表情的分类算法的设计(django)_(项目源码+数据库脚本+文档+LW+PPT)

    通过深入研究系统的设计思路、架构和实现细节,您将能够全面了解使用Python构建Web应用程序的方法。源代码不仅是学习的资源, 还可作为技术分享和交流的平台,促进技术互动和知识共享。 在学习过程中,您将通过分析...

    信息架构:超越Web设计(第4版)(全彩).[美]Louis Rosenfeld(带详细书签) PDF 下载 高清 完整版

    用户体验设计师、产品经理、开发人员和数字设计中涉及的所有人,都要学习如何创建帮助人们与你的信息进行交互的语义结构。 本书包括: 信息架构概述,以及为创建有效的数字产品和服务而解决的问题 深入探讨了信息...

    家庭理财管理系统课程设计.doc

    5 4.3.1 系统数据流程图 5 4.3.2 数据字典 7 4.4 系统数据模型 9 5概要设计 11 5.1 总体系结构设计 11 5.2 接口设计 12 5.2.1外部接口 12 5.2.2 内部接口 12 5.3 代码设计 12 5.3.1 代码设计 12 5.4 数据库设计 ...

    asp.net知识库

    技术基础 New Folder ...知识集锦:三分钟全面了解 Blog 和 RSS C#+ASP.NET开发基于Web的RSS阅读器 ASP.NET RSS Toolkit(RSS工具) Serialize Your Deck with Positron [XML Serialization, XSD, C#]...

    oracle学习文档 笔记 全面 深刻 详细 通俗易懂 doc word格式 清晰 连接字符串

    oracle学习文档 笔记 全面 深刻 详细 通俗易懂 doc word格式 清晰 第一章 Oracle入门 一、 数据库概述 数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今五十年前。简单来说是本身可视...

    2009.6.19—30举办3S研讨会暨Google Earth与Google Map等仿真建模与共享及ARCGIS与遥感高级程序员培训班

    1、介绍目标前国际上最优秀的GIS软件ARCCIS9体系结构及全面了解ARCCIS9.0桌面系统的体系结构和功能介绍,介绍ESRI的ARC-CATALOG,ARCTOOLBOX通用GIS解决方案的精彩设计以及最新的ARCCISENGINE和ARCCIS SERVER。...

    网新中英文企业手机电脑一体化建站视频版 v5.8.rar

    始终致力于开发最优化的算法和数据结构,企业网站管理系统营销旗舰版从每个表和字段的设计、每个索引的构建到每个查询的算法, 都经过缜密的考虑和最佳的优化,使用了众多知名的高效算法,并独创了一系列高效的处理...

    网新中英文企业手机电脑一体化建站专业版 v4.9.rar

    始终致力于开发最优化的算法和数据结构,企业网站管理系统营销旗舰版从每个表和字段的设计、每个索引的构建到每个查询的算法, 都经过缜密的考虑和最佳的优化,使用了众多知名的高效算法,并独创了一系列高效的处理...

    网新中英文企业手机电脑一体化建站高级版 v4.8.rar

    始终致力于开发最优化的算法和数据结构,企业网站管理系统营销旗舰版从每个表和字段的设计、每个索引的构建到每个查询的算法, 都经过缜密的考虑和最佳的优化,使用了众多知名的高效算法,并独创了一系列高效的处理...

    网新中英文企业手机电脑一体化建站通用版 v4.9.rar

    始终致力于开发最优化的算法和数据结构,企业网站管理系统营销旗舰版从每个表和字段的设计、每个索引的构建到每个查询的算法, 都经过缜密的考虑和最佳的优化,使用了众多知名的高效算法,并独创了一系列高效的处理...

    网新中英文企业手机电脑一体化建站标准版 v4.9.rar

    始终致力于开发最优化的算法和数据结构,企业网站管理系统营销旗舰版从每个表和字段的设计、每个索引的构建到每个查询的算法, 都经过缜密的考虑和最佳的优化,使用了众多知名的高效算法,并独创了一系列高效的处理...

    网新中英多国语言CMS v9.0.rar

    具有丰富的 Cache 处理经验,在企业网站管理系统营销旗舰版中全面引入了缓存处理,并独创了一系列先进技术 如:完全生成HTML、编译模板、语法生成内核、数据缓存和自动更新机制等,使系统具有卓越的访问速度和负载...

    网新中英多国语言CMS v3.7.rar

    具有丰富的 Cache 处理经验,在企业网站管理系统营销旗舰版中全面引入了缓存处理,并独创了一系列先进技术, 如:完全生成HTML、编译模板、语法生成内核、数据缓存和自动更新机制等,使系统具有卓越的访问速度和...

    大数据产品及服务能力.pptx

    业务价值导向 业务价值实现 大数据 基础平台 行业应用 提供一站式大数据应用支撑平台产品能力 交换汇集 挖掘分析 可视化 存储计算 融合治理 提供专业服务能力 政府 金融 能源 交通 军工 企业 咨询 设计 算法 定制 ...

    java 面试题 总结

    SessionBean在J2EE应用程序中被用来完成一些服务器端的业务操作,例如访问数据库、调用其他EJB组件。EntityBean被用来代表应用系统中用到的数据。 对于客户机,SessionBean是一种非持久性对象,它实现某些在服务器上...

    我国GIS软件的发展现状

    它的四类抽象语义机制,即分类(Classification)、聚合(Aggregation)、类属(Generalization)和集合(Association)以及消息传送机制,可以使软件的构造过程以更加接近客观现实的方式来进行,设计出的软件更加...

    超级有影响力霸气的Java面试题大全文档

    SessionBean在J2EE应用程序中被用来完成一些服务器端的业务操作,例如访问数据库、调用其他EJB组件。EntityBean被用来代表应用系统中用到的数据。  对于客户机,SessionBean是一种非持久性对象,它实现某些在服务器...

    密码管家 - 最强大的密码管理助手

    1. 无论是新用户还是老用户,请务必在成功安装了新版的密码管家后花上2,3分钟时间查看软件帮助,全面了解一下软件的功能和操作方法,这样有利于您在更短的时间内熟练掌握密码管家的全部本领。 2. 遇到软件使用方面...

    2019数据运营思维导图

    对用户的消费有个全面的数据记录,对用户的消费能力、消费意向、消费等级进行很好的管理 用户心理属性 心理属性指用户在环境、社会或者交际、感情过程中的心理反应,或者心理活动 目前,用户心理相对会有难度,不用...

Global site tag (gtag.js) - Google Analytics