CN1607541A - 图象处理方法 - Google Patents

Abstract

本发明提供一种图象处理方法，依据输入的图象，检索存储在存储装置处的原始电子数据，比较该检索出的原始电子数据与输入的图象后提取出差异信息，将该差异信息与所述原始电子数据进行合成。合成后将生成的电子数据存储在存储装置中。基于输入的图象，检索存储在存储装置中的原始电子数据，没有检索出原始电子数据的场合，对所输入的图象进行矢量数据化，将该矢量数据化后的图象作为电子数据存储在存储装置中。合成通过块选择步骤获得的区域分割信息与输入图象，显示在MFP的操作画面上，并对于所显示的区域分割信息，将应作为矢量化处理对象的全部矩形块指定为指定区域。例如，指定指定区域的方法为用户利用指示设备，指定图象中的一个或多个矩形块。

Description

图象处理方法

优先权声明

本申请依据35USC§119的规定，要求享有下述申请的优先权：申请号为No.2003-35113，名称为“图象处理方法”，申请日为2003年2月13日的日本专利申请；申请号为No.2003-35112，名称为“图象处理方法”，申请日为2003年2月13日的日本专利申请；申请号为No.2003-152050，名称为“图象处理方法”，申请日为2003年5月29日的日本专利申请；申请号为No.2003-121075，名称为“图象处理方法”，申请日为2003年4月25日的日本专利申请。而且，这些申请的内容已通过引用方式构成为本申请的一部分。

技术领域

本发明涉及图象处理技术，更具体的说就是，本发明涉及从通过扫描和数字照相机等读取的原稿图象中，提取出附加在该图象中的手写信息的图象处理技术，以及将该读取出的原稿图象变换成可在诸如Word等等所谓的文档生成应用软件中再次利用的矢量数据的图象处理技术等等。

背景技术

近年来随着环境问题的日渐重视，办公无纸化进程正在急速推进，且已经开发出各种各样处理电子文件的技术。

例如，日本特开2001-358863号公报中，公开了一种通过扫描仪对纸文档进行读取，将其变换为电子文件格式(诸如JPEG和PDF等等)，并存储在图象存储装置中的技术。

而且，日本特开平8-147445号公报中，公开了一种对包含在文本图象内各种属性的区域进行检索，将每个区域作为内容来对文档进行管理的文档管理系统。

而且，日本特开平10-063820号公报中，公开了一种依据扫描的输入图象，识别相应电子信息的技术，而且还公开了对该输入图象与电子信息间的差异信息进行提取，并且将该提取出的差异信息与前述识别出的电子信息进行合成处理的信息处理装置。

而且，日本特开平10-285378号公报中，公开了一种对于数字复合设备(具有诸如复印功能、扫描功能、打印功能等等)，可以确定在扫描获得的图象中是否存在表示页面ID的图形代码，如果存在图形代码，则在数据库中对该页面ID进行检索。如果在数据库中发现该页面ID，则放弃目前获得的扫描图象，获取出替代该信息用的、与页面ID相关联的印刷数据，进而通过打印操作生成印刷图象并印刷在纸张上。在另一方面，对于该数据库中没有发现该页面ID的场合，在进行复印操作时将扫描图象原样复印在纸张上，在进行传真操作时和进行文件整理操作时，将PDL命令附加在扫描图象上，并作为PDL格式进行传送。而且，在日本特开平10-285378号公报公开的技术中，采用的是功能扩展了的记录装置、MFP(多功能复合设备)，文字和图象的原始数据文件存储在图象存储装置中，在将原始数据文件印刷并记录在纸文档上时，可以将原始数据文件位于图象存储装置之内的指针信息，作为附加信息记录在纸文档的封面处和印刷信息中。采用这种方式，可以利用指针信息直接访问原始数据文件，进而可以对原始数据文件进行编辑、印刷等再次利用，减少纸文档的保有数量。

然而，由日本特开2001-358863号公报公开的技术，通过扫描仪读取出的图象可作为压缩信息量的JPEG文件和PDF文件进行保存的，但由于不能从打印文档中检索出所保存的文件，所以存在有重复进行打印和扫描操作时，可能会使所保存的文档图象恶化的问题。而且，通过扫描仪读取出的图象可作为压缩信息量的PDF文件进行保存的，但由于不能从打印出的文档中检索出所保存的文件，所以还存在有难以对所保存的文档进行再次利用的问题。而且，还存在有在变换至PDF文件的过程中，难以进行其它处理的问题。由日本特开平8-147445号公报公开的技术，可以将图象分割成多区域并可对各内容进行再次利用，但需通过用户的命令，对内容进行检索，进而从其中确定出所使用的内容，所以当利用所存储的内容生成文档时，必须由用户对所使用的内容进行确认，从而存在使用非常麻烦的问题。

在日本特开平10-063820号公报公开的技术中，可以对与输出用纸文档相对应的原始电子文件进行检索，提取出差异信息，所以可以对附加在纸文档上的附加信息进行保存，但由于原样处理扫描图象，从而存在前述差异信息增加了所需要的存储容量的问题。

由日本特开平10-285378号公报公开的技术，对于没有发现与纸文档相对应的原始电子文件的场合，可以将PDL命令附加在扫描图象上以形成PDL格式，然而简单地将PDL命令附加在扫描图象上以形成PDL格式时，存在有文件尺寸比较大的问题。而且，对于由原始数据文件没有发现具有指针信息的文本文件的场合，也不能对原始数据文件进行检索。

发明内容

本发明就是解决上述问题用的发明，本发明的特征在于提供一种可以不损失纸文档上的信息，将图象恶化压低至最小限度，并且可以减小所需要的存储容量的图象处理方法，以及图象处理装置等等。

而且，本发明的另一目的在于提供一种特征是为了能够容易地对以纸文档和图象数据格式保存着的信息进行再次利用，而将所输入的图象变换为矢量数据的技术。而且在本发明提供的一些实施方式中，还可以高效率地进行矢量数据的变换处理。

为了能够实现上述目的，本发明提供的一种图象处理方法，其特征在于，可以具有在输入的图象中确定矢量数据化区域用的确定步骤；以及对通过所述确定步骤确定出的矢量数据化区域内的图象进行矢量数据化处理用的矢量化处理步骤。

而且，本发明提供的一种图象处理系统，其特征在于，可以具有在输入的图象中确定矢量数据化区域用的确定装置；以及对通过所述确定装置确定出的矢量数据化区域内的图象进行矢量数据化处理用的矢量化处理装置。

参考下面结合附图进行的说明，可以更清楚的获知本发明的其它特征和优点。在各附图中相同或相类似的部分，采用相同的参考标号进行表示。

在说明书中引入的和构成为说明书一部分的附图，与相应的说明部分一起对本发明的实施方式进行了说明，用以进一步阐述本发明的基本原理。

附图说明

图1为表示可以应用于实施方式1至4的一种图象处理系统构成实例用的示意图。

图2为表示可以应用于实施方式1至4的一种MFP构成实例用的示意图。

图3为表示作为实施方式1的整体图象处理动作用的示意性流程图。

图4为表示块选择处理的一个实例用的示意图。

图5为表示块信息和输入文件信息的一个构成实例用的示意图。

图6为表示二维条形码的一种解码处理用的示意性流程图。

图7为表示附加有二维条形码的一个原稿实例用的示意图。

图8为表示通过指针信息进行文件检索用的示意性流程图。

图9为表示限制寻址信息时的文件检索用的示意性流程图。

图10A、图10B为表示对文件进行布局检索处理用的示意性流程图。

图11为说明矢量化处理实例1用的示意性说明图。

图12为说明矢量化处理实例2用的示意性说明图。

图13为表示对矢量数据进行组合处理用的示意性流程图。

图14为表示对图形元素进行检测用的示意性流程图。

图15为表示DAOF型数据构造形式用的示意图。

图16为表示变换应用数据的处理用的示意性流程图。

图17为表示生成文档结构树用的示意性流程图。

图18A、图18B为说明文档结构树的生成步骤用的示意性说明图。

图19为表示附加指针信息用的示意性流程图。

图20为表示差异提取处理用的示意性流程图。

图21为说明差异提取处理用的示意图。

图22为表示对差异部分与原始电子文件进行合成处理用的示意图。

图23为表示作为实施方式2的整体图象处理动作用的示意性流程图。

图24为表示作为实施方式3的整体图象处理动作用的示意性流程图。

图25为表示在进行如图24所示的处理之后的同时的矢量化处理用的示意性流程图。

图26为表示通过如图24中的步骤S2407显示在操作画面中的一个画面实例用的示意图。

图27为表示通过如图24中的处理进行生成的矢量化处理处理表用的示意图。

图28为表示依据如图24中的指针信息进行文件检索处理用的示意性流程图。

图29为表示如图24的文件检索处理用的示意性流程图。

图30为表示对如图24所示的文字区域进行矢量化处理用的示意性流程图。

图31为表示进行矢量化处理时角提取处理用的示意图。

图32为表示进行矢量化处理时轮廓合并处理用的示意图。

图33为表示作为实施方式3的变形实例的图象处理动作概要用的示意性流程图。

图34为表示作为实施方式4的整体图象处理动作概要用的示意性流程图。

图35为表示作为实施方式4的变形实例1中的指定区域指定处理用的示意图。

图36为表示作为实施方式4的变形实例2中的指定区域指定处理用的示意图。

具体实施方式

A、实施方式1

下面对本发明的实施方式进行说明。图1为表示本发明提供的一种图象处理系统构成实例的示意性方框图。这种图象处理系统是通过由网络104连接办公室10和办公室20的方式实现的。在办公室10内构筑的LAN(局域网络)107中，对MFP(Multi Function Peripheral，数字式复合设备)100、控制该MFP100用的管理PC(计算机)101、客户端PC102、文档管理服务器106、数据库105以及代理服务器103进行连接。LAN107和办公室20内的LAN108，通过代理服务器103与网络104相连接。MFP100承担对纸文档进行图象读取处理(扫描)，以及对读取出的图象信号进行图象处理的一部分工作，图象信号通过LAN109输入至管理PC101。这种管理PC可以为常规的PC，在其内部设置有图象存储装置、图象处理装置、显示装置、输入装置等等，但其中一部分也可以与MFP100构成为一体。

图2为表示MFP100的示意性结构图。正如图2所示，包含有自动文件供给装置(下面也称为ADF)的图象读取部110可以用图中未示出的光源对一叠或一张原稿图象进行照射，通过透镜使原稿反射图象在固体摄象元件处成象，得到由固体摄象元件给出的、呈光栅状的图象读取信号作为诸如600DPI密度的图象。作为常规形式的复印功能装置，可以通过数据处理部115将该图象信号图象处理为记录信号，对需要复印多张的场合，可以暂时将记录数据存储保持在存储装置111处，随后依次输出至记录装置112以在纸张上形成图象。

在另一方面，由客户端PC102输出的打印数据，经过LAN107传送至网络IF(网络接口)114，再通过数据处理部115变换为可进行记录的光栅数据之后，通过所述记录装置在纸张上形成为记录图象。

给MFP100的操作者命令可以通过配置在MFP100上的按键操作部或管理PC的键盘和鼠标等，由输入装置113处进行输入，而且这一系列动作可以通过配置在数据处理部115之内的图中未示出的控制部进行控制。

在另一方面，可以通过显示装置116对操作输入进行状态显示，并且可以对处理之中的图象数据进行显示。存储装置111也可以由管理PC进行控制，并且可以通过网络IF117和直接连接的LAN109，进行MFP与管理PC间的数据发送接收和控制操作。

而且，本发明也可以不使用如图2所示的装置，而是采用如图1所示的系统进行，举例来说，存储在如图2所示的存储装置111处的可供计算机执行的控制程序(对于这种场合，构成本发明的控制程序可以存储在存储装置111处，也可以通过通信回路等等从外部装置处读取并使用。存储装置并不仅限于内置型硬盘，也可以为诸如可插拔型磁盘等等)也可以通过位于数据处理部115处的控制部(CPU)，对如后所述的本发明处理操作的执行进行控制，而且上述数据处理装置115中的整个控制部或其中一部分也可以由电气回路的硬件构成，并且可以通过该电气回路对信号进行处理的方式，进行本发明的处理操作。

《处理操作)》

下面通过图3，对本发明的整体图象处理操作进行简要说明。

正如图3所示，可以首先使MFP100中的图象读取部110动作，对一张原稿进行光栅状扫描，通过图象输入处理步骤S120，获取600DPI-8比特的图象信号。该图象信号由数据处理部115进行前处理，以页面为单位将其作为图象数据存储在存储装置111处。管理PC101中的CPU(中央处理器)，可以首先从所存储的图象信号中，对文字/线条部分和半色调的图象部分这两部分区域进行分离，随后对文字部分进一步按段落作为块进行组合而分离成一个个块，对线条部分分离成一个个由线段构成的表格、图形，并分别进行分段处理。在另一方面，将由半色调表示的图象部分，分离成包含半色调图象部分的、呈矩形形状的块，并且将每个块作为独立的对象进行分割处理(步骤S121)。

在这时，对作为附加信息的、记录在原稿图象中的二维条形码，或是对应于URL的对象进行检测，对URL进行字符识别处理(OCR)，或是对由二维条形码构成的掩码(mark)信息进行解码处理(OMR)(步骤S122)，对存储该原稿的原始电子文件用的存储装置内的指针信息进行检测(步骤S123)。而且，对指针信息进行附加方式可以是通过使文字与文字间的间隔产生微小变化而嵌入信息的方式，也可以是在半色调图象中嵌入电子水印的方式等等。

对于检测到指针信息的场合，可以沿程序分路进入至步骤S125，根据指针信息表示的地址检测出原始电子文件。电子文件可以存储在如图1所示的管理PC内的硬盘处，也可以存储在由通过与办公室10或办公室20的LAN相连接的文档管理服务器106进行管理的数据库105内，或是MFP100自身配置的存储装置111中，并且可以依据由步骤S123获得的地址信息在这些存储装置内进行检索。对于通过步骤S125未发现电子文件的场合，对于已经发现但是为诸如以JPEG、PDF或tiff等等为代表的所谓图象文件的场合，或是对于通过步骤S124确认为指针信息自身不存在的场合，可以沿程序分路进入至步骤S126。对于通过步骤S125，依据指针信息发现有电子文件的场合，可以沿程序分路进入至步骤S129，对电子文件存储的地址予以通知。

步骤S126为所谓的文件检索处理例程。首先，从通过步骤S122对各文字块进行OCR处理的结果中提取出单词，将其与包含在电子文件内的单词进行比较以进行全文检索，或是通过对各对象的配列和各对象的属性与电子文件中的对象配列和对象属性进行比较以进行所谓的布局检索。对于检索结果表明发现有类似程度比较高的电子文件的场合，通过诸如缩略图等等对作为候补的电子文件进行显示(步骤S127)，而且在需要时可通过操作者的输入操作，从作为候补的多个文件中由操作者选择出指定的文件。而且，对于作为候补的文件为一份文件的场合，可以通过步骤S127自动进入至步骤S128，而且判断为有电子文件，进而沿程序分路进入至步骤S129，并对预选文件的存储地址予以通知。对于通过步骤S126的检索处理未发现电子文件的场合，或是已经发现但是为诸如以JPEG、PDF或tiff等等为代表的所谓图形文件的场合，沿程序分路进入至步骤S132。

这里，通过步骤S120输入的图象信息不仅可以通过如上所述的处理进行检索、对指定的电子文件原样打印输出，也可以在作为资料进行打印输出时，由用户在所获得的资料上通过手写方式进行写入操作，从而可以在指定的电子文件处附加上原先不存在的新信息。

在通过步骤S125或步骤S128选择出指定电子文件时，可以在对所输入的图象和指定电子文件间的差异信息进行提取之后，提取出所附加上的新信息。换句话说就是，通过在步骤S129对指定电子文件存在位置的地址予以通知，可以在步骤S130实际获得电子文件，并通过步骤S131提取出所输入的图象与原始电子文件间的差异信息。

所提取出的差异信息通过步骤S132进行的矢量化处理，由图象数据变换为矢量数据。对于在差异信息上通过手写方式附加上文字信息等等的场合，可以通过OCR进行编码化或对轮廓轨迹进行跟踪以变换成轮廓化的矢量信息。将矢量化后的差异信息与原始的电子文件进行合成，以生成新的电子文件。

对于没有检测出差异信息的场合，也可以类似地生成原始电子文件。

在另一方面，对于通过步骤S128的处理，为不能指定电子文件的场合，或是指定的电子文件为(完全不能进行矢量化或文字编码化的)图象文件的场合，可以通过步骤S132，对所输入的全部图象信息进行矢量化处理，将图象数据变换为矢量化的电子文件。对于首先通过步骤S122进行OCR处理后的文字块，可以进一步对文字尺寸、字型、字体进行识别，按照与预先准备出的文字种类(自身形状、字型)的轮廓数据相对应的方式，变换为视觉上忠实于由扫描原稿而获得的文字的矢量数据。在另一方面，对由线构成的表格、图形块进行轮廓矢量化处理。对于诸如照片等等的自然图象块，将其作为图象数据处理为单个的JPEG文件。而且，对于文字块也可以不采用OCR处理结果，而是通过对文字图象轮廓进行识别，提取出沿着文字图象轮廓的轮廓矢量的方式，对文字块进行矢量化处理。

对每个对象进行这种矢量化处理，并且对各个对象的布局信息进行保存，通过步骤S133将其变换成可通过常规应用软件进行编辑处理的应用数据，进而通过步骤S135将其作为电子文件存储在存储装置111处。例如，通用的文件格式可以为将矢量数据和图象数据变换为嵌入型RTF(Rich TextFormat)格式。进行变换的应用数据文件并不仅限于可嵌入对象的rtf格式，举例来说，还可以变换为诸如SVG(Scarable Vector Grafics)格式等等的其他文件格式。

在这时，可以通过步骤S134，将电子文件的存储位置作为指针信息附加在所保存的电子文件上。采用这种方式，对于所保存的文件以后作为检索对象时，如果在进行文件印刷时通过二维条形码等等对指针信息进行印刷，将可以容易地根据印刷文件来访问通过这种方式进行保存的文件。

按照如上所述步骤获得的电子文件，以可编辑形式全部包含原始电子信息或与其非常接近的矢量信息，以及随后通过手写方式等等附加上的各种信息，而且可以对这些信息进行直接加工、再次利用，或是进行存储、传送、再印制等等操作。

由于和单纯将输入的整个图象直接作为图象数据进行处理的场合相比，可以减少信息量，所以可以提高存储效率，缩短传送时间，而且在进行显示时可以作为高品位数据进行非常良好的显示。

下面对各处理块进行详细说明。

《块选择处理》

首先，对步骤S121所示的块选择处理(区域分割处理)进行说明。

块选择处理可以将如图4的右侧所示的、通过步骤S120输入的图象数据(图4的左侧)，作为各对象块进行识别，对各块判定文字/图象/照片/线段/表格等等属性，并且对具有不同属性的区域进行分割处理。

下面，对块选择处理的一个实施例进行说明。

首先，对输入图象进行黑白二值化处理，跟踪黑色象素的轮廓线，将由黑色象素轮廓包围着的象素块提取出来。对于面积比较大的黑色象素块，对应于存在于内部的白色象素地提取出进行轮廓线跟踪的白色象素块，进而在大于或等于一定面积的白色象素块的内部，递归地提取出黑色象素块。

对于按照这种方式获得的黑色象素块，按照其大小和形状进行分类，划分至具有不同属性的区域中。例如，纵横比接近1、大小位于一定范围的块可以作为与文字相当的象素块，随后将彼此接近的文字象素块中可以整列良好、并可组化的区域作为文字区域，将扁平的象素块作为线条区域，将至少为一定大小的、呈整列形式且内部包含有呈四方形白色象素块的黑色象素块所占范围作为表格区域，将分散有不定形状象素块的区域作为照片区域，将除此之外的其它任意形状的象素块作为图象区域，如此等等。

与通过块选择处理获得的各块相对应的块信息以及对包含在输入图象中的块进行管理用的输入文件信息可以如图5所示。这些块信息在下面的说明中，是作为矢量化信息或检索用信息而使用的。

《指针信息的检测》

下面，对从图象信息中提取出文件存储位置用的OCR/OMR处理(步骤S122)进行说明。

图6表示的是对附加在原稿图象中的二维条形码(QR编码符号)进行解码，进而输出数据文字列的过程的示意性流程图。附加有二维条形码的原稿310的一个实例已经示出在图7中。

首先，通过CPU(图中未示出)对表示存储在数据处理部115内的页存储器处的原稿310的图象进行扫描，由如上所述的块选择处理的结果，检测出预定二维条形码符号311的位置。QR编码的位置检测图案，可由配置在符号四个角中的三个角处的同一位置检测要素图案构成(步骤S300)。

随后，复原与位置检测图案相邻接的格式信息，以获得可应用于符号的～等级和掩码(mask)图案(步骤S301)。

在确定出符号的类型(步骤S302)之后，利用由格式信息获得的掩码(mask)图案，对编码区域比特图案进行XOR演算，以解除掩码处理(步骤S303)。

依据与模式相对应的配置规则，对符号特征进行读取，对消息数据和纠错码词进行解码(步骤S304)。

对解码出的代码进行是否存在错误的检测(步骤S305)，对于检测出错误的场合，沿程序分路进入至步骤S306，对其进行校正处理。

利用纠错后的数据，依据模式指示符和文字数指示符，将数据码词分段(segment)(步骤S307)。

最后，依据标准模式对数据文字进行解码，并输出结果(步骤S308)。

组合在二维条形码内的数据表示的是相对应的文件的地址信息，例如，可以由包含文件服务器名和文件名的路径信息构成。或者，还可以由指向相对应文件的URL构成。

本实施例中的指针信息，是以使用二维条形码进行附加后的原稿310为例进行说明的，然而也可以采用通过文字列进行记录的指针信息。对于这种场合，可以通过预先的块选择处理，检测出依据预定规则的文字列块(比如说位于预先确定位置处的文字块)，对表示该指针信息的文字列块中的各文字进行字符识别，进而获得原始文件的地址信息。

而且，对于如图7所示的文件310中的文字块312或文字块313的文字列，还可以对相邻接的文字和文字间的间隔等等施加微小调制，将信息嵌入在该文字间隔处以附加上指针信息，所以例如，当进行如后所述的字符识别处理时，如果对各文字间隔进行检测，将可以获得指针信息。而且，还可以在自然图画314中附加上肉眼看不见的、作为电子水印的指针信息。

《通过指针信息进行的文件检索》

下面利用如图8所示的流程图，对如图3中步骤S125所示的、通过指针信息对电子文件进行的检索进行说明。

首先，依据包含在指针信息中的地址信息，确定出指定的文件服务器(步骤S400)。

这里的文件服务器，可以是客户端PC102，内装有数据库105的文档管理服务器106，也可以是内装有存储装置111的MFP100自身。这里的地址，指的是URL，或包含服务器名和文件名的路径信息等等。

在指定出指定文件服务器之后，可相对文件服务器发送出地址(步骤S401)。文件服务器在接收到地址时，对相应的文件进行检索(步骤S402)。对于文件不存在的场合(步骤S403-N)，相对于MFP发出相应的通知。

而对于文件存在的场合(步骤S403-Y)，按照如图3说明的方式，对文件地址进行通知(步骤S129)，同时对MFP发送相应数据文件以用于以后提取差异信息(步骤S408)。

《文件检索处理》

下面参考图5、图10A、图10B，对如图3中的步骤S126所示的文件检索处理进行详细说明。

如上所述，对于在步骤S124中输入的原稿(输入文件)中不存在指针信息的场合，或对于步骤S125中存在指针信息但未发现电子文件中，或是电子文件为图象文件的场合，进行步骤S126所示的处理。

这里，步骤S122的处理结果，所提取出的各块和输入文件，具有如图5所示的信息(块信息，输入文件信息)。例如，信息内容可以为属性、坐标位置、宽度和高度的尺寸、是否存在有OCR信息等等。属性可以按照文字、线段、照片、图形、表格、其它进行分类。为了便于说明，将各文字块按照坐标X从小到大的顺序，即按照(比如说，X1＜X2＜X3＜X4＜X5＜X6)命名为块1、块2、块3、块4、块5、块6。总块数为输入文件中的全部块数，对于图10A、图10B所示的场合，总块数为6。利用这些信息，从数据库中对与输入文件相类似的文件进行布局检索用的流程图如图10A、图10B所示。这里，是以存储在数据库中的文件具有与如图5所示相同种类的信息(块信息、文件信息)为前提的。

使用该程序对输入文件与数据库中的文件依次进行比较。首先通过步骤S510，对如后所述的相似性等等进行初始化处理。随后，通过步骤S511对总块数进行比较，对于比较结果为真的场合，进一步对文件内的块信息依次进行比较。通过这种块信息比较，可以由步骤S513、515、518分别计算出属性相似性、尺寸相似性、OCR相似性，并且可以通过步骤S522基于这些相似性计算出综合相似性。各相似性的计算方法可以采用公知技术中的各种适用方法，所以这里省略了对它们的详细说明。如果步骤S523中综合相似性高于预先设定的阈值Th时，可通过步骤S524将该文件作为类似候补。在图中，参考标号N、W、H分别为输入文件的总块数、各块宽度、各块高度，参考标号ΔN、ΔW、ΔH分别为以输入文件的块信息为基准的误差。参考标号n、w、h分别为存储在数据库中的文件的总块数、各块宽度、各块高度。虽然图中未示出，在通过步骤S514进行尺寸比较时，也可以对位置信息XY等等进行比较。

如上所述，对于检索结果为相似性高于阈值Th时可以将其作为候补进行保存的数据库文件(步骤S524)，可以通过缩略图等等进行显示(步骤S127)。对于显示有多个候补的场合，可以通过操作者的输入操作，从这些文件中确定出指定文件。

《差异提取处理》

下面对如图3中的步骤S131所示的差异提取处理进行说明。

图20为表示差异提取处理用的示意性流程图。

在图20中，输入图象表示的是通过图3中的步骤S120作为图象信息进行输入的输入图象，电子文件表示的是通过图3中的步骤S125或128获得的原始电子文件。这里的输入图象，由于经过了在图3中的步骤S121、122、123中进行块选择处理、OCR/OMR处理、指针信息的检测处理，从而可以获得如图4所示的块选择处理后的块地址、如图5所示的块信息和如图7所示的指针信息。

图21为说明差异提取处理用的、表示电子文件和输入图象的图象数据的内容，以及块选择处理的一个实例的示意图。

在图21中，参考标号2110表示的是电子文件的内容，参考标号2111表示的是对电子文件2110进行块选择处理后的块布局信息的模式图。虽然在该图中没有示出，然而也可以通过其它方式构成如图5所示的块信息。参考标号2114表示的是表示指针信息的二维条形码，参考标号2115表示的是进行块选择处理后的二维条形码块。

参考标号2112表示的是输入图象的内容，参考标号2113表示的是对输入图象2112进行块选择处理后的块布局信息的模式图。虽然在该图中没有示出，然而也可以通过其它方式构成如图5所示的块信息。参考标号2116表示的是表示指针信息的二维条形码，参考标号2117表示的是进行块选择处理后的二维条形码块。与电子文件2110不同，在输入图象2112中还记载有手写文字2118，通过对其进行块选择处理，可以在块布局信息2113中生成手写文字块2119。

下面参考图20、图21，对差异提取处理进行说明。本实施例是如图3中的步骤S134所说明的，指针信息是在印刷时作为图象数据附加在电子文件上的，从而在如步骤S125所示的获取电子文件阶段，指针信息2114尚未附加在电子文件上。因此，首先通过步骤S2001，依据该电子文件的存储地址，将作为指针信息的二维条形码2114附加在电子文件2110上。

通过步骤S2002，对于将作为指针信息的二维条形码2114作为图象数据附加在其中的电子文件2110进行块选择处理。这种块选择处理可以按照通过图4说明过的方式进行。在图4中，说明了对于输入图象，将输入图象中的各对象识别为块，按照文字/图象/照片/线段/表格等属性，对各块进行判定，并将其分割成具有不同属性的区域的处理，但在步骤S2002对电子文件2110进行同样的处理。

通过步骤S2003，进行与图3中步骤S122同样的处理，即对电子文件2110进行块选择处理之后，对各个对象进行已知的OCR/OMR处理。

通过步骤S2004，进行与图3中步骤S123同样的处理，即从电子文件2110中，检测出通过步骤S2001附加上的、作为指针信息的二维条形码2114。

通过步骤S2005，依据从图3中通过步骤S123检测出的输入图象2112的块布局信息2113中得到的作为指针信息的二维条形码2117的坐标，以及从通过步骤S2004检测出的电子文件2110的块布局信息2111中得到的作为指针信息的二维条形码2115的坐标，对输入图象2112与电子文件2110的方向、大小等等进行比较。

步骤S2006依据步骤S2005的比较结果，在需要时对输入图象2112进行诸如转动、放大缩小、倾斜校正等处理。这种处理不仅可以对输入图象2112进行，也可以对进行块选择处理后的块布局信息2113(以及块信息、指针信息)等等进行。

关于块布局信息、块信息、指针信息，还可以通过对进行过诸如旋转、放大缩小、倾斜校正的输入图象2112再次进行一系列的块选择处理、OCR/OMR处理、指针信息检测处理等等，来进行更新。

无论采用哪种方式，均可以通过步骤S2006，使输入图象2112按照电子文件2110的方向和大小进行调整。在图21所示的实例中，是以具有相同方向、相等倍率表示的，所以不再需要进行这些处理。

通过步骤S2007，在作为输入图象2112和电子文件2110的各自块选择处理结果的块布局信息2113和2111中，对分割后的块逐块判断是否具有相同内容。这种判断可以通过各个块布局信息、块信息和OCR/OMR信息进行。正如图21所示，手写文字部分2118的块2119在输入图象2112和电子文件2110中被判断为不同的块。

通过步骤S2008，进行从输入图象中去除由步骤S2007判断为相同的块。正如图21所示，可以将除了手写文字块2119之外的块去除掉。

可以通过步骤S2009，将在步骤S2008中未去除的残余块作为输入图象2112与电子文件2110间的差异图象数据进行提取。正如图21所示，可以差异提取出与手写文字块2119相对应的图象数据2118。

《矢量化处理》

下面，对通过图3中的步骤S132表示的矢量化处理进行详细说明。

对于仅对按照上述方式提取出的差异信息进行矢量化的场合，以及对于通过步骤128不能指定出指定电子文件而对整个图象进行矢量化处理的场合，可以假定为两种处理形式，这里首先对为后者的、即对整个图象进行矢量化处理的场合进行说明。通过如上所述的块选择处理，可以将整个图象分割为块，并且可以对每个块进行矢量化处理。

《对文字块进行的矢量化处理》

首先，对文字块中的各文字进行字符识别处理。字符识别部对于按文字单位切割出的图象，利用图案匹配方法进行识别处理，获得相对应的文字编码。这种识别处理可以是一种将由文字图象获得的特征变换为数十维的数值列而获得的观测特征矢量与由预先按文字种类求得的词典特征矢量进行比较，将距离最近的文字种类作为识别结果的处理。可以采用各种公知的方式进行特征矢量的提取操作，比如说可以采用将文字分割成筛网形状，将各个筛网内的文字线段沿不同方向作为线元素进行计数的筛网多维矢量处理方式。

对于对通过块选择处理(步骤S121)提取出的文字区域进行字符识别的场合，可以首先判定在该区域是否为横向笔画区域、纵向笔画区域，按分别与其相对应的方向切割成行，随后对文字进行切割以获得文字图象。对横向笔画区域、纵向笔画区域进行的判定，可以通过取得该区域内应于对象素值的水平/垂直投影，对于水平投影的分散程度比较大的场合判断其为横向笔画区域，对于垂直投影的分散程度比较大的场合判断其为纵向笔画区域。对于文字列和文字的分解如下进行：如果为横向笔画区域可以利用沿水平方向的投影切割成行，然后再根据切割出的行沿垂直方向的投影，切割出文字。对于为纵向笔画的文字区域，可以对水平和垂直的操作进行反转。而且，还可以在这时对文字尺寸进行检测。

随后，可以对该文字块内的各文字的字体种类进行识别。可以预先按照文字形状种类即字体种类准备多个在进行字符识别时使用的文字种类等等的词典特征矢量，在进行匹配时同时输出文字编码和字体种类，从而可以对文字字体进行识别。

利用通过所述字符识别和印刷字体识别获得的文字编码和字体信息，可以使用为各种文字编码和字体预先准备出的轮廓数据，将文字部分的信息变换成矢量数据。而且，对于原稿为彩色文件的场合，还可以由彩色图象中提取出各文字的颜色，并作为矢量数据进行记录。

采用如上所述的处理方式，可以将文字块所属的图象忠实地按其形状、大小、颜色变换成矢量数据。

《对线条块、图形块等进行的矢量化处理》

以通过块选择处理(步骤S121)判定为线条、图形或表格区域的区域作为对象，将由该区域中提取出的象素块的轮廓变换为矢量数据。如果具体的讲就是，可以在作为角的点，对构成轮廓的象素点列进行分割，进而将各区间近似为部分直线或曲线。角是曲率极大的点，曲率为极大的点可以如图11所示，当由相对于任意点Pi沿左右方向离散的k个离散点Pi-k和点Pi+k间引出弦时，作为该弦与点Pi间距离为极大的点进行求解。而且，以(点Pi-k和点Pi+k间的弦长/弧长)为R，可以将R值小于或等于阈值的点作为角。通过角进行分割后的各区间，其直线可以采用相对于点列进行的最小平方法等等，其曲线可以使用三次样条函数等等进行矢量化处理。

对于对象具有内轮廓的场合，可以进行白色象素的轮廓线跟踪，使用所提取出的白色象素轮廓点列，同样利用部分直线或曲线进行近似处理。

如上所述，如果采用这种轮廓区分线近似处理方法，可以使任意形状的图形轮廓矢量化。对于原稿为彩色文件的场合，还可以由彩色图象中提取出图形颜色，并作为矢量数据进行记录。

而且，正如图12所示，对于某一区间的外轮廓与内轮廓或其它外轮廓相接近的场合，还可以将两个轮廓合并在一起，用比较粗的线条表示。如果具体的讲就是，由某一轮廓中的各点Pi到在其它轮廓上距离为最短的点Qi引线，如果各距离PQi的平均长度小于或等于一定值时，所关注区间的PQi中点可以作为点列通过直线或曲线进行近似，其粗细为PQi的平均值。作为线与线的集合体的合并线，可以作为具有如前所述粗细的线的集合而进行高效的矢量显示。

而且，前面是使用相对文字块进行字符识别处理用的矢量化进行的说明，其字符识别结果采用的是与词典距最小的文字作为识别结果的，但对于该距离大于等于预定值的场合，必然与原始文字不完全一致，所以往往会将其误识别为是类似文字。因此，本实施方式对于这种文字，可以采用如上所述的方式，将该文字轮廓化，以进行与一般的线段图象相同的处理。换句话说就是，即使对于利用在先技术中的字符识别处理引起错误识别的文字，不对错误的文字进行矢量化处理，可以忠实地将可视图象数据轮廓化，进而再进行矢量化处理。

对于判断为照片的块，本实施方式不进行矢量化处理，将其直接作为图象数据。

下面对按照如上所述方式，将任意形状的图形轮廓矢量化后，以各图形对象为单位对这些矢量化区分线进行组合的处理进行说明。

图13为表示按各图形对象对矢量数据进行组合处理用的示意性流程图。首先，对各矢量数据的始点、终点进行计算(步骤700)。利用各矢量的始点、终点信息对图形元素进行检测(步骤701)。对图形元素的检测是对构成区分线的闭合图形进行的检测。在进行检测时，可以依据构成闭合形状的各矢量具有分别连接其两端的矢量的原理进行检测。随后，对图形元素中存在的其它图形元素，或是区分线进行组合处理，形成一个图形对象(步骤702)。对于不存在图形元素中的其它图形元素或区分线的场合，将图形元素作为图形对象。

图14为表示对图形元素进行检测用的示意性流程图。首先，从矢量数据中将两端未进行连接的不需要的矢量去除，提取出闭合图形构成矢量(步骤710)。然后取闭合图形构成矢量中该矢量的始点作为开始点，沿顺时针方向追踪矢量。一直到返回至开始点，将所通过的全部矢量作为构成一个图形元素的闭合图形进行组合处理(步骤711)。作为闭合图形内部的闭合图形构成矢量，也全部进行组合处理。而且，将没有进行组合处理的矢量始点作为开始点，重复进行同样的操作。最后，由通过步骤710去除的不需要的矢量中，检测出与在步骤711中作为闭合图形而进行组合的矢量连接的矢量，将其作为一个图形元素进行组合处理(步骤712)。

采用上述方式，还可以将图形块单独作为可再次进行利用的图形对象进一步使用。

《差异信息的矢量化处理》

下面，对步骤S132的矢量化处理中，通过图20所示方式提取出的差异信息进行的矢量化处理进行说明。

对于差异信息中包含有文字图象的场合，进行与如上所述的、对文字块进行的矢量化处理相同的处理。采用这种方式，可以对手写的文字、比如说如图21所示的手写文字2118进行字符识别之后，对文字进行矢量化或字体化处理。

但是，对于有手写文字的场合，块选择处理的结果有时依据场合的不同，不将其识别为文本块，而是通过对细线进行的识别判断为线段块。对于这种场合，与上面说明过的“对线条块、图形块等进行的矢量化处理”相类似，可以对轮廓进行检测以进行轮廓化处理，忠实地将可视图象数据轮廓化，进而进行矢量化处理。

而且，在图21中是以手写文字2118为例进行说明的，然而对于手写的细线、图画等等也可以进行类似处理，将线条和图象等等轮廓化，进而进行矢量化处理。

《差异信息和电子文件的合成处理》

图22为表示对差异部分的矢量化处理结束后，与原始电子文件进行合成时的一个实例用的示意图，表示的是对图21中的输入图象数据2112中的手写文字2118进行矢量化处理后的形式用的示意图。

图22中的参考标号2200表示的是在如图21所示的电子文件2110中，与对手写文字2118进行矢量化后的矢量文字2201进行合成获得的新的电子文件数据。

如图22所示的手写文字2118被矢量化后，以和块布局信息2113的坐标处的手写文字最近似的字体和尺寸、作为矢量文字2201而合成到原始电子文件2110中。

如上所述，对于在所输入的图象中，包含有在手写文字和原始电子文件间不同的差异信息的场合，也可以对输入图象和电子文件间的差异信息进行提取，对该差异部分进行矢量化处理，与原始电子文件进行合成、保存，并给出存储地址的通知，从而可以对所输入的图象数据进行电子文件化处理。

《向应用数据的变换处理》

但是，对输入图象数据进行矢量化处理(步骤S132)后的结果，还需要变换成如图15所示的中间数据格式的文件。这种数据格式被称为文件分析输出格式(DAOF)。

图15为表示DAOF的数据结构的示意图。在图15中，参考标号791表示的是引导部分(Header)，保存的是与作为处理对象的文字图象数据相关的信息。布局描述数据部792保存的是按照文件图象数据中的TEXT(文字)、TITLE(标题)、CAPTION(目录)、LINEART(线条)、PICTURE(自然图象)、FRAME(框)、TABLE(表格)等各种属性进行识别的各块属性信息和其块地址信息。字符识别描述数据部793保存的是对TEXT、TITLE、CAPTION等文本块进行字符识别获得的字符识别结果。图表描述数据部794存储的是TABLE块的详细构成信息。图象描述数据部795保存的是从文档图象数据中切割出的、诸如PICTURE等块的图象数据。

这种DAOF不仅可以作为中间数据，其自身也可以被文件化后进行保存，但在这种文件化后的状态下，不能通过所谓的一般文档制作应用程序，再次利用各对象。下面利用图16，对从这种DAOF变换为应用数据的处理(步骤S130)进行详细说明。

通过步骤S8000进行DAOF数据的输入操作。

通过步骤S8002生成以应用数据为基础的文档结构树。

通过步骤S8004以这种文档结构树为基础，加入DAOF内的实际数据以生成实际的应用数据。

图17为表示通过步骤S8002生成文档结构树用的详细流程图，图18为说明文档结构树的示意性说明图。作为进行整体控制的基本规则，处理流程可以从微型块(单体块)向宏块(块的集合体)转移。这里所称的块包括微型块和宏块。

通过步骤S8100，可以以块为单位、基于纵向的相关性进行再次组合处理。在开始执行之后以微型块为单位进行判断。这里所称的相关性可通过判断距离接近、块宽度(水平方向时为高度)大体是否相等等来进行定义。而且，距离、宽度、高度等等信息，均可以参考DAOF进行提取操作。

图18(a)表示的是一个页面构成实例，图18(b)表示的是该文档结构树。步骤S8100的处理结果，为首先生成使块T3、T4、T5位于同一层的组V1，以及使块T6、T7位于同一层的组V2。

通过步骤S8102，检查沿纵向是否存在有分割符。分割符诸如是在物理含义上、DAOF中具有线段属性的对象。其逻辑含义为，在应用中明确地对块进行分割的要素。对于检测出分割符的场合，对同一层再次进行分割。

步骤S8104利用组长度，判定是否不存在如上所述的分割符。这里，对于沿纵向的组长度为页面高度(位于该页面中的多个块的最上侧端部至最下侧端部间的距离)的场合，结束文档结构树的生成操作。如图18所示的场合，在组V1、V2中不存在有分割符，由于块的高度不等于页面高度，所以进入至步骤S8106。

步骤S8106以块为单位依据沿横向的相关性进行再次组合处理。在这时的相关性和判定信息的定义均与沿纵向的场合相类似。

对于如图18所示的场合，可以由块T1、T2生成组H1，由V1、V2生成组H2。组H1和组H2为位于组V1、V2中1个之上的同一层中的组。

通过步骤S8108，检查沿横向是否存在有分割符。对于图18所示的场合，存在有分割符S1，所以需要将其登录在文档结构树中，生成由H1、S1、H2构成的层。

步骤S8110利用组长度，判定是否不存在有如上所述的分割符。这里，对于沿横向的组长度为页面宽度的场合，结束文档结构树的生成操作。

对于存在分割符的场合，返回至步骤S8102，在上一层中重复进行沿纵向相关性的检查。

对于如图18所示的场合，分割宽度等于页面宽度(位于该页面中的多个块的最左侧端部至最右侧端部间的距离)，所以结束处理操作，最后在文档结构树上附加入表示整个页面的最高层V0。

在完成文档结构树之后，以该信息为基础，通过步骤S8004进行应用数据的生成操作。对于如图18所示的场合，可以按照下述方式具体进行。

换句话说就是，组H1沿横向具有两个块T1和T2，所以构成为两列，可以对块T1的内部信息(参考DAOF，诸如字符识别结果的文章，图象等等)进行输出之后，换列对块T2的内部信息进行输出，随后对S1进行输出。

组H2沿横向具有两个组V1和V2，从而作为两列输出，V1按照块T3、T4、T5的顺序对其内部信息进行输出，随后进行列变换，对组V2中块T6、T7的内部信息进行输出。

由于按照如上所述的输出顺序，进行向应用数据的变换处理，所以对于诸如文字区域的读取顺序等，可以按照正确的顺序变换为应用数据。

《指针信息的附加操作》

下面，对于通过步骤S134附加在图象数据上的指针信息，在进行印制时的处理操作进行说明。

对于所存储的文档在纸张上进行记录处理的场合，通过依据指针信息对图象数据进行了附加和记录，则当再次使用该文件进行各种处理时，可以简单地获取出原始文件数据。

图19为表示对作为指针信息的数据文字列进行编码处理(图象化处理)而变换成二维条形码(QR编码符号：JIS X0510)311，进而附加在图象中的过程用的示意性流程图。

组合在二维条形码内的数据为表示对应文件的地址信息，例如，可以由包含有文件服务器名和文件名的路径信息构成。或者，还可以由相应文件的URL，以及在存储有相应文件的数据库105内或MFP100自身所具有的存储装置内进行管理用的文件ID等等构成。

首先，为了对编码后的各种不同文字进行识别，对输入数据列进行分析。而且，可以对错误检测和～等级进行选择，并选择可以容纳输入数据的最小容量型号(步骤S900)。

随后，将输入数据列变换为预定比特列，并且可以依据需要，附加上表示数据模式(数字、英文数字、8比特字节、汉字等等)用的指示符和终端图案。进而变换成预定的比特码字(步骤S901)。

在这时，为了能够进行纠错，还可以按照型号和～等级，将码字列分割为预定数目的块，对每个块生成纠错码字，并附加在比特码字列之后(步骤S902)。

对通过步骤S902获得的各块的数据码字进行连接，并且可以将各块的纠错码字、以及根据需要将剩余码字连接在其后面处(步骤S903)。

随后，可以将位置检测图案、分离图案、计时图案和位置对准图案等等，与码字模块一并配置为矩阵(步骤S904)。

对于符号的编码区域，选择最佳掩码图案，并且可以通过XOR演算，将掩码处理图案变换至由步骤S904获得的模块中(步骤S905)。

最后，在通过步骤S905获得的模块中，生成格式信息和型号信息，完成二维条形码符号(步骤S906)。

在以上的说明中，对于将由客户端PC102给出的电子文件作为打印数据在位于记录装置112处的纸张上形成记录图象的场合，组合了地址信息的二维条形码可以在数据处理部115内变换为可进行记录的光栅数据后，附加在光栅数据上的预定位置处，从而形成图象。这里，对图象形成后的纸张进行布置的用户可以通过由图象读取部110处进行读取的方式，从如上所述的步骤S123获得的指针信息中，检测出原始电子文件的存储位置。

而且例如，对指针信息(地址信息)进行附加的方法除了本实施例所说明的二维条形码之外，还可以采用通过直接文字列将指针信息附加在文件中的方法，对文件内的文字列、特别是对文字与文字间的间隔进行调制以嵌入信息的方法，以及诸如在文档中的半色调图象中嵌入信息的方法等等的通常称为电子水印的方法。

(适用于实施方式1的其它变形形式)

<涉及差异信息生成的其它具体实例>

在如上所述的说明中，是以将所提取出的差异信息与原始电子文件进行合成后保存的场合为例进行说明的，然而也可以利用对原始电子文件进行差异提取用的参考数据，将差异信息从输入图象分离，不与原始电子文件进行合成而是作为其它文件进行保存。而且，还可以将差异信息作为其它文件，按照与原始电子文件相关联的方式进行保存，在进行印刷输出时进行合成输出。

如果采用这种构成形式，不需要改变电子信息，并且可以仅将剩余的差异信息作为电子数据进行保存，从而可以生成内容大体相同的多个电子数据，由此避免其冗长性。

<涉及差异信息合成的其它具体实例>

本实施方式是以所存储的原始电子文件，不允许对应于原始电子文件信息的追加/改变的场合为例进行说明的。然而，对于通过如图3的步骤S125或步骤S128，指定出指定的原始电子文件的场合，也可以通过步骤S131，利用原始电子文件，从所输入的图象信息中提取出差异信息，并通过步骤S132判断该原始电子文件是否禁止进行信息的追加/改变，对于判断结果为不禁止的场合，可以对差异信息进行矢量化处理并与原始电子文件进行合成处理，对于判断结果为禁止的场合，对差异信息进行矢量化处理，同时对输入图象信息中除差异信息之外的图象部分也进行矢量化处理和存储，在进行输出操作时，再将差异信息与输入图象信息中除差异信息之外的图象部分进行合成处理。

对于这种场合，原始文件仅用作进行差异信息提取时的参考文件，而且通过对输入图象矢量化而生成电子数据。对于这种场合，所追加的差异信息可以参考原始文件进行可靠地提取，所以可以通过将差异信息作为独立的对象进行处理的方式，提高其在编辑、再次利用等方面的可使用性。

B、实施方式2

作为本实施方式的图象处理系统构成实例和MFP的构成形式，与实施方式1相类似，也采用的是如图1和图2所示的构成形式，所以这里省略了对它们的详细说明。

《处理概要》

下面通过图23，对作为实施方式2的图象处理全部操作进行简要的整体说明。在图23中，由步骤S2300至步骤S2308间的处理，与图3中由步骤S120至步骤S128间的处理相类似，然而为了理解容易，这里不仅仅对其中的一部分步骤，而且对全部步骤进行了说明。

正如图23所示，首先在进行图象输入处理的步骤S2300中，使MFP100(参见图2)中的图象读取部110动作，对一张原稿进行光栅状扫描，以获得600DPI-8比特的图象信号。该图象信号由数据处理部115进行前处理，将其作为1页图象数据存储在存储装置111处。管理PC101中的CPU首先从所存储在图象信号中，分离出文字/线条部分和灰度图象部分这两个区域，并且将文字部分进一步分离为按段落作为块进行合并后的块，将线条部分分离为按线段构成的表格、图形，随后分别进行分段处理。在另一方面，将通过半色调表示的图象部分分离成包含半色调图象部分的、呈矩形形状的块，并且将每个块作为独立的对象进行分割处理(步骤S2301)。

在这时，对作为附加信息记录在原稿图象中的二维条形码，或是对应于该URL的对象进行检测，对URL进行字符识别处理(OCR)，或是对诸如二维条形码等标记信息进行解码处理(OMR)(步骤S2302)，对存储该原稿的原始电子文件用的存储装置内的指针信息进行检测(步骤S2303)。而且，附加指针信息的方式可以是通过使文字与文字间的间隔产生微小变化而嵌入信息的方式，也可以是在半色调图象中嵌入电子水印的方式。

对于检测到指针信息的场合，可以沿程序分路进入至步骤S2305，根据指针信息表示的地址，检测出原始电子文件。电子文件可以存储在如图1所示的管理PC内的硬盘内，也可以存储在由与办公室10或办公室20的LAN相连接的文档管理服务器106进行管理的数据库105内，或是MFP100自身配置的存储装置111内，从而可以依据由步骤S2303获得的地址信息，在这些存储装置内进行检索。对于通过步骤S2305未发现电子文件的场合，对于已经发现电子文件但是为JPEG、PDF或tiff等所谓的图形文件的场合，或是对于通过步骤S2304确认为指针信息自身不存在的场合，可以沿程序分路进入至步骤S2306。对于通过步骤S2305，依据指针信息发现电子文件的场合，可以沿程序分路进入至步骤S2313，对存储电子文件的地址进行通知。

步骤S2306为所谓的文档检索处理例程。首先，通过步骤S2302从对各文字块进行OCR处理的结果中提取出单词，将其与包含在电子文件内的单词进行比较以进行全文检索，或是通过对各对象的配列和各对象的属性与电子文件中的对象配列和对象属性进行比较以进行所谓的布局检索。对于检索结果表明发现有类似程度比较高的电子文件的场合，利用缩略图等等对作为候补的电子文件进行显示(步骤S2307)，而且在需要时可通过操作者的输入操作，在作为候补的多个文件中通过操作者的输入而选择出指定的文件。对于指定了电子文件的场合，进入至步骤S2314，但对于指定的电子文件为JPEG、PDF或tiff等所谓的图形文件的场合，进入至步骤S2309。而且，对于作为候补的文件为一个文件的场合，可以通过步骤S2307自动进入至步骤S2308，判断为有电子文件，沿程序分路进入至步骤S2313，并对存储地址进行通知。对于通过步骤S2306的检索处理未发现电子文件的场合，或是已经发现但其为JPEG、PDF或tiff等所谓的图形文件的场合，沿程序分路进入至步骤S2309。

步骤S2309是从图象数据向矢量数据的变换处理部，将图象信息变换为矢量化处理后的电子文件。首先，对于通过步骤S2302进行OCR处理后的文字块，进一步对文字尺寸、字型、字体进行识别，并变换为视觉上忠实于通过对进行原稿扫描获得的文字的字体数据。在另一方面，对由线段构成的表格、图形块进行轮廓化处理。

对于诸如照片等等的自然图象块，将其作为图象数据处理为单独的JPEG文件。对每个对象进行这种矢量化处理，并且作为各对象的布局信息进行保存，通过步骤S2310将其变换成可通过常规应用程序进行编辑处理的应用数据，进而通过步骤S2311将其作为电子文件存储在存储装置111中。而且，为了在随后进行同样的处理时能够将其作为直接电子文件检索出来，还可以通过步骤S2312生成检索使用的索引信息，并且附加在检索用索引文件中。通过步骤S2313对存储该电子文件用的地址进行通知。另外，通过步骤S2310，作为通用文件格式，可以将矢量数据变换为例如嵌入型rtf(Rich Text Format)格式。进行变换的应用数据文件，并不仅限于可嵌入对象的rtf格式，例如，还可以变换为诸如SVG(Scarable Vector Grafics)格式等等的其他文件格式。

随后通过步骤S2314，判断目前将要进行的处理是否为记录处理(对纸张的印刷处理)，对于判断为依据用户的命令进行记录处理的场合，沿程序分路进入至步骤S2315，将表示存储地址的指针信息(二维条形码等等)，作为图象数据附加在文件上，进而通过步骤S2316进行印刷处理。在另一方面，可以通过步骤S2314，对于将要进行的处理为记录处理之外的处理(诸如图象加工处理、对其它媒体的存储处理、对其它装置的传送处理等等)的场合，不附加指针信息，直接进入步骤S2316进行该指定的处理操作。

如上所述，对于不能指定电子文件的场合，可以将图象矢量化，并作为电子文件进行存储，所以和对图象数据原样进行存储的场合相比，可以减少信息量。因此，可以提高存储效率，缩短传送时的传送时间，而且在进行记录时可以作为高品位图象进行再现。

对各处理块的详细说明，与实施方式1相同，所以这里省略了对它们的详细说明。如果具体的讲就是，由步骤S2301进行块选择处理，由步骤S2302进行OCR/OMR处理(包含指针信息的检测处理)，由步骤S2305通过指针信息进行文件检索处理，由步骤S2306进行文件检索处理，由步骤S2309进行矢量化处理，而且对文字块进行矢量化处理，对线条块、图形块等进行矢量化处理，向应用数据的变换处理，指针信息的附加处理等等，均与实施方式1相同。

(同样适用于实施方式1和实施方式2的其它变形形式)

<涉及文件地址访问权的其它具体实例>

对于所提供的文档文件，有时必须对第三方的再次利用进行限制。在前述实施例中，是以存储在文件服务器中的文件全部可以自由访问，整个文件或文件中的一部分的对象均可以进行再次利用为前提进行说明的。下面参考图9，对通过前述实施例利用指针信息对文件进行检索时，对检索结果、即指定的指定文件存在访问权限制的另一实施例进行说明。直至步骤S403之前的处理均与前述实施例相同，所以省略了详细说明。对于通过步骤S403指定文件的场合，可通过步骤S404检查文件服务器处对该文件地址的访问权信息，对于存在访问限制的场合，向MFP请求发送密码(步骤S405)。

MFP提示用户输入密码，并且将所输入的密码传送至文件服务器处(步骤S406)。

文件服务器对传送来的密码进行比较认证(步骤S407)，对于认证成功的场合，如图3所说明过的那样，对文件的地址进行通知(步骤S129或步骤S2313)，而且如果用户希望进行处理的图象文件数据能够被获取到时，还将文件传送至MFP处(步骤S408)。

而且，对地址访问权进行控制的认证方法，并不仅限于如步骤S405、步骤S406所示的使用密码认证的方法，例如，还可以采用诸如指纹认证等常规使用的人体认证、通过卡进行认证等等各种各样的认证方法。

而且，在本具体实例中，是以通过附加在纸文档上的指针信息对指定文件进行指定的场合为例进行说明的，然而对于在如图3中步骤S126至步骤S128所示的检索处理中指定文件的场合，也可以按照相同方式对地址访问权进行控制。

而且，对于通过图3中步骤S129进行说明的矢量化处理，也可以设置限制处理权限。换句话说就是，在从扫描纸文档获得的图象中通过水印等检测到对该文档的访问限制时，仅仅在认证确认的场合进行矢量化处理，从而可以限制使用机密程度比较高的文档。

<涉及指定文件的其它具体实例>

在前述实施例中，从通过对原稿进行扫描获得的图象信息中指定原始文件数据的装置如图3所示，可以依据附加在文件中的指针信息进行指定，也可以依据记载在文档中的各对象信息对相应的文件进行检索，但为了能够更准确地指定出原始文件，还可以对满足这两种方式的电子文件进行指定。换句话说就是，即使可以根据从原稿中获得的指针信息检索出原始文件，也进一步使用该文件中的对象信息，对检索出的文件进行基于布局信息的布局检索、通过字符识别后的关键词进行的全文检索等，对于获得高度一致的场合，才将该检索出的文件正式指定为原文件。这里例如，对于指针信息的低位部分存在不确定内容，并且即使进行纠错也难以校正的场合，还可以对检索范围进行进一步缩小而指定文件，从而可以更快速且更准确地指定文件。

<涉及矢量化处理的其它具体实例>

前述实施例对于检索装置未能指定原文件的场合，对整个图象图象进行矢量化处理，然而对于诸如为一般性文档的场合，也可以不新生成文档中的全部对象，而是将其一部分对象生成为可以与其它文件共用。例如，背景对象(壁纸)通常可以通过文档制作应用程序预先准备出几种图案，并且从其中进行选择使用。因此，采用这种对象存在于文档文件数据库中的其它文档文件中的可能性相当大，而且作为可再次利用的矢量数据而存在的可能性也相当高。

因此，作为图3中的矢量化处理步骤S129的另一具体实例，还可以对于通过块选择处理被分割为单独对象的各对象，按该对象单位，从数据库中检索包含与其一致的对象的文件，对于与其一致的对象，可以个别地从该文件中按对象单位取得矢量数据。据此，可以对输入文件进行更高速的矢量化处理，并且可以防止由于矢量化处理造成的图象质量恶化。

在另一方面，对于通过图3中的检索处理步骤S126至步骤S128，可将原始文件作为PDF进行指定的场合，有时该PDF具有通过对该文档的字符对象进行字符识别而获得的文字编码，作为附加文件。在对这种PDF文件进行矢量化处理时，如果采用该文字编码文件，则可以省略步骤S129以后的矢量化处理中的字符识别处理。换句话说就是，可以更高速地实现矢量化处理。

通过如上所述的说明可知，如果采用本发明，可以提取出输入图象信息和原始电子文件间的差异信息(不存在于原始文件中的追加信息)。

而且，通过将所提取出的追加信息与原始电子文件进行合成保存的方式，还可以生成在原始数据中附加有追加信息的高品质的电子文件。

而且，通过对附加的差异信息也进行矢量化处理，包含附加信息在内，还可以大大提高再利用性、可编辑性，而且可以减少所需要的存储容量。

而且如果采用本发明，对于没有发现原始电子文件的场合，由于对输入的图象进行矢量数据化处理后存储，所以具有容易进行再次利用的技术效果。采用矢量数据化处理，还可以减少存储容量。

而且，对于发现有原始电子文件的场合，可以使用该原始电子数据，所以具有可以减少图象质量恶化的技术效果。

C、实施方式3

图象处理系统和MFP100可以采用与实施方式1相同的构成形式，所以这里省略了对它们的详细说明。

《图象处理方法的整体流程》

依据本发明的图象处理方法的实施方式3，可以通过图24所示的各步骤实现。而且，在图24中包含有与图3所示流程图中的处理相同的处理，为了容易理解，这里一并对它们进行说明。

步骤S2401：使MFP100中的图象读取部110动作，对一张原稿进行光栅状扫描，以获得具有预定分辨率和预定浓度水平的图象读取信号。图象读取信号由数据处理部115进行前处理，作为输入图象的一页图象数据，存储在存储装置111处。随后进入至步骤S2402。

步骤S2402(块选择步骤)：通过管理PC101，将存储在存储装置111处的图象数据区域，分为包含文字或线条的文字·线条区域、半色调照片区域、不定形的图形区域。随后，将文字·线条区域进一步分离成主要包含文字的文字区域，和主要包含表格、图形等的线条区域，并且将线条区域分离成表格区域和图形区域。本实施方式是对连结象素进行检测，利用该连结象素的外接矩形区域的形状、尺寸、象素密度等等，按属性进行各区域的分割，然而也可以采用其它的区域分割方法。

对于文字区域，可以将文字段落组合构成块作为块分段为矩形块(文字区域矩形块)，对于线条区域，可以按各表格、图形等的对象(表格区域矩形块，线条区域矩形块)分段成矩形块。

按半色调表示的照片区域，可以按图象区域矩形块、背景区域矩形块等对象，分段成矩形块。

这些矩形块的信息被称为“区域分割信息”。

步骤S2403：判断在输入图象中是否嵌入原始数据文件的指针信息，并进行OCR、OMR处理。

对作为附加信息记录在原稿图象中的二维条形码，或是与URL相当的对象进行检测，通过OCR对URL进行字符识别处理，通过OMR对二维条形码进行解码，以检索出存储有输入图象的原始数据文件的存储装置内的指针信息。

附加指针信息的装置并不仅限于二维条形码，还可以采用嵌入作为相邻文字列间隔变化的信息的方法，在半色调图象中嵌入信息等、嵌入肉眼不能直接识别的所谓电子水印的方法等等。

步骤S2404(指针信息提取步骤)：从在步骤S2403获得的OCR、OMR或电子水印信息中，提取出指针信息。

步骤S2405：判断是否通过步骤S2404获得了指针信息。当获得有指针信息时，沿程序分路进入至步骤S2406，以直接访问原始数据文件。

当通过步骤S2404没有提取出指针信息时，进入至步骤S2407。

步骤S2406：当提取出指针信息时，利用该指针信息对原始数据文件(电子文件)进行检索。原始数据文件呈电子文件形式，存储在诸如图1所示的客户端PC102的硬盘内，文档管理服务器106的数据库105内，或是设置在MFP100处的存储装置111中等，所以可以依据通过步骤S2406获得的地址信息(指针信息)，在这些存储装置内进行检索。当作为检索结果，不能获得原始数据文件，或是所提取出的原始数据文件为光栅型数据文件，或BMP、tiff等对光栅数据进行编码处理获得的图象数据文件时，沿程序分路进入至步骤S2407。对于可以提取出原始数据文件的场合，转移至步骤S2416中。

步骤S2407、步骤S2408：在操作画面116中显示出如图26所示的画面，并且向用户询问是否进行矢量化处理。在如图26所示的画面中，显示有诸如“进行矢量化处理？”等等的询问信息，以及诸如“马上进行”按钮2601，“以后进行”按钮2602，“不进行”按钮2603。对于“马上进行”按钮2601被压下的场合，随即进行矢量化处理，该处理经过步骤S2408，进入至步骤S2409。对于“以后进行”按钮2602被压下的场合，将状态设为“LATER”并将暂时的存储地址登录在矢量化处理表中，随后当满足诸如MFP100的负载减轻(包括全部作业均未进行的状态)等等预定条件时，进行矢量化处理，而且在用户不会注意到矢量化处理的等待时间的定时，通过图25所示的同时的矢量化处理来进行矢量化。对于“不进行”按钮2603被压下的场合，将状态设置为“NO”并结束程序。

按钮2601～2603的选择被记录在图27所示的矢量处理表中。在后面将对该矢量处理表进行详细说明。

步骤S2409：执行文件检索例程。利用通过步骤S2403的OCR处理提取出的单词，在数据库105中进行全文检索，或是依据矩形块的布局和对象的属性，进行布局检索。

步骤S2410：当通过步骤S2409的检索，提取出多个类似程度高的原始数据文件候补的场合，可以在显示画面116上通过缩略图等等进行显示，以提示用户进行选择。对于作为候补的原始数据文件为一个时，可以由步骤S2411自动转移至步骤S2416，并且将所提取出的原始数据文件的地址，通知给MFP100。

步骤S2411：判断通过步骤S2409或步骤S2410是否指定出一个数据文件。当指定出一个数据文件时，转移入步骤S2416，当未提取出数据文件时，或是提取出的数据文件为图象数据文件时，进入至步骤S2412。

步骤S2412(矢量化步骤)：对于未提取出指针信息的场合，转移至矢量化处理，通过矢量化处理，可以将通过区域分割处理分割出的各区域内的图象数据变换为矢量数据。

矢量化处理方法可以包括下述方法(a)～方法(f)等等。

(a)当区域为文字区域时，进一步通过OCR进行文字图象的编码变换，或是对文字的尺寸、字型、字体进行识别，变换为在视觉上忠实于通过扫描原稿而获得的文字的字体数据。

(b)当区域为文字区域，且不能通过OCR进行识别时，对文字轮廓进行追踪，并且变换为将轮廓信息(轮廓)表现为线段关系的形式。

(c)当区域为图形区域时，对图形对象的轮廓进行追踪，并且变换为将轮廓信息表现为线段关系的形式。

(d)将方法(b)、方法(c)中线段形式的轮廓信息通过贝塞尔函数等变换为函数信息。

(e)根据方法(c)的图形对象的轮廓信息，对图形形状进行识别，变换成圆、矩形、多边形等的图形定义信息。

(f)当区域为图形区域且对象为指定区域的表格格式时，对间线和边线进行识别，并变换为预定格式的帐单格式信息。

除了上述方法之外，还可以使用将光栅数据置于预定的命令和编码信息上的各种矢量化处理方法。而且，图象区域也可以按诸如JPEG等格式处理。

步骤S2413：原封不动地使用步骤S2410给出的矢量数据，将其变换成应用数据格式并进行输出。一般说来，数据格式取决于所使用的应用程序，有时需要变换为与使用目的相适应的文件格式。

对于可进行编辑等等再次利用的应用数据格式，可以为诸如文字处理器、表格计算软件等等应用软件，例如，可以为微软公司出品的文字处理器WORD(注册商标)和表格计算应用软件EXCEL(注册商标)等。这些应用程序的使用目的不同，可以相应于使用目的对文件格式进行定义，并以该格式对文件(数据)进行保存。

更为通用的文件格式还包括微软公司的RTF(富文本格式)格式，近年来使用的SVG(Scarable Vector Grafics)格式，或是单纯处理文本数据用的平面文本格式等等已知的格式，可在与其相对应的应用程序中通用。

步骤S2414：将通过步骤S2413生成的数据，作为电子文件存储在存储装置111中。

步骤S2415：将与存储在数据库105、存储装置111处的电子文件相关的检索用索引信息存储在索引文件中。因此，可以按照与通过步骤S2414新存储的电子文件相关的方式，将通过步骤S2403获得的字符识别结果的文本信息和布局信息等等，作为索引信息登录在索引文件中。

采用这种方式，即使是扫描登录的图象，也能获得与通过应用软件生成的文档文件等相同的检索性能，即使在不能使用指针信息的状态下也能够进行检索。

步骤S2416：对表示数据存储位置的地址进行输出。通过步骤S2414将数据存储在存储装置111中时，对该存储地址进行输出，在通过步骤S2406或步骤S2411提取出原始数据文件时，通知原始数据文件的地址。

步骤S2417：对于检索出或生成的电子文件的内容，由用户确认是否进行诸如印刷等等的记录操作，当进行记录操作时进入至步骤S2418，当不进行记录操作时进入至步骤S2419。

步骤S2418：将指针信息附加在电子文件等中。指针信息的附加方法可以为将二维条形码附加在输出图象上的方法、在文字列中和半色调图象中嵌入电子水印的方法等各种公知的方法。

采用这种方式，在对印刷后的图象进行读取时，可以直接获取出指针信息，进而访问到原始数据文件。

步骤S2419：利用通过如上所述处理获得的电子文件，进行文档的加工、存储、传送、记录等各种处理。生成的、或取得的电子文件与图象数据文件相比可以压缩数据尺寸，从而可以获得提高存储效率、缩短传送时间、提高显示和记录品质等技术效果。

图27为表示矢量化处理表的示意图，在文件ID处登录有表示作为处理对象的输入图象的“1001”、“1002”等ID序号1010。在各文件ID的状态1011中，登录有“NO”、“LATER”、“PROCESSING”、“SEARCHING”、“DONE”、“SIMILAR”或“LINK”等。当通过步骤S2407选择为“以后进行”(按钮2602)时，可以将“LATER”登录在状态中。当选择为“不进行”(按钮2603)时，可以将“NO”写入至状态中。

当检测到满足诸如MFP100的负载减轻(包括没有负载时)等等预定条件时，可以通过图25所示的程序，进行同时的矢量化处理。

步骤S2501：将状态1011的内容改写为“PROCESSING”，执行与图24中的步骤S2402相同的块选择步骤。

步骤S2502：随后，执行与图24中的步骤S2403相同的OCR、OMR处理。

步骤S2503：随后，执行与图24中的步骤S2412相同的矢量化处理。

步骤S2504：随后，执行与图24中的步骤S2413相同的应用数据变换处理。

步骤S2505：执行对生成的电子文件进行存储的处理程序。

步骤S2506：随后，执行与图3中的步骤S2515相同的索引生成处理。在上述步骤S2501～步骤S2506的处理过程中，一直保持为“PROCESSING”状态。

步骤S2507：将状态改写为“SEARCHING”，执行与图24中的步骤S2409相同的、依据前述矢量化处理后的输入图象进行文件检索的处理。当不能提取出该矢量化处理后的输入图象之外的电子文件时，将状态1011改写为“DONE”，将通过步骤S2505进行存储的矢量数据的地址信息写入指针信息1013。

步骤S2508：当由步骤2507提取到对该矢量化处理后的输入图象之外的电子文件时，将状态改写为“SIMILAR”，将电子文件的指针信息写入指针信息1013。

步骤S2509：判断对全部未处理输入图象的处理是否已经结束，对于已经结束的场合，结束处理。对于还存在有未处理的输入图象的场合，返回至步骤S2501。

下面对图24中的主要步骤进行详细说明。

《块选择步骤》

在步骤S2402(块选择步骤)中，将作为如图4中右半部所示图象的输入图象按属性分割成矩形块。如上所述，矩形块的属性包括文本(TEXT)/图形(PICTURE)/线条(Line)/表格(Table)/照片(PHOTO)等等。

在块选择处理步骤中，可以首先对输入图象进行黑白二值化处理，提取出由黑色象素轮廓包绕着的象素块。

对如此提取出的黑色象素块的大小进行估计，当其对位于大小大于或等于预定值的黑色象素块内部的白色象素块进行轮廓跟踪。为了对白色象素块的大小进行估计和跟踪内部黑色象素块，将内部象素块限定为大于或等于预定值，并递归地进行内部象素块的提取、轮廓跟踪。

象素块的大小可以利用诸如象素块的面积进行估计。

生成与采用这种方式获得的象素块外接的矩形块，并且依据该矩形块的大小、形状对其属性进行判定。

例如，纵横比接近1、大小位于一定范围的矩形块具有作为文字区域矩形块的可能性，从而将其作为文字相当块，当彼此接近的文字相当块规则排列时，可以将这些文字相当块合并在一起生成新的矩形块，并且将新的矩形块作为文字区域矩形块。

而且，可以将扁平的象素块作为线条区域矩形块，将大于或等于一定大小的、呈四方形且在内部规则地包含有白色象素块的黑色象素块作为表格区域矩形块，将分散有不定形象素块的区域作为照片区域矩形块，将除此之外的其它不定形的象素块作为图象区域矩形块。

通过块选择处理步骤，可以依据按照这种方式生成的块，生成如图5所示的、诸如属性等等的块信息和输入文件信息。

在图5中，块信息包含各块属性、位置坐标X、坐标Y、宽度W、高度H、OCR信息。可以将属性赋予数值1～5，并且使数值1表示文字区域矩形块，使数值2表示图象区域矩形块，使数值3表示表格区域矩形块，使数值4表示线条区域矩形块，使数值5表示照片区域矩形块。坐标X、坐标Y表示的是输入图象中各矩形块的始点坐标X、坐标Y(左上角处的坐标)。宽度W、高度H表示的是矩形块沿坐标X方向的宽度，沿坐标Y方向的高度，OCR信息表示的是在输入图象中是否存在有指针信息用的信息。

而且，还可以包含有作为输入文件信息的、表示矩形块个数的总块数N。

这些块中每一个的块信息用于指定领域中的矢量化。依据这种块信息，可以指定出指定领域与其它领域进行合成时的相对位置关系，从而可以在不损坏输入图象布局的条件下，对矢量化领域和光栅数据领域进行合成。

《指针信息提取步骤》

步骤S2404(指针信息提取步骤)可以通过图6所示的各步骤进行。图7表示的是作为指针信息提取步骤的处理对象的原稿310，该原稿310可以存储在数据处理部115内部的页存储器(图中未示出)中。在原稿310中记录有文字区域矩形块312、313，照片区域矩形块314，二维条形码(QR编码)的符号311。对于图6中各步骤的处理，这里省略了详细说明(请参见实施方式1)。

组入二维条形码中的数据表示的是原始数据文件的指针信息，可以由诸如由文件服务器名和文件名构成的路径信息构成。或者，可以由指向对应文件的URL等或存储文件的数据库105内或存储装置111内的文件ID等等构成。

本实施方式是以附加有二维条形码形式的指针信息的原稿310为例进行说明的，然而也可以采用各种各样的指针信息记录形式。

例如，可以依据预定规则，通过文字列直接将指针信息记录在文字列中，也可以通过块选择步骤对文字列的矩形块进行检索。通过对检索出的文字列进行识别的方式，获取出指针信息。

或者，在文字区域矩形块312和文字区域矩形块313中，可以按照难以通过肉眼识别的程度对相邻文字列间的间隔进行调制，利用该文字列间隔的调制信息表示出指针信息。通过这种方式形成的水印信息，在进行如后所述的字符识别处理时，可以通过对各文字间隔进行检测的方式将其检测出来，从而可以获取到指针信息。而且，在照片区域矩形块314中，也可以附加上作为电子水印的指针信息。

《利用指针信息进行的电子文件检索》

在图24的步骤S2408、步骤S2411中，可以利用图28所示的各步骤，进行利用指针信息进行的电子文件检索。

步骤S2801：依据包含有指针信息的地址，指定文件服务器。可以将客户端PC102、数据库105、文档管理服务器106、内装有存储装置111的MFP100中的至少一个作为文件服务器使用。地址可以是URL，或由服务器名和文件名组成的路径信息。

步骤S2802：相对通过步骤S2801指定的文件服务器，进行地址传送。

步骤S2803：通过步骤S2801指定的文件服务器，对通过步骤S2802传送来的地址进行接收，进而依据该地址对原始数据文件进行检索。

步骤S2804：判断通过步骤S2803进行的文件检索，能否提取出原始数据文件。当可提取出文件时进入至步骤S2805，当不能提取出文件时进入至步骤S2806。

步骤S2805：按照参考图24说明过的那样，将文件的地址通知至MFP100，当用户希望获取到原始文件数据时，还可以将原始数据文件传送至MFP100处。由此结束处理。

步骤S2806：当通过步骤S2803不能提取出文件时，将表示这一内容的信息通知给MFP100，结束处理。

《文件检索处理》

对于输入图象未包含指针信息的场合，或是不能利用指针信息提取出电子文件的场合，执行如图24中的步骤S2409所示的文件检索处理。可以通过组合使用诸如关键词检索处理、全文检索处理、布局检索处理、条件限制检索处理等多种检索方法，进行这种文件检索处理。

关键词检索处理是一种利用作为检索对象的图象数据的检索关键词，对按照将与数据库内的各电子文件相关联的关键词预先进行登录的索引文件进行检索(完全一致检索或模糊一致检索)的处理。

检索关键词可以包括通过步骤S2403的OCR处理从输入图象中提取出的文字单词，嵌入在电子水印中的单词等等。

全文检索处理是一种利用关键词检索处理使用的检索关键词，对原始数据文件的全部文本信息进行检索的处理，并且判定所提取出的检索关键词数目越多，类似程度越高。

下面参考图29，对布局检索处理方法进行说明。

《布局检索处理》

可以通过如图29所示的各步骤，进行布局检索处理。

这里，作为步骤S2402的结果的、所提取出的各矩形块和输入图象数据具有如图27所示的块信息和输入文件信息。

例如，在块信息中矩形块按照坐标X从小到大的顺序排列，即块1、块2、块3、块4、块5、块6的坐标X满足，X1≤X2≤X3≤X4≤X5≤X6的关系。使用这些信息，利用如图29所示的各步骤，可以执行从数据库中检索与输入图象类似的文件的布局检索的处理。这里，以数据库文件具有与图26所示相同的信息为前提。利用该程序可以将块信息和输入文件信息与数据库中的文件依次进行比较。

步骤S2901：对如后所述的相似性等等进行初始化处理。

步骤S2902：随后，对与输入图象的总块数N之间的差是否在预定值以内，即在位于数据库内的数据文件中，是否存在具有满足N-ΔN＜n＜N+ΔN的n个总块数的数据文件。如果可以检索提取出满足条件的数据文件，则进入至步骤S2903，对该检索提取出的数据文件内的矩形块信息和输入图象内的块依次进行比较。在另一方面，当总块数的差比较大时，进入至步骤S2914。在对矩形块进行信息比较的过程中，可通过步骤S2903～步骤S2909，分别对属性相似性、尺寸相似性、OCR相似性进行计算，并且可以依据这些相似性，通过步骤S2911计算出作为该比较对象的数据文件的综合相似性。

步骤S2903：将输入图象的块属性和通过步骤S2902提取出的数据库文件的块属性进行比较。当块属性一致时进入至步骤S2904，当块属性不一致时进入至步骤S2910，判断对输入图象中全部块的比较操作是否已经结束。

步骤S2904：对于在步骤S2903比较的、关于块信息的属性的属性相似性进行更新。属性相似性的计算方法，可以是在先技术所采用的各种方法。例如，可以依据{(属性一致的块数)/(总块数)}进行计算。

步骤S2905：将输入图象的块信息中的尺寸(宽度W、高度H)和通过步骤S2902提取出的数据库文件的尺寸(宽度w、高度h)进行比较。判断尺寸的差是否位于预定范围内，即判断是否满足W-ΔW＜w＜W+ΔW和H-ΔH＜h＜H+ΔH。当位于预定范围内时进入至步骤S2906，当未位于预定范围内时进入至步骤S2910，判断对输入图象中全部块的比较处理是否已经结束。

步骤S2906：对于在步骤S2905中比较的块信息的尺寸，对尺寸相似性进行更新。尺寸相似性的计算方法可以采用现有的任意方法，例如，可以通过{1-(尺寸差)/(输入图象数据中该块尺寸)}求解出各块的尺寸相似性，而且可以通过对该数据文件求解尺寸相似性平均值的方式进行计算。

步骤S2907：判断在输入图象的块信息以及通过步骤S2902提取出的数据文件的块信息中的OCR信息是否为“有”。当两者的OCR信息均为“有”时进入至步骤S2908，当OCR信息为“无”时进入至步骤S2910，判断对输入图象中全部块的比较处理是否已经结束。

步骤S2908：对输入图象的块信息中的OCR信息和通过步骤S2902提取出的数据文件的OCR信息进行比较。

步骤S2909：对于在步骤S2908中比较的OCR信息，对OCR信息相似性进行计算。OCR信息相似性的计算方法可以是在先技术所采用的各种方法。例如，可以对各块的识别结果文字彼此进行比较，通过求解识别结果一致率等方式进行求解。

步骤S2910：判断包含在输入图象中的全部块与数据文件中各块的比较处理是否已经结束。当对全部块的处理结束时进入至步骤S2911，当尚存在有未处理的块时，经由步骤S2915，返回至进行块比较处理用的步骤S2903处。

步骤S2911：依据属性相似性、尺寸相似性、OCR相似性对综合相似性进行计算。例如，综合相似性的计算方法，可以是对各相似性施加预定权重，进而求和的计算方法。

步骤S2912：判断综合相似性是否高于预先设定的阈值Th。如果综合相似性高于阈值Th则进入至步骤S2913，如果综合相似性不高于阈值Th则进入至步骤S2914。

步骤S2913：将通过步骤S2912判断为综合相似性高于阈值的数据库中的数据文件，作为类似候补进行保存。

步骤S2914：判断对数据库中的全部数据文件的处理是否已经结束。当全部数据库文件的处理已经结束时，直接结束整个处理，当尚残存有未处理的数据库文件时，经由步骤S2916返回至步骤S2901。

步骤S2915：为了将数据文件中的每个块信息与输入图象的全部块信息进行比较，使下一块作为比较对象块。

步骤S2916：为了对数据库中各数据文件进行依次比较，取下一数据文件作为比较对象。

在图29中，参考标号N、W、H分别为输入图象的总块数、各块宽度、各块高度，参考标号ΔN、ΔW、ΔH分别为以输入图象的块信息为基准的允许范围。参考标号n、w、h分别为数据库文件的总块数、各块宽度、各块高度。

虽然图中未示出，然而通过步骤S2905对尺寸进行比较时，也可以对坐标X、坐标Y的位置信息进行比较等。

通过以上多种检索方式获得的检索结果作为各种相似性分值而被数值化，最终的检索结果为将各分值的加权和值作为综合检索相似性进行估计。

将综合检索相似性与预定的阈值进行比较，将分值高于阈值的电子文件作为检索对象候补。当提取出多个候补时，可通过步骤S2410进行候补的选择处理。

《矢量化步骤》

通过步骤S2412(矢量化步骤)，当文件服务器中不存在原始数据文件时，对图4中右半侧的图象数据，按各矩形块进行矢量化处理。当矩形块为文字区域矩形块时，对矢量化处理后的各文字进行字符识别处理。

可通过图30中的各步骤进行矢量化处理。

步骤S3001：判断指定区域是否为文字区域矩形块，如果是文字区域矩形块，进入至步骤S3002以下的步骤，利用图案匹配的方法进行识别，以获得相对应的文字代码。当指定区域不是文字区域矩形块时，转移至步骤S3012。

步骤S3002：为了对指定区域进行是横向笔画区域还是纵向笔画区域的判定(布局方向的判定)，取得相对于指定区域内的象素值的水平、垂直投影。

步骤S3003：对于步骤S3002取得的投影的分散程度进行估计。对于水平投影的分散程度比较大的场合判断其为横向笔画区域，对于垂直投影的分散程度比较大的场合判断其为纵向笔画区域。

步骤S3004：依据步骤S3003的评价结果，判定布局方向，进行行切割，随后切割出文字以获得文字图象。

对文字列和文字的分解，如果为横向笔画区域可以利用沿水平方向的投影切割成行，并根据切割出的行沿垂直方向的投影切割出文字。对于为纵向笔画的文字区域，可以对水平和垂直的操作进行反转。而且，还可以在对文字进行切割时，也对文字尺寸进行检测。

步骤S3005：关于通过步骤S3004切割出的各文字，生成将从文字图象获得的特征变换为数十维数值列的观测特征矢量。可以通过各种公知的方法进行这种特征矢量的提取操作，例如，可以采用将文字分割成筛网形状，将各个筛网内的文字线段作为线段元素沿不同方向进行计数，并将获得的筛网多维矢量作为特征矢量的方法。

步骤S3006：将由步骤S3005获得的观测特征矢量与预先按各种文字种类准备的词典特征矢量进行比较，对观测特征矢量与词典特征矢量间的距离进行计算。

步骤S3007：对通过步骤S3006计算出的距离进行估计，将距离最小的文字种类作为识别结果。

步骤S3008：在步骤S3007的距离估计中，判断最短距离是否大于预定值。对于该距离大于预定值的场合，被误识别为词典特征矢量中形状类似的其它文字的可能性比较高。因此，对于该距离大于预定值的场合，不采用步骤S3007给出的识别结果，而是进入步骤S3011进行进一步处理。当该距离小于预定值时，采用步骤S3007给出的识别结果，进入步骤S3009。

步骤S3009(字体识别步骤)：相对于文字形状种类即字体种类，准备多种在进行字符识别时使用的、文字种类的词典特征矢量，在进行图案匹配时，可以与文字编码一并输出字体种类，以便能够识别出文字字体。

步骤S3010：利用通过字符识别和字体识别获得的文字编码和字体信息，利用预先准备出的轮廓数据将各文字变换为矢量数据。对于输入图象为彩色的场合，还可以从彩色图象中提取出各文字的颜色，作为矢量数据进行记录。

步骤S3011：象常规线条一样对文字进行处理，将该文字轮廓化。即对于产生误识别可能性比较高的文字，生成视觉上忠实于图象数据的轮廓的矢量数据。

步骤S3012：当指定区域不是文字区域矩形块时，依据图象轮廓进行矢量化处理。

采用如上所述的处理方式，可以将文字区域块所属的图象信息忠实地按其大致形状、大小、颜色变换成矢量数据。

《对文字区域之外的其它区域进行的矢量化处理》

当步骤S3012判断为文字区域矩形块之外的区域，即为图形区域块、线条区域矩形块、表格区域矩形块等时，可以将由指定区域中提取出的黑色象素块的轮廓变换为矢量数据。

在对文字区域之外的区域进行矢量化处理时，由于线条等等是由直线和/或曲线组合构成的，所以对将曲线区分为多个区间(象素列)的“角”进行检测。角是曲率极大的点，可以按照下述方式对图31中曲线上的象素Pi是否为角进行判断。

即，以点Pi为起点，通过线段L连接沿曲线从点Pi朝向两个方向相距预定象素(k个)的象素Pi-k和Pi+k。当象素Pi-k和Pi+k间的距离取为d1，线段L与象素Pi间的距离取为d2，曲线上象素Pi-k和Pi+k间的弧长取为A时，如果d2非常大，或是比值(d1/A)小于或等于阈值时，判断象素Pi为角。

将通过角分割出的象素列近似为直线或曲线。向直线的近似可以通过最小平方法等等进行，向曲线的近似可以利用三次样条函数等等进行。分割象素列的角的象素构成为近似直线或近似直线中的始端或终端。

随后，判断在矢量化处理后的轮廓内是否存在有白色象素块的内轮廓，当存在有这种内轮廓时对该轮廓进行矢量化处理，当内轮廓中仍存在有内轮廓，递归地对反转象素的内轮廓进行矢量化处理。

通过如上所述的方式，采用轮廓的区分线近似线，可以对呈任意形状的图形的轮廓进行矢量化处理。对于原稿为彩色的场合，还可以由彩色图象中提取出图形颜色，并作为矢量数据进行记录。

正如图32所示，对于在某个关注区间的外轮廓PRj与内轮廓PRj+1或其它外轮廓相接近的场合，还可以将两个或多个轮廓线组合在一起，用比较粗的线条表示。例如，可以对从轮廓Pj+1上的各象素Pi至位于轮廓PRj上与其距离最短的象素Qi间的距离PiQi进行计算，对于距离PiQi仅有比较小的出入的场合，可以沿着象素Pi、Qi的中点Mi构成的点列，用直线或曲线对关注区间进行近似。近似直线、近似曲线的粗细，可以为距离PiQi的平均值。

作为线与线的集合体的表间线，可以通过具有比较粗的线集合构成，从而可以高效率地表现出矢量。

对各轮廓处理结束后，结束全部处理操作。

而且，对于照片区域矩形块，可以不进行矢量化处理，原样取为图象数据。

《图形识别》

在以上线段图形等的轮廓进行矢量化处理之后，将矢量化的区分线按图形对象进行组合处理。这些图形元素的组合处理与实施方式1相同，所以省略了详细说明。其详细内容可参见图13和相应的说明。

《图形元素的检测》

如步骤S1402(图形元素的检测)所示的处理，也与实施方式1相同，所以省略了详细说明。其详细内容可参见图14和相应的说明。

通过这种处理的图形块，还可以作为可再利用的单独图形对象而处理。

《向应用数据的变换处理》

在如图24所示的块选择步骤(步骤S2402)之后，利用矢量化处理(步骤S2412)的结果数据，通过步骤S2413进行向应用数据的变换处理。步骤S2412的矢量化处理结果按如图15所示的中间数据格式，即所谓的文件分析输出格式(DAOF)进行保存。

在图15中，DAOF由引导部分791、布局描述数据部792、字符识别描述数据部793、图表描述数据部794、图象描述数据部795构成。对它们的说明与实施方式1相同，所以省略了详细说明。

而且，向应用数据的变换处理也可以采用实施方式1中如图16和图17所示的处理。

通过图17中的各步骤，进行步骤S8002所示的文档结构树的生成处理。在图17所示的处理中，作为进行整体控制的基本规则，处理流程由微型块(单一矩形块)向宏块(矩形块的集合体)转移。下面所称的“矩形块”，同时包括微型块和宏块。

步骤S8100：按照块单位，基于沿纵向的相关性，对块进行再次组合处理。是否重复进行如图17所示的处理，可以在开始执行之后以微型块为单位进行判断。

这里所称的相关性，是按照距离接近、块宽度(在沿横行方向设置时为高度)大体相等的方式进行定义的。而且，参考DAOF提取诸如距离、宽度、高度等等信息。

在如图18A所示的输入图象中，在最上部沿横向并列设置有矩形块T1、T2。在块T1、T2之下设置有横向分割符S1，在横向分割符S1之下设置有矩形块T3、T4、T5、T6、T7。

矩形块T3、T4、T5在横向分割符S1的下侧区域的左半部中，从上至下纵向配置，块T6、T7在横向分割符S1的下侧区域的右半部中上下配置。

依据步骤S8100给出的沿纵向的相关性，进行组合处理。通过这种方式，可以将块T3、T4、T5组合成一个组(矩形块)V1，将矩形块T6、T7组合成一个组(矩形块)V2。组V1、V2属于同一层。

步骤S8102：检查沿纵向是否存在有分割符。分割符是DAOF中具有线段属性的对象，具有在应用软件中明确地对块进行分割的功能。当检查到分割符时，在作为处理对象的层中，对输入图象区域以分割符为边界，进行左右分割。在图18A所示的实例中不存在纵向分割符。

步骤S8104：判断纵向的组高度总计值是否与输入图象的高度相等。换句话说就是，沿纵向(比如说由上至下)移动处理对象区域，同时沿横向进行组合处理，当对输入图象的全部处理操作结束时，利用组高度总计值成为输入图象高度，进行对处理结束的判断操作。当组合处理结束时直接结束整个处理，当组合处理未结束时进入至步骤S8106。

步骤S8106：进行依据横向的关联位置的组合处理。通过这种方式，可以将矩形块T1、T2组合成一个组(矩形块)H1，将矩形块V1、V2组合成一个组(矩形块)H2。组H1、H2属于同一层。而且这里，也是在处理开始之后立刻以微型块为单位进行判定。

步骤S8108：检查沿横向是否存在有分割符。当检查到分割符时，在处理对象层中，将输入图象区域以分割符为边界进行上下分割。在图18A所示的实例中存在横向的分割符S1。

以上处理结果作为如图18B所示的树结构而被登录。

在图18B中，输入图象V0具有位于最高层的组H1、H2、分割符S1，在组H1中形成有属于第二层的矩形块T1、T2。

在组H2中形成有属于第二层的组V1、V2，在组V1中形成有属于第三层的矩形块T3、T4、T5，在组V2中形成有属于第三层的矩形块T6、T7。

步骤S8110：判断沿横向的组长度总计值是否与输入图象的宽度相等。采用这种方式，可以判断横向上的组合操作是否结束。对于沿横向的组长度为页面宽度的场合，结束文档结构树的生成处理。对于沿横向的组长度不为页面宽度的场合，返回至步骤S8100，再次进入至上一层，重复进行纵向相关性的检查操作。

通过如图18A和图18B所示的构造树型结构的阶段，可以使沿横向的分割宽度等于页面宽度，所以直接结束整个处理，最后将表示整个页面的最高层的V0附加在文档结构树中。

在文档结构树的处理完成之后，依据该信息，通过步骤S1703生成应用数据。

下面对利用依据图18A和图18B而获得的应用数据的应用软件的处理实例进行说明。

首先，组H1沿横向具有两个矩形块T1、T2，所以构成为两列，参考T1的DAOF，对其内部信息(诸如作为字符识别结果的文章，图象等等)进行输出。随后，进行列变换，对T2的内部信息进行输出，再对分割符S1进行输出。

随后转移至对组H2的处理。组H2沿横向具有两个矩形块V1和V2，所以作为两列进行输出。对于组V1，可以按照矩形块T3、T4、T5的顺序进行内部信息的输出，随后进行列变换，对组V2中的矩形块T6、T7的内部信息进行输出。

采用上述方式，可以进行向应用数据的变换处理。

《指针信息的附加处理》

由步骤S2418进行的指针信息附加处理，是在对提取出或生成的文件进行记录时，将指针信息附加在记录纸张上的处理。通过参考指针信息的方式，可以容易地对电子文件进行提取处理。可以通过实施方式1中如图19所示的处理方式，进行指针信息的附加处理。

下面参考图19所示的流程图，对附加二维条形码(基于JISX0510的QR编码符号等等)的指针信息处理方式进行说明。

二维条形码包括表示获取相对应的电子文件的获取位置的信息。

步骤S900：对表示应变换为QR编码符号的指针信息的文字进行识别，对指针信息进行分析，同时对错误检测和～等级进行设定，对可以容纳指针信息的最小容量型号进行选择。

步骤S901：将通过步骤S900进行分析后的指针信息变换为预定比特列，并且可以依据需要，附加上表示指针信息模式(数字、英文数字、8比特字节、汉字等等)用的指示符和终端图案。而且，还可以将通过这种方式获得的数据变换成预定的比特码字。

步骤S902：按照型号和～等级，将通过步骤S901生成的比特码字列分割为预定数目的块，对每个块生成纠错码字。而且，还可以将纠错码字附加在比特码字列之后。

步骤S903：对通过步骤S903生成的各块的比特码字列进行连接，将纠错码字附加在各块中。而且在需要时，还可以在各块的纠错码字后附加上剩余码字。采用上述方式，可以生成码字模块。

步骤S904：将位置检测图案、分离图案、定时图案和位置合成图案以及码字模块配置在预定的矩阵中。

步骤S905：相对通过步骤S904生成的矩阵中的符号编码区域，对最佳掩码图案进行选择，并且可以通过矩阵和掩码图案的XOR演算生成模块

步骤S906：相对通过步骤S905生成的模块，生成的格式信息和型号信息，从而完成一个QR编码符号。

按照这种方式组合有地址信息的QR编码符号，还可以依据客户端PC102的请求，在通过MFP112印刷电子文件时，变换为可在数据处理部115内进行记录的光栅数据，并且可以在印刷图象的预定位置处形成图象。

由与图24中步骤S2404相关的说明可知，可以通过由图象读取装置110读取形成图象后的印刷图象，获取出指针信息，进而检测出电子文件的存储位置。

<实施方式3的变形实例>

下面参考附图，对作为根据本发明的图象处理方法的实施方式3的变形实例进行说明。图24为表示实施方式3的一种变形实例的示意性流程图。

正如图24所示，通过涉及矢量化处理的步骤S2407而选择了“以后进行”(按钮2602)的输入图象通过以后视MFP100的负载情况进行矢量化处理，弹也可以通过将附加有指针信息的印刷输出读取至MFP100中，进行同时的矢量化处理。

在矢量化处理表(参见图27)中，当对记载了在“LATER”状态1011的输入图象进行记录(步骤S2417、步骤S2419)时，可以将临时设定的指针信息作为指针信息进行记录。

当将记录有这种临时设定的指针信息的印刷输出再次读入至MFP100时，MFP100可以参考各输入图象的状态，与状态1011相对应地执行如图33所示的各步骤。

步骤S3301：对印刷输出进行再次读入，并参照状态1011。

步骤S3302：当通过步骤S3301参考的状态1011为“DONE”时，沿程序分路进入至步骤S3303，当状态1011为“SIMILAR”时，沿程序分路进入至步骤S3305，当状态1011为“LATER”时，沿程序分路进入至步骤S3308。

步骤S3303：临时设定的指针信息被改写到指向新的矢量化处理结果的指针中，并进入至步骤S3304。

步骤S3304：生成附加有新的指针信息的印刷输出。

步骤S3305：按照与图24中的步骤S2410相同的方式，进行电子文件的候补显示处理/选择处理。

步骤S3306：将选择出的电子文件的指针信息登录至矢量处理表中，并进入至步骤S3307。

步骤S3307：将状态1011改写为“LINK”，并进入至步骤S3304。

步骤S3308：进行与图25中步骤S2501～步骤S2508相同的处理，并进入至步骤S3304。

如上所述的实施方式3，是以对由图象读取部110等等输入的输入图象的处理为例进行说明的，然而对于由存储在存储媒体中的光栅数据或由其编码数据构成的图象数据、以及通过通信装置供给的图象数据等等输入图象之外的其它图象数据，也可以有效地应用本发明。

如果采用根据实施方式3的发明，具有用户不会意识到矢量化处理所花费的处理的优点。

D、实施方式4

图象处理系统和MFP100可以按照与实施方式1相类似的方式执行，所以这里省略了对它们的详细说明。

《图象处理方法的整体流程》

根据实施方式4构造的图象处理方法，可以按照图34所示的各步骤进行。

步骤S3401：使MFP100中的图象读取部110动作，对一张原稿进行光栅状扫描，以获得具有预定分辨率和预定浓度水平的图象读取信号。图象读取信号由数据处理部115进行前处理，并作为输入图象的一页图象数据，存储在存储装置111中。随后进入至步骤S3402。

步骤S3402(块选择(区域分割处理)步骤)：通过管理PC101，将存储在存储装置111处的图象数据区域，分为包含文字或线条的文字·线条区域、半色调照片区域、不定形的图形区域。随后，将文字·线条区域进一步分离成主要包含文字的文字区域，和主要包含表格、图形等的线条区域，并且将线条区域分离成表格区域和图形区域。本实施方式是对连结象素进行检测，利用该连结象素的外接矩形区域的形状、尺寸、象素密度等等，按属性进行各区域的分割，然而也可以采用其它的区域分割方法。

对于文字区域，可以将文字段落组合构成块作为块分段为矩形块(文字区域矩形块)，对于线条区域，可以按各表格、图形等的对象(表格区域矩形块，线条区域矩形块)分段成矩形块。

按半色调表示的照片区域，可以按图象区域矩形块、背景区域矩形块等对象，分段成矩形块。

这些矩形块的信息被称为“区域分割信息”。

步骤S3403：对通过块选择步骤获得的区域分割信息和输入图象进行合成处理，并显示在MFP100的显示装置116的操作画面处。

显示在显示装置116处的操作画面的一个实例如图4所示。

在该操作画面中，左半部显示的是作为输入图象的图像41，右半部显示的是表示由矩形块构成的区域分割信息的图像42。

在图像42中，简略显示出了输入图象，同时以矩形形状表示各矩形块。

为了使矩形块的概念容易理解，在各矩形块中附加了表示其属性的TEXT、PICTURE、LINE、TABLE等的显示，然而在实际使用时，并不显示出这些属性信息，而是通过边线表示分割后的矩形区域。

TEXT、PICTURE、LINE、TABLE分别表示的是文字区域矩形块、图象区域矩形块、线条区域矩形块、表格区域矩形块的属性，还可以采用表示照片区域矩形块的PHOTO及其它属性表示。

在图4中，是以输入图象和区域分割信息左右并列的方式进行显示的，然而还可以为在输入图象上重叠显示分割后的矩形块等等各种各样的显示方式。

步骤S3404(指定区域指定步骤)：可以依据用户的指示，对于在步骤S3403显示出的区域分割信息，将应作为矢量化处理对象的全部矩形块指定为指定区域。

例如，对指定区域进行指定的方法可以为用户利用指示设备(图中未示出)，对图像42中的一个或多个矩形块进行指定的方法。而且，可以采用将操作画面116作为触摸面板，用户用手指指定所需要的矩形块的方法等等各种各样的方法。

步骤S3405：将通过步骤S3404指定的指定区域作为图象数据进行切割，并且对切割出的图象数据进行以下处理。

步骤S3406：进行OCR、OMR处理，以判断在指定区域中是否嵌入了原始数据文件的指针信息。

对作为附加信息记录在原稿图象中的二维条形码，或是与URL相当的对象进行检测，通过OCR对URL进行字符识别处理，通过OMR对二维条形码进行解码，以检索出存储有输入图象的原始数据文件的存储装置内的指针信息。

附加指针信息的装置并不仅限于二维条形码，还可以采用嵌入作为相邻文字列间隔变化的信息的方法，在半色调图象中嵌入信息等、嵌入肉眼不能直接识别的所谓电子水印的方法等等。

步骤S3407(指针信息提取步骤)：从在步骤S3406获得的OCR、OMR或电子水印信息中，提取出指针信息。

步骤S3408：判断是否获得了指针信息。当获得有指针信息时，沿程序分路进入至步骤S3414以直接获取原始数据文件。

原始数据文件呈电子文件形式，存储在诸如图1所示的客户端PC102的硬盘内、文档管理服务器106的数据库105内、或是设置在MFP100处的存储装置111等等处，可以依据通过步骤S308获得的地址信息(指针信息)，在这些存储装置内进行检索。

步骤S3409(矢量化处理步骤)：对于没有提取出指针信息的场合，可以转移至矢量化处理，并通过矢量化处理将各指定区域的图象数据变换为矢量数据。

矢量化处理方法与实施方式3相类似，可以包括下述的方法(a)～方法(f)等等。

(a)当指定区域为文字区域时，进一步通过OCR进行文字图象的编码变换，或是对文字的尺寸、字型、字体进行识别，变换为在视觉上忠实于通过扫描原稿而获得的文字的字体数据。

(b)当指定区域为文字区域，且不能通过OCR进行识别时，对文字轮廓进行追踪，并且变换为将轮廓信息(轮廓)表现为线段关系的形式。

(c)当指定区域为图形区域时，对图形对象的轮廓进行追踪，并且变换为将轮廓信息表现为线段关系的形式。

(d)将方法(b)、方法(c)中线段形式的轮廓信息通过贝塞尔函数等变换为函数信息。

(e)根据方法(c)的图形对象的轮廓信息，对图形形状进行识别，变换成圆、矩形、多边形等的图形定义信息。

(f)当指定区域为图形区或且对象为指定区域的表格格式时，对间线和边线进行识别，并变换为预定格式的帐单格式信息。

除了上述方法之外，还可以使用将图象数据置于诸如编码信息、图形信息、函数信息等命令定义型信息中的各种矢量化处理方法。

步骤S3410(文件检索步骤)：当未提取出指针信息时，在管理PC101、客户端PC102上的本机硬盘或文档管理服务器106上的数据库105中，对包含有通过步骤S3404(指定区域指定步骤)指定的指定区域信息的数据文件或其原始数据文件进行检索。

在文件检索中，可以从通过步骤S3409(矢量化处理步骤)生成的矢量数据中的、依据对文字区域块进行OCR处理的结果中提取出重要单词，进而通过全文检索提取出包含重要单词的文档。

或者，也可以从各矢量数据中的、诸如是否存在矩形或特殊图形、是否存在表格格式数据、它们的位置关系和配置等信息中获取出布局信息，进行所谓的布局检索。

步骤S3411：对于提取出检索结果类似度比较高的数据文件的场合，通过缩略图等等将其作为提取结果的候补数据文件，显示在显示画面116中。对于提取出多个候补数据文件等需要用户进行选择的场合，可以通过用户的输入操作，从候补数据文件中指定出原始数据文件。对于候补数据文件只有1个的类似度较高的场合，步骤S3412构成为一个旁路，且可以自动地进入至步骤S3412中。

步骤S3412：判断通过步骤S3411提取出的原始数据文件是光栅数据文件，还是以BMP、tiff为代表的、对光栅数据进行编码处理而获得的图象数据文件。当所提取出的数据文件为图象数据文件时，该数据文件是与通过步骤S3401输入的图象数据相同的数据格式，所以在步骤S3413中，可以原样利用通过步骤S3409获得的矢量数据而变换为应用数据格式。

所提取出的数据文件为诸如文字编码和矢量数据等等可容易地再次利用的数据文件时，可以通过步骤S3414获取出数据文件。

而且，对于通过步骤S3411未选择到原始数据文件的场合，进入至步骤S3413，利用通过步骤S3409获得的矢量数据，进行向应用程序数据格式的变换处理。

步骤S3413：利用通过步骤S3409获得的矢量数据，进行向应用程序数据格式的变换处理并进行输出。一般说来，数据格式与所使用的应用程序相关，必须变换成对应于应用目的的文件格式。

对于可进行编辑等等再次利用的应用数据格式，可以为诸如文字处理器、表格计算软件等等应用软件，例如，可以为微软公司出品的文字处理器WORD(注册商标)和表格计算应用软件EXCEL(注册商标)等。这些应用程序的使用目的不同，可以相应于使用目的对文件格式进行定义，并以该格式对文件(数据)进行保存。

更为通用的文件格式还包括微软公司的RTF(富文本格式)格式，近年来使用的SVG(Scarable Vector Grafics)格式，或是单纯处理文本数据用的平面文本格式等等已知的格式，可在与其相对应的应用程序中通用。

步骤S3414：当通过步骤S3407获取出指针信息时，依据该指针信息获取出原始数据文件。

在本实施方式中，可以将用户指定的指定区域变换为矢量数据，将除此之外的区域作为输入图象的图象数据，并通过对两者进行合成的方式变换为如上所述的应用数据格式。这时，可以对指定区域的输入图象中的位置信息进行保存，以便可以对整个输入图象进行再现。

如果采用如上所述的这种构成形式，可以仅将用户需要的区域变换为矢量数据，并容易地进行编辑等等的再次利用。而且，对于图象区域等等未进行矢量化处理的区域，还可以防止出现错误矢量化处理的问题。

下面，对图34中的主要步骤进行说明。对于与实施方式1至3进行相同处理的场合，为方便而省略了重复性的详细说明。

《块选择步骤》

由块选择步骤S3402进行的处理，与实施方式3相同。

《指针信息提取程序》

由步骤S3407(指针信息提取步骤)进行的处理，也与实施方式1至3相同。

对于指针信息的提取处理，本实施方式可以通过指定应进行矢量化处理的指定区域的方式，快速而准确地获取出指针信息。换句话说就是，还可以通过由用户指定嵌入有条形码、电子水印等的矩形块的方式，更高效率地进行指针信息的提取处理。

与此相反，对于未进行指定区域的指定的场合，必需对整个输入图象进行条形码、电子水印等的所在位置的检索和提取处理，显然会损坏整体的执行性能。

《通过指针信息进行的电子文件检索》

由图34的步骤S3414进行的、依据指针信息进行的电子文件检索，大体上与实施方式3相同。在下面，简单说明其执行方式。

首先，依据包含有指针信息的地址，指定文件服务器，并向文件服务器发送出地址。这里的文件服务器可以是客户端PC102、内装有数据库105的文档管理服务器106、内装有存储装置111的MFP100等等。这里的地址指的是URL以及包含服务器名和文件名的路径信息。

接收到地址的文件服务器依据该地址进行原始数据文件的检索。当通过这种检索提取出原始数据文件时，将文件的地址通知给MFP100，如果用户希望获取到原始数据文件，将原始数据文件传送至MFP100处。在另一方面，当不能从文件服务器中提取到文件时，将表示这一信息的通知传送给MFP100。

《矢量化步骤》

步骤S3410(矢量化步骤)可以通过图30中的各步骤进行。矢量化步骤对于通过步骤S3409不能从指定区域中提取出指针信息的场合，对该指定区域内的图象数据进行矢量化处理。而且，这一处理与实施方式3相同，所以这里省略了对它们的详细说明。

采用这种矢量化处理方式，可以将属于文字区域矩形块的图象信息忠实地按其大致形状、大小、颜色变换成矢量数据。

《对文字区域之外的其它区域进行的矢量化处理》

当步骤S3012判断为文字区域矩形块之外的区域，即为图象区域矩形块、线条区域矩形块、表格区域矩形块等时，将由指定区域中提取出的黑色象素块的轮廓变换为矢量数据。对这些文字区域之外的区域进行的矢量化处理，与实施方式3相同，其具体说明可以参考图31、图32和相应的说明。

《图形识别》

在对以上线条图形等的轮廓进行矢量化处理之后，对矢量化的区分线按图形对象进行组合处理。这些处理与实施方式1至3相同。

《图形元素的检测》

而且，图形识别处理中的图形元素检测处理，也与实施方式1至3相同。

这种矢量化处理通常对整个输入图象进行的必要性比较低，而仅对用户指定的指定区域进行矢量化处理的场合比较多。

通过仅对用户指定的指定区域进行矢量化处理的方式，还可以提高处理的执行性能，而且可以仅对用户所希望部分高效率地进行矢量化处理，从而提供了能够在下一步骤的检索处理中利用，或是仅对图象信息中必要的部分进行再次编辑和再次利用的效果。

《文件检索处理》

如图34中步骤S3410所示的文件检索处理，可以按照与实施方式3中的布局处理(参见图29)相同的处理方式进行。这里，作为步骤S3402的处理结果的、所提取出的各矩形块和输入图象数据可以具有如图5所示的块信息和输入文件信息，并且保持有指定区域内的矢量化信息。

正如图5所示，块1～块6这六个矩形块中记录有作为块信息的属性、坐标位置、宽度、高度、是否存在有OCR信息等等信息，属性可以按照文字、图象、表格、线条、照片、其它进行分类。作为输入文件信息的总块数为输入图象中全部块数，在图6所示的实例中，总块数N为6。

在块信息中，例如矩形块按照坐标X从小到大的顺序排列，对于坐标X相同的矩形块按照坐标Y从小到大的顺序排列。通过如图29所示的各步骤，利用这些信息，从数据库中对与输入图象类似的文件进行布局检索。这里，是以数据库文件具有与图6相同的信息为前提的。使用该程序将块信息和输入文件信息与数据库中的文件依次进行比较。对于图29所示的布局检索的详细说明，可以参考实施方式3中相应的说明。

以上检索的结果是通过诸如缩略图等显示综合相似性高于阈值Th、且作为候补保存的数据库文件(步骤S2913)。当操作者应从多个候补中进行选择时，可以通过操作者的输入操作来指定文件。

在布局检索处理中，相对用户指定的指定区域，对通过步骤S3409生成的矢量化信息进行保存，并作为可以在文件检索处理(如图34中步骤S3410、图29所示)中利用的矢量化信息，具有通过OCR获得的文字编码信息和横向笔画/纵向笔画的布局信息、通过图形识别(参见图13)获得的图形个数和配置以及通过字体识别(参见图30)获得的、使用在文档中的文字处的字体信息等等。

本发明除了可以通过块选择步骤获得的布局信息之外，还得以在数据库文件检索中的相似性计算中利用用户所关注的指定区域的详细矢量化信息，从而得以提高检索精度。而且，在进行数据库文件检索的过程中，还可以提高指定区域的矢量化信息权重，求出重视了用户所关注部分的相似性，所以可以依据用户的希望获得相应的检索结果。

《向应用数据的变换处理》

在图34中的块选择步骤(步骤S3402)之后，利用作为矢量化处理(步骤S3409)结果的数据，通过步骤S3413进行向应用数据的变换处理。步骤S3409的矢量化处理结果可以按如图15所示的中间数据格式，即所谓的文件分析输出格式(DAOF)进行保存。这种向应用数据的变换处理，也与实施方式1和3相同。

《实施方式4的变形实例1》

在实施方式4中，当用户指定作为矢量化处理对象的指定区域时，利用输入装置等指定通过BS(块选择处理)自动生成的矩形块中的一个或多个，然而本发明并不仅限于此。

正如图35所示，也可以不通过BS(块选择处理)自动生成矩形块，而是将输入图象原样显示在MFP100的操作部画面上，由用户通过开始坐标、结束坐标来指定所需要的区域。例如，通过开始坐标S1、结束坐标E1指定指定区域B1，通过开始坐标S2、结束坐标E2指定指定区域B2。开始坐标、结束坐标的指定方法包括将操作画面作为触摸面板，进而通过该触摸面板进行指定的方法，以及通过数字键等输入坐标的方法等等。

《实施方式4的变形实例2》

对指定区域的指定方法，还可以不在MFP100中进行，而是利用线段标识等等直接记载在原稿上。

正如图36所示，利用通过预定颜色的线段标识，在原稿上写入与指定区域相对应的矩形区域RC1、RC2。MFP通过扫描对矩形区域RC1、RC2进行检测，并且依据所检测出的象素配置生成指定区域。对矩形区域RC1、RC2进行检测的方法，可以采用在先技术所公知的各种方法。

依据实施方式4，为了容易地对以纸文档和图象数据格式保存的信息进行再次利用，可以将输入的图象变换为矢量数据，所以可以高效率地进行这种矢量数据的变换处理。

E、其它实施方式

也可以将实施方式3所记载的、用于指示矢量化处理是“马上进行”还是“以后进行”的接口，与实施方式1或实施方式4组合应用。对于这种场合，除了对所输入的整个图象进行的矢量化处理之外，即使在差异信息的矢量化处理、由用户指定的指定区域的矢量化处理中，也可以选择是“马上进行”还是“以后进行”。

实施根据本发明的图象处理方法用的装置，并不仅限于如图1、图2所示的图象处理系统，还可以采用诸如专用图象处理装置、通用计算机等等各种装置。

当通过通用计算机执行这种图象处理方法时，可以将包括有在通用计算机中执行图象处理方法的各步骤用的程序代码的计算机可执行程序，读入至通用计算机中。

通用计算机用于执行图象处理的程序可以从内装在通用计算机中的ROM和通用计算机可读取的存储媒体中读入，也可以通过网络从服务器等中进行读入。

本发明可以应用于由一个单一设备的装置，也可以应用于由多格装置构成的系统。

而且，本发明还可以通过直接或间接向系统或装置提供能够实现前述实施方式功能的软件、利用所述系统或装置的计算机读取所提供的程序代码并执行这些程序代码而实现。对于这种场合，只要系统或装置具有这些程序的功能，实现的形式就不必拘泥于程序。

因此，由于本发明的功能通过计算机实现，从而安装在计算机中的程序代码也实现了本发明。换句话说就是，本发明的权利要求请求保护的范围也包括能够实现本发明功能的计算机程序。

对于这种场合，只要系统和装置具有这些程序的功能，该程序可以以诸如对象代码、可以由解释器执行的程序或提供给操作系统的脚本数据等任何形式被执行。

用来提供这种程序的存储媒体例如包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失型存储卡、ROM、DVD(DVD-ROM和DVD-R)等等。

关于提供这些程序的方式，可以为利用客户计算机的浏览器将客户计算机连接至网络上的某站点，然后将本发明的计算机程序或该程序的可自动安装的压缩文件下载到诸如硬盘等等的记录媒体中。此外，本发明的程序还可以通过将构成该程序的程序代码分成多个文件，从不同的站点下载这些文件的方式进行提供。换句话说就是，通过计算机向大量用户下载可实现本发明功能的程序文件的WWW(Worle Wide Wed)服务器也包含在本发明权利要求所请求保护的范围之内。

而且，还可以将本发明的程序加密并存储在诸如CD-ROM等存储媒体中，将该存储媒体分发给用户，允许符合条件的用户通过网络从站点下载解密密钥信息，并允许用户利用该解密密钥信息对加密了程序进行解密，进而在用户计算机上安装该程序。

除了可以通过由计算机执行该读入程序的方式实现各实施方式描述的功能之外，还可以利用在计算机上执行的操作系统或类似装置，执行实际处理的全部或一部分，通过这种执行方式也可以获得前述实施方式的功能。

而且，在将从存储媒体读入的程序写入至插入到计算机中的功能扩展板或配置在与计算机相连接的功能扩展单元中的存储装置中之后，可以由安装在功能扩展板或功能扩展单元中的CPU或类似装置来实际处理的全部或一部分，从而通过这种执行方式获得前述实施方式的功能。

而且，可以在不脱离本发明的构思和范围的前提下，通过各种不同的方式实施本发明，因此因此理解，本发明并不仅限于前述的各实施方式，本发明的保护范围应由权利要求限定。

Claims (24)

1.一种图象处理方法，其特征在于，具有：

在输入的图象中确定矢量数据化区域的确定步骤；以及

对在所述确定步骤中被确定为进行矢量数据化的区域内的图象进行矢量数据化的矢量化步骤。

2.如权利要求1所述的图象处理方法，其特征在于，还进一步具有：：根据据上述输入的图象，检索存储在存储装置中的原始电子数据的检索步骤。

3.如权利要求2所述的图象处理方法，其特征在于，在所述确定步骤中所确定的区域为通过比较在所述检索步骤检索出的原始电子数据与所述输入的图象而提取出差异信息的区域。

4.如权利要求3所述的图象处理方法，其特征在于，还进一步具有：：将所述矢量数据化后的差异信息与所述原始电子数据进行合成的合成步骤。

5.如权利要求4所述的图象处理方法，其特征在于，还进一步具有：：将在合成步骤中合成后生成的新电子数据存储在存储装置中的存储步骤。

6.如权利要求2所述的图象处理方法，其特征在于，在所述检索步骤中，识别附加在所述输入图象中的、表示所述原始电子数据存储地址的标识符，并根据对该标识符的识别结果来检索所述原始电子数据。

7.如权利要求1所述的图象处理方法，其特征在于，在所述矢量化步骤中，依据对所述区域内的图象的字符识别结果来进行矢量化。

8.如权利要求1所述的图象处理方法，其特征在于，在所述矢量化步骤中，依据所述区域内的图象的轮廓进行轮廓化后，进行矢量化处理。

9.如权利要求3所述的图象处理方法，其特征在于，还进一步具有：：判断是否对于所述检索出的原始电子数据禁止信息改变的判断步骤，在所述判断步骤中判断为不禁止的情况下，在所述矢量化步骤中对在所述提取步骤中提取出的差异信息进行矢量数据化，在所述合成步骤中将该矢量数据化后的差异信息与所述原始电子数据进行合成，而在所述判断步骤判断为禁止的情况下，在所述矢量化步骤中对在所述提取步骤中提取出的差异信息中和包含在所述输入图象中的除该差异信息之外的信息进行矢量化。

10.如权利要求5所述的图象处理方法，其特征在于，还进一步具有：：向在所述存储步骤中所存储的电子数据附加表示该电子数据的存储地址的信息并进行打印输出的打印控制步骤。

11.如权利要求4所述的图象处理方法，其特征在于，还进一步具有：：将所提取出的差异信息作为其它文件存储在存储装置中的存储步骤，所述作为其它文件的差异信息按照与所述原始电子数据相关联的方式进行存储，并且在印刷输出时通过所述合成步骤而被合成输出。

12.如权利要求4所述的图象处理方法，其特征在于，还进一步具有：：将在所述合成步骤中合成后生成的新电子数据变换为可用规定应用程序处理的规定格式的格式变换步骤。

13.如权利要求2所述的图象处理方法，其特征在于，在所述检索步骤未能检索到原始电子文件时，在所述矢量化步骤中，对所述输入的整个图象进行矢量化。

14.如权利要求1所述的图象处理方法，其特征在于，还进一步具有：依据用户的命令，判断是立即对被确定为进行所述矢量数据化的区域内的图象，进行矢量数据化还是以后再进行矢量数据化用的判断步骤；

对于在判断步骤判断为立即进行矢量数据化的场合，在所述矢量化步骤中，对所述区域内的图象立即进行矢量数据化，而在所述判断步骤判断为随后再进行矢量数据化的场合，在所述矢量化步骤中，在满足预定条件时，对所述区域内的图象进行矢量数据化。

15.如权利要求14所述的图象处理方法，其特征在于，所述的预定条件为图象处理装置的负载较轻时。

16.如权利要求14所述的图象处理方法，其特征在于，在所述判断步骤中，将依据用户命令的状态按照与该输入图象相关联的形式登录在矢量化处理表中。

17.如权利要求1所述的图象处理方法，其特征在于，在所述确定步骤中，依据用户的区域命令，确定对所述矢量数据化的区域。

18.如权利要求17所述的图象处理方法，其特征在于，还进一步具有：将所述输入的图象按属性来分割区域的区域分割步骤；

在所述确定步骤中，将在所述区域分割步骤中分割的区域中、依据用户的指示选择出的区域确定为进行所述矢量数据化的区域。

19.如权利要求1所述的图象处理方法，其特征在于，还进一步具有：文件提取步骤，依据对在所述确定步骤中确定的区域内的图象进行矢量数据化后获得的矢量数据，从登录在数据库中的原始数据文件中抽取出具有相同或相似内容的原始数据文件。

20.如权利要求1所述的图象处理方法，其特征在于，还进一步具有：输入通过扫描原稿而获得的所述输入图象的图象输入步骤。

21.如权利要求1所述的图象处理方法，其特征在于，所述矢量化步骤还包含有将所述输入图象中的图象数据变换为代码信息、图形信息、函数信息等命令定义型数据的步骤。

22.一种用于使计算机执行如权利要求1至权利要求21中任一项所述的图象处理方法中的各步骤的计算机程序。

23.一种对用于使计算机执行如权利要求1至权利要求21中任一项所述的图象处理方法中的各步骤的计算机程序进行存储的存储媒体。

24.一种图象处理系统，其特征在于，具有：

在输入的图象中确定矢量数据化区域用的确定装置；以及

对通过所述确定装置确定为进行矢量数据化的区域内的图象进行矢量数据化的矢量化装置。

Images