CN1893564A - 图像特效设备、图形处理器和记录介质 - Google Patents

一种图像特效设备，包括：图形处理器和视频处理块；该图形处理器根据提供的有关虚拟三维空间中的模型的形状的信息，而将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标；计算粘贴在显示屏幕上的图像的纹理坐标、以及该显示屏幕上的模型的缩减率；以及从图像数据输出单元中输出有关纹理坐标和缩减率的信息；视频处理块在使用与从图形处理器提供的有关缩减率的信息相对应的前置滤波系数进行滤波之后，将输入视频数据YUV写入到存储器中，并且通过使用所提供的纹理坐标作为读取地址的信息，从存储器中读出该视频数据。

图像特效设备、图形处理器和记录介质

相关申请的交叉引用

本发明包含与2005年7月4日在日本专利局提交的日本专利申请JP2005-195221相关的主题，这个专利申请的全部内容通过引用并入在此。

技术领域

本发明涉及用于通过纹理映射将视频数据变换成任意形状的图像特效设备、以及在该图像特效设备中使用的图形处理器等。

背景技术

图像特效设备(效应器)已知为构成用于广播和商业用途的非线性编辑系统的设备之一。用于广播和商业用途的图像特效设备是通过硬件电路执行诸如视频数据(活动图像数据)的扩展、缩减和旋转之类的变换处理的设备。

就相关技术领域的用于广播和商业用途的图像特效设备而言，可变换的模式由生产商预先限定为几种类型，以避免扩大硬件尺寸和增加成本，因此仅仅可以使用有限的模式执行变换。

另一方面，在计算机图形学领域，通过使用图形处理器来执行称为纹理映射的图像变换方法，该图形处理器是以相对低的成本专门用于图像处理的处理器。纹理映射是这样的方法，其中将图像(纹理)粘贴到通过在虚拟三维空间中组合多边形而准备的模型上。

已知的是，在图形处理器中安装了用于几何处理的顶点着色器(shader)和用于绘制处理的像素着色器。近来，其中这些着色器是可编程的图形处理器已经变为主流。

然而，在纹理映射中，取决于模型在显示屏幕上的尺寸(这个尺寸与从视点到模型的距离相对应地减少)而导致了混叠(aliasing)，混叠是这样的现象，其中所粘贴纹理的边缘被看作为沿着显示屏幕中的像素的锯齿。在图形处理器中，采用了MIPMAP(小中见大映射：Multum In Parvo Mapping)方法来控制这个混叠。在MIPMAP方法中，预先将通过使用多个离散的缩减率(1，1/2，1/4，1/8...)缩减同一图像获得的纹理存储在存储器中，并且选择其缩减率接近于显示屏幕上的模型的缩减率的纹理(例如，参见日本公开的专利申请第2002-83316号(第0004段))。

发明内容

在相关技术领域用于广播和商业用途的图像特效设备中，如上所述，因为变换模式是受限的，所以用户很难任意地确定变换模式。

此外，如果将用于把视频数据变换为任意形状的硬件电路添加到该用于广播和商业用途的图像特效设备中，则可能扩大了硬件尺寸并且可能增加了成本。

相反，在计算机图形学领域使用的图形处理器中，可以通过纹理映射将图像变换为任意形状。然而，因为下列原因，图形处理器不适于处理广播和商业领域中的视频数据。

(1)MIPMAP方法导致的图像质量降级

在MIPMAP方法中，在其中显示屏幕上的模型的缩减率不对应于预先准备的纹理的缩减率的情况下，可能不能充分地控制混叠。因此，MIPMAP方法不能满足广播和商业领域可能要求的图像质量。

(2)色空间转换导致的图像质量降级

图形处理器被配置为在RGB(红、绿和蓝)色空间中处理图像数据。因此，为了对处于在广播和商业领域使用的YUV(亮度和色度差)空间中的视频数据执行纹理映射，当将视频数据输入到图形处理器或者从中输出时，必须执行色空间的转换处理(从YUV空间到RGB空间的转换以及从RGB空间到YUV空间的转换)。然而，因为能够表达的颜色范围在YUV空间和RGB空间之间是不同的，因此不能保证在执行了色空间转换之后获得与输入视频相同的图像。

(3)图像数据分辨率的限制

图形处理器仅仅能够处理高达8位分辨率的图像数据。因此，不能处理作为广播和商业领域主流的10位的高质量视频数据。

(4)处理速度的限制

在图形处理器中处理高分辨率视频数据的情况下，因为访问将视频数据存储为纹理的存储器的时段变长，所以实时处理视频数据变难。

本发明解决上述及其它与传统方法和设备相关联的问题。

满足广播和商业领域可能要求的图像质量和实时处理是所期望的，而且通过纹理映射将视频数据变换为任意形状而不会导致硬件尺寸扩大和成本增加也是所期望的。

根据本发明的实施例，提供了一种图像特效设备，其包括：图形处理器，其中安装了可编程着色器；以及视频处理块，其用硬件电路配置。该图形处理器被编程为执行以下处理：根据提供的有关虚拟三维空间中的模型的形状的信息，将虚拟三维空间中的坐标转换为显示屏幕上的二维坐标；以及计算粘贴在显示屏幕上的图像的纹理坐标和该显示屏幕上的模型的缩减率。该图形处理器还被编程为执行从图像数据输出单元中输出有关纹理坐标和缩减率的信息的处理。该视频处理块包括：前置滤波器，其通过使用与所提供的有关缩减率的信息相对应的前置滤波器系数而执行输入视频数据的滤波；存储器，其中写入由这个前置滤波器滤波的视频数据；以及控制电路，其通过使用所提供的纹理坐标作为读取地址的信息来从存储器中读出视频数据。在这个图像特效设备中，从图形处理器输出的有关纹理坐标的信息和有关缩减率的信息分别被提供给该视频处理块的控制电路和该视频处理块的前置滤波器。

此外，根据本发明的实施例，提供了一种图像特效设备，其中将由图形处理器离线(处于其中视频处理块远离处理器的状态)计算的有关纹理坐标和缩减率的信息借助于记录介质或者网络提供给视频处理块。

此外，根据本发明的实施例，提供了一种其中记录了程序的记录介质，其中上述图形处理器根据该程序运行，而且安装了可编程着色器的现有图形处理器也和上述图形处理器一样根据该程序运行。

根据本发明的实施例，在纹理映射的处理当中，通过对现有的可编程图形处理器进行编程，来执行不与图像质量相关的、计算和输出有关图像的已变换形状(纹理坐标和缩减率)等的信息的处理。

换句话说，在相关技术的使用图形处理器的一般方法中，仅仅在图形处理器内使用有关纹理坐标和缩减率的信息，并且从该图形处理器中输出最终变换的图像数据。然而，根据本发明的实施例，这样进行编程以便将有关纹理坐标和缩减率的信息本身从图形处理器的图像数据输出单元中输出。

与视频数据的分辨率无关，有关这样的纹理坐标和缩减率的信息的计算和输出处理所需的时段是不变的，从而可以有利地执行实时处理。

另一方面，基于从图形处理器输出的信息，由利用硬件电路配置的视频处理块执行视频数据本身的处理(也就是与图像质量相关的处理)。

在该视频处理块中，根据从图形处理器提供的有关缩减率的信息执行输入视频数据的滤波(缩减)。然后，在将视频数据写入到存储器中之后，通过使用从图形处理器提供的有关纹理坐标的信息作为读取地址，而从存储器中读出该视频数据，然后将该视频数据粘贴到显示屏幕上的模型上。因此，对该视频数据适当地执行与显示屏幕上的模型的缩减率对应的滤波，并然后粘贴该视频数据，从而可以充分地控制混叠。

此外，如上所述，通过使用与图形处理器分离地提供的另一硬件电路来处理视频数据，直接处理YUV空间中的图像数据(而不用将它转换到RGB空间中)以及处理10位的高质量视频数据就变得有可能。

因此，可以通过纹理映射来变换视频数据，同时满足广播和商业领域中可能要求的图像质量和实时处理。

此外，因为通过使用相对低成本的图形处理器计算有关图像的已变换形状等的信息，所以可以将视频数据变换为任意形状，而不会导致硬件尺寸的扩大以及成本的增加。

此外，由图形处理器离线计算的信息借助于记录介质或者网络而提供给这个图像特效设备。因此，由例如在远离提供这个图像特效设备的位置的位置处的个人计算机中的图形处理器计算有关图像的已变换形状等的信息，并且在那之后，可以基于那个信息实际地粘贴视频数据。因此，可以改进纹理映射的工作流程。

根据本发明的实施例，获得了以下的效果：可以通过纹理映射将视频数据变换为任意形状，而不会导致硬件尺寸的扩大和成本的增加，同时满足了在广播和商业领域中可能要求的图像质量和实时处理。

此外，通过经由记录介质或者网络将由图形处理器离线计算的信息提供给图像特效设备，可以获得改进纹理映射的工作流程的效果。

附图说明

图1为示出根据本发明的实施例的图像特效设备的配置示例的框图；

图2为示意地示出图1中的图形处理器的配置的框图；

图3是示出通过使用过去的典型方法的图形处理器的处理的图示；

图4是示出图1的图像特效设备中的图形处理器的处理的图示；

图5是示出屏幕坐标上的模型以及粘贴到该模型上的图像的纹理坐标的示例的图示；

图6是示出其中在图4的处理中将纹理坐标分配为R、G和B位的示例的图示；以及

图7为示出图1中的视频处理块的配置的图示。

具体实施方式

在下文中，通过使用附图具体地说明本发明的实施例。图1为示出根据本发明的实施例的图像特效设备的配置示例的框图。这个图像特效设备1是用作电视广播台等中的非线性编辑系统的一部分的设备。该图像特效设备1包括：操作面板2、CPU 3、图形处理器4、缓冲存储器5、四个系统的视频处理块6、叠加电路7、小存储卡槽8和用于网络通信的通信接口9。图形处理器4安装在用于图形处理器的槽(未在图中示出)中，该槽在图像特效设备1的外壳表面上提供。视频处理块6中的每一个分别连接到一个VTR 51[51(1)到51(4)]。

使用3D(三维)计算机图形学的应用软件，操作面板2准备虚拟三维空间中的模型；指定用作纹理的视频数据(最大四个系统)；以及执行各种参数的设置。这些参数包括：模型表面的属性、视点、光源、透明度、显示屏幕的分辨率、纹理空间、在其中叠加两个或更多系统的视频数据的情况下的景深方向的位置关系等。

基于操作面板2的操作等，CPU 3控制图像特效设备1中的每个单元以及每个VTR 51。

图形处理器4是其中安装了可编程着色器的现有(市场上可买到的)图形处理器。然而，这个图形处理器4具有被编程的关于处理内容的特征。

图2是示意地示出图形处理器4的配置的框图。图形处理器4包括：AGP接口11，用于将数据传送到外部CPU或者从外部CPU中接收数据；执行几何处理的顶点着色器12；执行绘制处理的像素着色器13；存储器接口14；以及用于输出图像数据(各自为8位的R、G和B信息、以及表示透明度的8位信息α)的显示接口15。

在说明在这个图像特效设备1中的图形处理器4的处理之前，将参考图3说明在过去的典型方法中使用图形处理器4的情况下、图形处理器4的处理。

当从外部CPU提供了有关构成已准备模型的多边形的顶点信息以及各种参数时，顶点着色器12将虚拟三维空间中的坐标转换为显示屏幕(屏幕坐标)上的2D(二维)坐标(步骤S1)。然后，为显示屏幕中的每个像素单元计算粘贴到显示屏幕上的模型上的图像的纹理坐标(X，Y)以及该显示屏幕上的模型的缩减率(s)(步骤S2)。此外，在步骤S2中，如果设置了光源，则还为每个像素单元计算用于光源处理的发光系数(L)，以及如果指定了两个或更多系统的纹理，则还为每个像素单元计算指示纹理沿景深方向的位置关系的景深方向(Z)的信息。

随后，通过存储器接口14，像素着色器13通过使用坐标(X，Y)作为读取地址、使用MIPMAP方法从存储在外部存储器(DRAM)中的纹理当中读出具有接近该缩减率(s)的缩减率的纹理(步骤S3)。然后，从显示接口15输出有关该纹理的R、G和B的数据(步骤S4)。要注意到，在步骤S4中，如果将透明度设置为参数，则还从显示接口15输出有关透明度的信息(α)。

相反，图4示出了在这个图像特效设备1中的图形处理器4的处理。

当通过操作面板2的操作准备了模型并且设置了参数时，CPU 3将有关构成所准备模型的多边形的顶点信息、被设置的参数、以及指定要从图形处理器4输出的信息的ID提供给图形处理器4的AGP接口11(参见图2)。

要注意到，由这个ID指定的信息必定包括有关纹理坐标的信息以及有关显示屏幕上的模型的缩减率的信息。此外，如果将光源设置为参数，则这个信息包括用于光源处理的发光系数。此外，如果在其中叠加两个或更多系统的视频数据的情况下将景深方向的位置关系设置为参数，则这个信息包括指示位置关系的、有关景深的信息。

当从CPU 3提供了这些信息、参数和ID时，顶点着色器12将虚拟三维空间中的坐标转换为2D(二维)坐标(屏幕坐标)(步骤S11)。然后，为显示屏幕中的每个像素单元计算粘贴到显示屏幕上的模型上的图像的纹理坐标(X，Y)以及该显示屏幕上的模型的缩减率(s)(步骤S12)。此外，在步骤S12中，如果设置了光源，则还为每个像素单元计算用于光源处理的发光系数(L)，以及如果指定了两个或更多系统的视频数据，则还为每个像素单元计算指示两个或更多视频数据在景深方向的位置关系的、景深方向(Z)的信息。

到这些步骤S11和S12为止的处理和图3中到步骤S1和S2为止的处理相同。图5是示出在步骤S11转换的(显示屏幕上的)屏幕坐标上的模型以及在步骤S12计算的纹理坐标的示例的图示。在这个示例中，将纹理空间中的阴影部分的纹理坐标的图像粘贴到显示屏幕上的波模型61的显示位置上。

随后，由像素着色器13将由ID指定的、有关纹理坐标和缩减率的信息从CPU 3分配给R、G、B和α中的位(步骤S13)。换句话说，必定将由顶点着色器12计算的、有关纹理坐标(X，Y)和缩减率(s)的信息分配给这些位。此外，如果由这个ID指定了发光系数和有关景深的信息，则还把发光系数(L)以及有关景深的信息(Z)分配给R、G、B和α中的位。

然后，从显示接口15输出分配给R、G、B和α中的位的信息(步骤S14)。

图6是示出其中分配了纹理坐标(X，Y)的步骤S13的示例的图示。在这个示例中，由32位浮点模式计算的纹理坐标(X，Y)被转换为18位的定点模式(14位用于整数，4位用于小数)，然后分离这18位并且将其分配给R中的低阶2位、G中的8位以及B中的8位。类似地，还将缩减率(s)(以及，如果计算了的话，发光系数(L)和有关景深的信息(Z))分配给R中的剩余位或者α中的位。

如上所述，对图形处理器4进行编程以便从显示接口15输出有关显示屏幕中的像素单元的纹理坐标(X，Y)、缩减率(s)等的信息。此外，如果这个程序作为诸如CD-ROM等之类的封装介质被有偿或者无偿地分发，则用户可以使用用户早已拥有的图形处理器作为在这个图像特效设备1中的图形处理器4。

如图1所示，从图形处理器4输出的、有关像素单元的纹理坐标(X，Y)、缩减率(s)等的信息被传送到缓冲存储器5。

在缓冲存储器5中，作为CPU 3的初始化处理，已经把代表显示屏幕的背景部分(例如，图5中的背景62)的亮度和颜色的10位YUV(亮度和色度差)信号的值写入到对应于显示屏幕中的全部像素的存储区域中。然后，在这个初始化的缓冲存储器5中，重写来自图形处理器4的、有关纹理坐标(X，Y)、缩减率(s)等的信息。因此，在缓冲存储器5的存储区域当中的、与未重写有关纹理坐标(X，Y)、缩减率(s)等的信息的像素(即，显示屏幕上的背景部分中的像素)相对应的存储区域中，初始值的YUV信号的值保持不变。

此外，可以在缓冲存储器5中重写由槽8从小存储卡中读出的信息以及由通信接口9通过网络接收的信息。

图7是示出每个视频处理块6的配置的框图。视频处理块6用硬件电路配置，并且包括前置滤波器单元21、纹理控制器22、纹理存储器23、插值电路24、光源处理电路25和同步分离电路26。前置滤波器单元21被配置为具有滤波系数计算电路27、H(水平)方向前置滤波器28、HV扫描转换器29和V(垂直)方向前置滤波器30。

将由连接到每个视频处理块6的VTR 51(图1所示)再现的视频数据(10位的YUV(亮度和色度差)信号)提供给前置滤波器单元21和同步分离电路26。同步分离电路26从这个视频数据中分离出垂直同步信号(vs)，并且将这个垂直同步信号(vs)传送给图1中的CPU 3。

与这个垂直同步信号(vs)同步地，CPU 3为视频数据的每帧而从缓冲存储器5中顺序地读出与显示屏幕中的全部像素相对应的、存储在存储区域中的信息。

对于从中读出不同于初始值(背景中的YUV信号的值)的值的像素，CPU 3通过使用CPU 3内部的RAM而重构纹理坐标(X，Y)、缩减率(s)、发光系数(L)和景深信息(z)。例如，在其中如图6所示、这样分配纹理坐标(X，Y)以便Y被划分成R中的低阶2位、G中的8位和B中的8位的情况下，从这些位中重构纹理坐标(X，Y)。

CPU 3将有关纹理坐标(X，Y)的信息提供给每个视频处理块6中的纹理存储控制器22(参见图7)；将有关缩减率(s)的信息提供给每个视频处理块6中的前置滤波器单元21(参见图7)；将发光系数(L)提供给每个视频处理块6中的光源处理电路25(参见图7)；以及将景深信息(Z)提供给叠加电路7。

此外，对于其中读出了初始值(背景中的YUV信号的值)的像素，CPU3将初始值的数据按照原样提供给每个视频处理块6的纹理存储控制器22。

如图7所示，在每个视频处理块6的前置滤波器单元21中，滤波系数计算电路27计算与来自CPU 3(参见图1)的缩减率(s)相对应的、用于缩减视频数据的滤波系数(F)，并且将该滤波系数(F)提供给H方向前置滤波器28和V方向前置滤波器30。

H方向前置滤波器28使用这个滤波系数(F)对从VTR 51(参见图1)提供的视频数据执行滤波(在屏幕水平方向的滤波)，并且将结果传送到HV扫描转换器29。

在将一帧的视频数据写入到内部存储器中之后，HV扫描转换器29沿屏幕的垂直方向从存储器中读出每个像素的数据，以便对该视频数据进行扫描转换。然后，将扫描转换了的视频数据传送到V方向前置滤波器30。

V方向前置滤波器30使用滤波系数(F)执行这个视频数据的滤波(在屏幕垂直方向的滤波)。

由V方向前置滤波器30对其执行滤波的视频数据从前置滤波器单元21被传送到纹理存储控制器22。

在将这个视频数据写入到纹理存储器23中之后，纹理存储控制器22通过使用来自CPU 3(参见图1)的纹理坐标(X，Y)作为读取地址，而从纹理存储器23中读出显示屏幕中的每个像素的视频数据。(当显示屏幕的分辨率和视频数据的分辨率相等时，读出有关与显示屏幕中的像素相对应的像素位置的数据。当显示屏幕的分辨率高于视频数据的分辨率时，读出有关在该显示屏幕中的像素附近的多个(四个或者八个)像素位置的数据。)然后，将所读出的视频数据传送到插值电路24。

然而，在显示屏幕的像素当中，对于从CPU 3(参见图1)向其提供了初始值(背景中的YUV信号值)数据的像素，纹理存储控制器22不执行从纹理存储器23中的读出，而且没有任何改变地将这些初始值传送到插值电路24。

在其中相对于显示屏幕中的一个像素传送了有关多个像素位置的数据的情况下(如上所述，当显示屏幕的分辨率高于视频数据的分辨率时)，插值电路24通过对多个数据执行线性插值来生成与显示屏幕中的像素相对应的数据。然后，将所生成的数据传送给光源处理电路25。在除此之外的其它情况下，插值电路24将从纹理存储器23传送过来的数据按照原样传送给光源处理电路25。

在显示屏幕的像素当中，对于从CPU 3(参见图1)向其提供了发光系数(L)的像素，由光源处理电路25对来自插值电路24的视频数据执行与这个发光系数(L)相对应的光源处理(反射光和阴影表示)。对于除此之外的其它像素，光源处理电路25按照原样输出从插值电路24传送过来的视频数据。

如图1所示，将从每个视频处理块6的光源处理电路25输出的视频数据提供给叠加电路7。在从CPU 3(参见图1)提供了景深信息(Z)的情况下，叠加电路7根据这个景深信息(Z)叠加从每个视频处理块6提供的两个或更多系统(最大为四个系统)的视频数据。在除此之外的其它情况下(换句话说，在仅仅从一个视频处理块6提供视频数据的情况下)，叠加电路7按照原样输出所提供的视频数据。

将从叠加电路7输出的视频数据(10位的YUV信号)传送到与该图像特效设备1相连接的图像记录设备、监视器等(未在图中示出)。

如上所述，通过对现有的可编程图形处理器4进行编程，这个图像特效设备1执行纹理映射处理当中、不涉及图像质量的处理。不涉及图像质量的处理是计算和输出有关图像的已变换形状等(纹理坐标(X，Y)、缩减率(s)、发光系数(L)和景深信息(Z))的信息的处理。

换句话说，在相关技术的使用图形处理器的一般方法中，仅仅在图形处理器内使用有关纹理坐标、缩减率等的信息，并且从该图形处理器中输出最终变换的图像数据。相反，在这个图像特效设备1中，对图形处理器4进行编程，以便从图形处理器4的显示接口15输出有关纹理坐标、缩减率等的信息本身。

与视频数据的分辨率无关，有关该纹理坐标和缩减率等的信息的计算和输出处理所必需的时段是不变的，从而可以执行实时处理。

另一方面，由利用硬件电路配置的视频处理块6基于从图形处理器4输出的信息，而执行作为涉及图像质量的处理的、视频数据本身的处理。在视频处理块6中，根据从图形处理器4提供的、有关缩减率(s)的信息，在前置滤波器单元21中执行输入视频数据的滤波(缩减)。然后，在将视频数据写入到纹理存储器23中之后，通过使用从图形处理器4提供的、有关纹理坐标(X，Y)的信息作为读取地址，而从纹理存储器23中读出该视频数据。(当还从图形处理器4中输出发光系数(L)和景深信息(Z)时，根据上述信息执行光源处理以及在叠加电路7中的叠加处理。)然后，将该视频数据粘贴到显示屏幕上的模型上。因此，在对视频数据适当地执行与显示屏幕上的模型的缩减率相对应的滤波之后，粘贴该视频数据，从而可以充分地控制混叠。

此外，如上所述，因为通过使用与图形处理器4分离地提供的另一硬件电路来处理视频数据，所以直接处理YUV空间中的图像数据(不用将它转换到RGB空间中)以及处理10位的高质量视频数据就变得有可能。

因此，可以通过纹理映射来变换视频数据，同时还满足广播和商业领域可能要求的图像质量和实时处理。

此外，因为通过使用相对低成本的图形处理器4来计算有关图像的已变换形状等的信息，所以可以将视频数据变换为任意形状而不会导致硬件尺寸的扩大以及成本的增加。

此外，例如，使用安装有图形处理器并且执行与图形处理器4相同的程序的个人计算机，可以离线计算纹理坐标(X，Y)、缩减率(s)等(处于其中没有在附近提供图像特效设备1的状态)。随后，通过小存储卡或者网络将所计算的信息提供给图像特效设备1(即，由槽8从该小存储卡中读出以存储到缓冲存储器5中、或者由接口9接收以写入到缓冲存储器5中)，并且可以基于该信息而在图像特效设备1的视频处理块6中实际地粘贴该视频数据。因此，还可以改进纹理映射的工作流程。

要注意到，虽然在上述实施例的图像特效设备1中提供了视频处理块6的四个系统，但是不用说，系统数目可被任意选择为诸如三个系统或更少、五个系统或更多等。

本领域技术人员应当理解：在所附权利要求及其等效的范围之内，取决于设计要求及其他因素，可以出现各种修改、组合、子组合以及改变。