Android基于OpenCV實現圖像金字塔

更新時間：2021年06月18日 10:08:31 作者：易冬

圖像金字塔是圖像中多尺度表達的一種，最主要用于圖像的分割，是一種以多分辨率來解釋圖像的有效但概念簡單的結構。本文講解Android基于OpenCV實現圖像金字塔的步驟

圖像金字塔

圖像金字塔是圖像中多尺度表達的一種，最主要用于圖像的分割，是一種以多分辨率來解釋圖像的有效但概念簡單的結構。

圖像金字塔最初用于機器視覺和圖像壓縮，一幅圖像的金字塔是一系列以金字塔形狀排列的分辨率逐步降低，且來源于同一張原始圖的圖像集合。其通過梯次向下采樣獲得，直到達到某個終止條件才停止采樣。

金字塔的底部是待處理圖像的高分辨率表示，而頂部是低分辨率的近似。

我們將一層一層的圖像比喻成金字塔，層級越高，則圖像越小，分辨率越低。

高斯金字塔

高斯金字塔的底層為原始圖像，每向上一層則是通過高斯濾波和1/2采樣得到（去掉偶數行和列）。通過下采樣不斷的將圖像的尺寸縮小，進而在金字塔中包含多個尺度的圖像，一般情況下，高斯金字塔的最底層為圖像的原圖，每上一層就會通過下采樣縮小一次圖像的尺寸，通常情況尺寸會縮小為原來的一半，但是如果有特殊需求，縮小的尺寸也可以根據實際情況進行調整。由于每次圖像的尺寸都縮小為原來的一半，圖像尺縮小的速度非?？?，因此常見高斯金字塔的層數為3到6層。

高斯濾波器可以看做一個低通濾波器，那么每經過一次的高斯濾波，圖像中僅能夠保留某個頻率值以下的頻率部分，所以高斯金字塔也可以看做一個低通金字塔（每一級只保留某個頻率以下的成分）。

拉普拉斯金字塔

拉普拉斯金字塔與高斯金字塔正好相反，高斯金字塔通過底層圖像構建上層圖像，而拉普拉斯是通過上層小尺寸的圖像構建下層大尺寸的圖像。拉普拉斯金字塔具有預測殘差的作用，需要與高斯金字塔聯(lián)合一起使用，假設我們已經有一個高斯圖像金字塔，對于其中的第i層圖像（高斯金字塔最下面為第0層），首先通過下采樣得到一尺寸縮小一半的圖像，即高斯金字塔中的第i+1層或者不在高斯金字塔中，之后對這張圖像再進行上采樣，將圖像尺寸恢復到第i層圖像的大小，最后求取高斯金字塔第i層圖像與經過上采樣后得到的圖像的差值圖像，這個差值圖像就是拉普拉斯金字塔的第i層圖像。

API

下采樣

public static void pyrDown(Mat src, Mat dst, Size dstsize, int borderType)

參數一：src，輸入待下采樣的圖像。
參數二：dst，輸出下采樣后的圖像，圖像尺寸可以指定，但是數據類型和通道數與src相同，
參數三：dstsize，輸出圖像尺寸，可以缺省。
參數四：borderType，像素邊界外推方法的標志

// C++: enum BorderTypes
public static final int
        BORDER_CONSTANT = 0,
        BORDER_REPLICATE = 1,
        BORDER_REFLECT = 2,
        BORDER_WRAP = 3,
        BORDER_REFLECT_101 = 4,
        BORDER_TRANSPARENT = 5,
        BORDER_REFLECT101 = BORDER_REFLECT_101,
        BORDER_DEFAULT = BORDER_REFLECT_101,
        BORDER_ISOLATED = 16;

默認狀態(tài)下函數輸出的圖像的尺寸為輸入圖像尺寸的一半，但是也可以通過dstsize參數來設置輸出圖像的大小，需要注意的是無論輸出尺寸為多少都應滿足下面式中條件。該函數首先將原圖像與內核矩陣進行卷積，內核矩陣如下所示，之后通過不使用偶數行和列的方式對圖像進行下采樣，最終實現尺寸縮小的下采樣圖像。

上采樣

public static void pyrUp(Mat src, Mat dst, Size dstsize, int borderType)

參數一：src，輸入待上采樣的圖像。
參數二：dst，輸出上采樣后的圖像，圖像尺寸可以指定，但是數據類型和通道數與src相同，
參數三：dstsize，輸出圖像尺寸，可以缺省。
參數四：borderType，像素邊界外推方法的標志

操作

class GLPyramidActivity : CardGalleryActivity() {

    override fun buildCards() {
        val bgr = Utils.loadResource(this, R.drawable.lena)
        val rgb = Mat()
        Imgproc.cvtColor(bgr, rgb, Imgproc.COLOR_BGR2RGB)
        bgr.release()
        buildGauss(rgb)
        rgb.release()
    }

    private fun buildGauss(source: Mat) {
        val gaussList = arrayListOf<Mat>()
        gaussList.add(source)
        for (i in 0..2) {
            val gauss = Mat()
            Imgproc.pyrDown(gaussList[i], gauss)
            gaussList.add(gauss)
        }

        for (i in gaussList.indices) {
            val bitmap = Bitmap.createBitmap(
                gaussList[i].width(),
                gaussList[i].height(),
                Bitmap.Config.ARGB_8888
            )
            Utils.matToBitmap(gaussList[i], bitmap)
            cards.add(Card("Gauss${i}", bitmap))
        }
        buildLaplace(gaussList)
    }

    private fun buildLaplace(gaussList: List<Mat>) {
        val laplaceList = arrayListOf<Mat>()
        for (i in gaussList.size - 1 downTo 1) {
            val lap = Mat()
            val upGauss = Mat()
            if (i == gaussList.size - 1) {
                val down = Mat()
                Imgproc.pyrDown(gaussList[i], down)
                Imgproc.pyrUp(down, upGauss)
                Core.subtract(gaussList[i], upGauss, lap)
                laplaceList.add(lap.clone())
            }
            Imgproc.pyrUp(gaussList[i], upGauss)
            Core.subtract(gaussList[i - 1], upGauss, lap)
            laplaceList.add(lap.clone())
        }

        for (i in laplaceList.indices) {
            val bitmap = Bitmap.createBitmap(
                laplaceList[i].width(),
                laplaceList[i].height(),
                Bitmap.Config.ARGB_8888
            )
            Utils.matToBitmap(laplaceList[i], bitmap)
            cards.add(Card("Laplace${i}", bitmap))
        }

        for (gauss in gaussList) {
            gauss.release()
        }
        for (lap in laplaceList) {
            lap.release()
        }
    }
}

操作

class GLPyramidActivity : CardGalleryActivity() {

    override fun buildCards() {
        val bgr = Utils.loadResource(this, R.drawable.lena)
        val rgb = Mat()
        Imgproc.cvtColor(bgr, rgb, Imgproc.COLOR_BGR2RGB)
        bgr.release()
        buildGauss(rgb)
        rgb.release()
    }

    private fun buildGauss(source: Mat) {
        val gaussList = arrayListOf<Mat>()
        gaussList.add(source)
        for (i in 0..2) {
            val gauss = Mat()
            Imgproc.pyrDown(gaussList[i], gauss)
            gaussList.add(gauss)
        }

        for (i in gaussList.indices) {
            val bitmap = Bitmap.createBitmap(
                gaussList[i].width(),
                gaussList[i].height(),
                Bitmap.Config.ARGB_8888
            )
            Utils.matToBitmap(gaussList[i], bitmap)
            cards.add(Card("Gauss${i}", bitmap))
        }
        buildLaplace(gaussList)
    }

    private fun buildLaplace(gaussList: List<Mat>) {
        val laplaceList = arrayListOf<Mat>()
        for (i in gaussList.size - 1 downTo 1) {
            val lap = Mat()
            val upGauss = Mat()
            if (i == gaussList.size - 1) {
                val down = Mat()
                Imgproc.pyrDown(gaussList[i], down)
                Imgproc.pyrUp(down, upGauss)
                Core.subtract(gaussList[i], upGauss, lap)
                laplaceList.add(lap.clone())
            }
            Imgproc.pyrUp(gaussList[i], upGauss)
            Core.subtract(gaussList[i - 1], upGauss, lap)
            laplaceList.add(lap.clone())
        }

        for (i in laplaceList.indices) {
            val bitmap = Bitmap.createBitmap(
                laplaceList[i].width(),
                laplaceList[i].height(),
                Bitmap.Config.ARGB_8888
            )
            Utils.matToBitmap(laplaceList[i], bitmap)
            cards.add(Card("Laplace${i}", bitmap))
        }

        for (gauss in gaussList) {
            gauss.release()
        }
        for (lap in laplaceList) {
            lap.release()
        }
    }
}