博客
关于我
强烈建议你试试无所不能的chatGPT，快点击我
Android显示系统设计框架介绍
阅读量：5834 次
发布时间：2019-06-18

本文共 55704 字，大约阅读时间需要 185 分钟。

1. Linux内核提供了统一的framebuffer显示驱动，设备节点/dev/graphics/fb*或者/dev/fb*，以fb0表示第一个显示屏，当前实现中只用到了一个显示屏。

2. Android的HAL层提供了Gralloc，分为fb和gralloc两个设备。设备fb负责打开内核中的framebuffer以及提供post、 setSwapInterval等操作，设备gralloc则负责管理帧缓冲区的分配和释放。上层只能通过Gralloc访问帧缓冲区，这样一来就实现了 有序的封装保护。

3. 由于OpenGL ES是一个通用的函数库，在不同的平台系统上需要被“本地化”——即把它与具体平台上的窗口系统建立起关联，这样才能保证它正常工作。从FramebufferNativeWindow就是将OpenGL ES在Android平台上本地化窗口。

4. OpenGL或者OpenGL ES 更多的只是一个接口协议，实现上既可以采用软件，也能依托于硬件。EGL通过读取egl.cfg配置文件，根据用户的设定来动态加载libagl(软件实 现)或者libhgl(硬件实现)。然后上层才可以正常使用各种glXXX接口。

5. SurfaceFlinger中持有一个GraphicPlane成员变量mGraphicPlanes来描述“显示屏”;GraphicPlane类中 又包含了一个DisplayHardware对象实例(mHw)。DisplayHardware在初始化时还将调用eglInitialize、 eglCreateWindowSurface等接口，并利用EGL完成对OpenGLES环境的搭建。

本地窗口

Android提供了两种本地窗口：

1)         面向SurfaceFlinger的FramebufferNativeWindow；

2)         面向应用程序的SurfaceTextureClient；

 

使用OpenGL绘制图像前，需要通过EGL创建一个Surface画板：

frameworks\native\opengl\libagl\ Egl.cpp

[cpp]
  1. EGLSurface eglCreateWindowSurface(  EGLDisplay dpy, EGLConfig config,  
  2.                                     NativeWindowType window,  
  3.                                     const EGLint *attrib_list)  
  4. {  
  5.     return createWindowSurface(dpy, config, window, attrib_list);  
  6. }  

OpenGL是跨平台的图形库，不同平台上的NativeWindowType窗口类型有不同的定义：

frameworks\native\opengl\include\egl\ Eglplatform.h

[cpp]
  1. typedef EGLNativeWindowType  NativeWindowType;  
  2.   
  3. #if defined(_WIN32) || defined(__VC32__) && !defined(__CYGWIN__) && !defined(__SCITECH_SNAP__) /* Win32 and WinCE */  
  4. #ifndef WIN32_LEAN_AND_MEAN  
  5. #define WIN32_LEAN_AND_MEAN 1  
  6. #endif  
  7. #include <windows.h>  
  8.   
  9. typedef HDC     EGLNativeDisplayType;  
  10. typedef HBITMAP EGLNativePixmapType;  
  11. typedef HWND    EGLNativeWindowType;  
  12.   
  13. #elif defined(__WINSCW__) || defined(__SYMBIAN32__)  /* Symbian */  
  14.   
  15. typedef int   EGLNativeDisplayType;  
  16. typedef void *EGLNativeWindowType;  
  17. typedef void *EGLNativePixmapType;  
  18.   
  19. #elif defined(__ANDROID__) || defined(ANDROID)  
  20.   
  21. struct ANativeWindow;  
  22. struct egl_native_pixmap_t;  
  23.   
  24. typedef struct ANativeWindow*           EGLNativeWindowType;  
  25. typedef struct egl_native_pixmap_t*     EGLNativePixmapType;  
  26. typedef void*                           EGLNativeDisplayType;  
  27.   
  28. #elif defined(__unix__)  
  29.   
  30. /* X11 (tentative)  */  
  31. #include <X11/Xlib.h>  
  32. #include <X11/Xutil.h>  
  33.   
  34. typedef Display *EGLNativeDisplayType;  
  35. typedef Pixmap   EGLNativePixmapType;  
  36. typedef Window   EGLNativeWindowType;  
  37.   
  38. #else  
  39. #error "Platform not recognized"  
  40. #endif  

可以看出对于Android平台，NativeWindowType的类型为ANativeWindow

[cpp]
  1. struct ANativeWindow  
  2. {  
  3. #ifdef __cplusplus //C++定义  
  4.     ANativeWindow(): flags(0), minSwapInterval(0), maxSwapInterval(0), xdpi(0), ydpi(0)  
  5.     {  
  6.         common.magic = ANDROID_NATIVE_WINDOW_MAGIC;  
  7.         common.version = sizeof(ANativeWindow);  
  8.         memset(common.reserved, 0, sizeof(common.reserved));  
  9.     }  
  10.     /* Implement the methods that sp<ANativeWindow> expects so that it 
  11.        can be used to automatically refcount ANativeWindow's. */  
  12.     void incStrong(const void* id) const {  
  13.         common.incRef(const_cast<android_native_base_t*>(&common));  
  14.     }  
  15.     void decStrong(const void* id) const {  
  16.         common.decRef(const_cast<android_native_base_t*>(&common));  
  17.     }  
  18. #endif  
  19.     struct android_native_base_t common;  
  20.     /* flags describing some attributes of this surface or its updater */  
  21.     const uint32_t flags;  
  22.     /* min swap interval supported by this updated */  
  23.     const int   minSwapInterval;  
  24.     /* max swap interval supported by this updated */  
  25.     const int   maxSwapInterval;  
  26.     /* horizontal and vertical resolution in DPI */  
  27.     const float xdpi;  
  28.     const float ydpi;  
  29.     /* Some storage reserved for the OEM's driver. */  
  30.     intptr_t    oem[4];  
  31.     /* Set the swap interval for this surface. */  
  32.     int     (*setSwapInterval)(struct ANativeWindow* window,  
  33.                 int interval);  
  34.     /* 
  35.      * Hook called by EGL to acquire a buffer. After this call, the buffer 
  36.      * is not locked, so its content cannot be modified. This call may block if 
  37.      * no buffers are available. 
  38.      */  
  39.     int     (*dequeueBuffer)(struct ANativeWindow* window,  
  40.                 struct ANativeWindowBuffer** buffer);  
  41.     /* 
  42.      * hook called by EGL to lock a buffer. This MUST be called before modifying 
  43.      * the content of a buffer. The buffer must have been acquired with 
  44.      * dequeueBuffer first. 
  45.      */  
  46.     int     (*lockBuffer)(struct ANativeWindow* window,  
  47.                 struct ANativeWindowBuffer* buffer);  
  48.     /* 
  49.      * Hook called by EGL when modifications to the render buffer are done. 
  50.      * This unlocks and post the buffer. 
  51.      */  
  52.     int     (*queueBuffer)(struct ANativeWindow* window,  
  53.                 struct ANativeWindowBuffer* buffer);  
  54.     /* 
  55.      * hook used to retrieve information about the native window. 
  56.      */  
  57.     int     (*query)(const struct ANativeWindow* window,  
  58.                 int what, int* value);  
  59.     /* 
  60.      * hook used to perform various operations on the surface. 
  61.      * (*perform)() is a generic mechanism to add functionality to 
  62.      * ANativeWindow while keeping backward binary compatibility. 
  63.      * The valid operations are: 
  64.      *     NATIVE_WINDOW_SET_USAGE 
  65.      *     NATIVE_WINDOW_CONNECT               (deprecated) 
  66.      *     NATIVE_WINDOW_DISCONNECT            (deprecated) 
  67.      *     NATIVE_WINDOW_SET_CROP              (private) 
  68.      *     NATIVE_WINDOW_SET_BUFFER_COUNT 
  69.      *     NATIVE_WINDOW_SET_BUFFERS_GEOMETRY  (deprecated) 
  70.      *     NATIVE_WINDOW_SET_BUFFERS_TRANSFORM 
  71.      *     NATIVE_WINDOW_SET_BUFFERS_TIMESTAMP 
  72.      *     NATIVE_WINDOW_SET_BUFFERS_DIMENSIONS 
  73.      *     NATIVE_WINDOW_SET_BUFFERS_FORMAT 
  74.      *     NATIVE_WINDOW_SET_SCALING_MODE       (private) 
  75.      *     NATIVE_WINDOW_LOCK                   (private) 
  76.      *     NATIVE_WINDOW_UNLOCK_AND_POST        (private) 
  77.      *     NATIVE_WINDOW_API_CONNECT            (private) 
  78.      *     NATIVE_WINDOW_API_DISCONNECT         (private) 
  79.      *     NATIVE_WINDOW_SET_BUFFERS_USER_DIMENSIONS (private) 
  80.      *     NATIVE_WINDOW_SET_POST_TRANSFORM_CROP (private) 
  81.      * 
  82.      */  
  83.     int     (*perform)(struct ANativeWindow* window,  
  84.                 int operation, ... );  
  85.     /* 
  86.      * Hook used to cancel a buffer that has been dequeued. 
  87.      * No synchronization is performed between dequeue() and cancel(), so 
  88.      * either external synchronization is needed, or these functions must be 
  89.      * called from the same thread. 
  90.      */  
  91.     int     (*cancelBuffer)(struct ANativeWindow* window,  
  92.                 struct ANativeWindowBuffer* buffer);  
  93.     void* reserved_proc[2];  
  94. };  

无论是基于应用程序的本地窗口SurfaceTextureClient还是基于SurfaceFlinger的 FramebufferNativeWindow本地窗口，都必须实现ANativeWindow定义的一套窗口协议，这样应用程序和 SurfaceFlinger才能使用OpenGL。ANativeWindow就相当于Java中的接口类型，只是用于定义窗口的功能函数，并不去实现 这些函数，而是由需要使用OpenGL的对象来实现。

应用程序本地窗口

应用程序端的SurfaceTextureClient实现了ANativeWindow类型中定义的函数，这样应用程序就可以使用OpenGL来绘制图形图像了，当然应用程序可以选择性地使用OpenGL或是Skia。

SurfaceFlinger本地窗口

由于SurfaceFlinger必须要使用OpenGL来混合图像，因此SurfaceFlinger端的FramebufferNativeWindow必须实现ANativeWindow类型。

Gralloc

通过加载gralloc抽象层，可以打开fb设备和gpu设备，fb设备用于操作framebuffer，gpu设备负责图形缓冲区的分配和释放。对于SurfaceFlinger服务端的本地窗口FramebufferNativeWindow将分别打开fb设备和gpu设备，FramebufferNativeWindow通过gpu设备从Framebuffer中分配图形缓冲区，通过fb设备来渲染经SurfaceFlinger混合后的图像。而对于应用程序端的SurfaceTextureClient本地窗口，其需要的图形缓冲区也是由SurfaceFlinger服务端来分配，应用程序进程只需要将服务端分配的图形缓冲区映射到应用程序的虚拟地址空间，图形缓冲区的映射过程也是由Gralloc模块完成。对Gralloc模块进行了详细介绍，这里只简单带过。

gpu、fb和gralloc模块中定义的数据结构关系如下：

通过加载Gralloc动态库，可以分别打开fb设备和gpu设备。

gpu设备

Gpu打开过程就是创建并初始化一个gralloc_context_t对象，gpu负责图形buffer的分配和释放。

[cpp]
  1. int gralloc_device_open(const hw_module_t* module, const char* name,  
  2.         hw_device_t** device)  
  3. {  
  4.     int status = -EINVAL;  
  5.     if (!strcmp(name, GRALLOC_HARDWARE_GPU0)) {  
  6.         gralloc_context_t *dev;  
  7.         dev = (gralloc_context_t*)malloc(sizeof(*dev));  
  8.   
  9.         /* initialize our state here */  
  10.         memset(dev, 0, sizeof(*dev));  
  11.   
  12.         /* initialize the procs */  
  13.         dev->device.common.tag = HARDWARE_DEVICE_TAG;  
  14.         dev->device.common.version = 0;  
  15.         dev->device.common.module = const_cast<hw_module_t*>(module);  
  16.         dev->device.common.close = gralloc_close;  
  17.   
  18.         dev->device.alloc   = gralloc_alloc;  
  19.         dev->device.free    = gralloc_free;  
  20.   
  21.         *device = &dev->device.common;  
  22.         status = 0;  
  23.     return status;  
  24. }  

fb设备

Fb设备打开过程就是创建并初始化一个fb_context_t对象，关于屏幕大小、格式、刷新频率等信息都是通过Framebuffer驱动来获取，最后将Framebuffer映射到SurfaceFlinger进程地址空间，并将映射后的首地址保持到private_module_t的framebuffer->base变量中。

[cpp]
  1. int fb_device_open(hw_module_t const* module, const char* name,  
  2.         hw_device_t** device)  
  3. {  
  4.     int status = -EINVAL;  
  5.     if (!strcmp(name, GRALLOC_HARDWARE_FB0)) {  
  6.         alloc_device_t* gralloc_device;  
  7.         status = gralloc_open(module, &gralloc_device);  
  8.         if (status < 0)  
  9.             return status;  
  10.   
  11.         /* initialize our state here */  
  12.         fb_context_t *dev = (fb_context_t*)malloc(sizeof(*dev));  
  13.         memset(dev, 0, sizeof(*dev));  
  14.   
  15.         /* initialize the procs */  
  16.         dev->device.common.tag = HARDWARE_DEVICE_TAG;  
  17.         dev->device.common.version = 0;  
  18.         dev->device.common.module = const_cast<hw_module_t*>(module);  
  19.         dev->device.common.close = fb_close;  
  20.         dev->device.setSwapInterval = fb_setSwapInterval;  
  21.         dev->device.post            = fb_post;  
  22.         dev->device.setUpdateRect = 0;  
  23.   
  24.         private_module_t* m = (private_module_t*)module;  
  25.         status = mapFrameBuffer(m);  
  26.         if (status >= 0) {  
  27.             int stride = m->finfo.line_length / (m->info.bits_per_pixel >> 3);  
  28.             int format = (m->info.bits_per_pixel == 32)  
  29.                          ? HAL_PIXEL_FORMAT_RGBX_8888  
  30.                          : HAL_PIXEL_FORMAT_RGB_565;  
  31.             const_cast<uint32_t&>(dev->device.flags) = 0;  
  32.             const_cast<uint32_t&>(dev->device.width) = m->info.xres;  
  33.             const_cast<uint32_t&>(dev->device.height) = m->info.yres;  
  34.             const_cast<int&>(dev->device.stride) = stride;  
  35.             const_cast<int&>(dev->device.format) = format;  
  36.             const_cast<float&>(dev->device.xdpi) = m->xdpi;  
  37.             const_cast<float&>(dev->device.ydpi) = m->ydpi;  
  38.             const_cast<float&>(dev->device.fps) = m->fps;  
  39.             const_cast<int&>(dev->device.minSwapInterval) = 1;  
  40.             const_cast<int&>(dev->device.maxSwapInterval) = 1;  
  41.             *device = &dev->device.common;  
  42.         }  
  43.     }  
  44.     return status;  
  45. }  

为了方便应用程序及SurfaceFlinger使用Gralloc模块中的fb设备和gpu设备，Android对gpu设备进行了封装。我们知 道，SurfaceFlinger不仅负责FramebufferNativeWindow本地窗口的图形buffer的分配，同时也负责应用程序本地窗 口SurfaceTextureClient的图形buffer分配，应用程序只需将服务端分配的图形buffer映射到当前进程的虚拟地址空间即可，因 此应用程序和SurfaceFlinger都将会使用到Gralloc模块。

SurfaceSession建立过程

SurfaceSession对象承担了应用程序与SurfaceFlinger之间的通信过程，每一个需要与SurfaceFlinger进程交互的应用程序端都需要创建一个SurfaceSession对象。

客户端请求

frameworks\base\core\java\android\view\SurfaceSession.java

[cpp]
  1. public SurfaceSession() {  
  2.     init();  
  3. }  

Java层的SurfaceSession对象构造过程会通过JNI在native层创建一个SurfaceComposerClient对象。

frameworks\base\core\jni\android_view_Surface.cpp

[cpp]
  1. static void SurfaceSession_init(JNIEnv* env, jobject clazz)  
  2. {  
  3.     sp<SurfaceComposerClient> client = new SurfaceComposerClient;  
  4.     client->incStrong(clazz);  
  5.     env->SetIntField(clazz, sso.client, (int)client.get());  
  6. }  

Java层的SurfaceSession对象与C++层的SurfaceComposerClient对象之间是一对一关系。

frameworks\native\libs\gui\SurfaceComposerClient.cpp

[cpp]
  1. SurfaceComposerClient::SurfaceComposerClient()  
  2.     : mStatus(NO_INIT), mComposer(Composer::getInstance())  
  3. {  
  4. }  

SurfaceComposerClient继承于RefBase类，当第一次被强引用时，onFirstRef函数被回调，在该函数中 SurfaceComposerClient会请求SurfaceFlinger为当前应用程序创建一个Client对象，专门接收该应用程序的请求，在 SurfaceFlinger端创建好Client本地Binder对象后，将该Binder代理对象返回给应用程序端，并保存在 SurfaceComposerClient的成员变量mClient中。

[cpp]
  1. void SurfaceComposerClient::onFirstRef() {  
  2.     //得到SurfaceFlinger的代理对象BpSurfaceComposer  
  3.     sp<ISurfaceComposer> sm(getComposerService());  
  4.     if (sm != 0) {  
  5.         sp<ISurfaceComposerClient> conn = sm->createConnection();  
  6.         if (conn != 0) {  
  7.             mClient = conn;  
  8.             mStatus = NO_ERROR;  
  9.         }  
  10.     }  
  11. }  

服务端处理

在SurfaceFlinger服务端为应用程序创建交互的Client对象

frameworks\native\services\surfaceflinger\SurfaceFlinger.cpp

[cpp]
  1. sp<ISurfaceComposerClient> SurfaceFlinger::createConnection()  
  2. {  
  3.     sp<ISurfaceComposerClient> bclient;  
  4.     sp<Client> client(new Client(this));  
  5.     status_t err = client->initCheck();  
  6.     if (err == NO_ERROR) {  
  7.         bclient = client;  
  8.     }  
  9.     return bclient;  
  10. }  

关于SurfaceFlinger服务代理对象获取的详细过程请查看。

 

Surface创建过程

 

客户端请求

frameworks\base\core\java\android\view\Surface.java

[java]
  1. public Surface(SurfaceSession s,int pid, String name, int display, int w, int h, int format, int flags)  
  2.     throws OutOfResourcesException {  
  3.     checkHeadless();  
  4.     if (DEBUG_RELEASE) {  
  5.         mCreationStack = new Exception();  
  6.     }  
  7.     mCanvas = new CompatibleCanvas();  
  8.     init(s,pid,name,display,w,h,format,flags);  
  9.     mName = name;  
  10. }  

frameworks\base\core\jni\android_view_Surface.cpp

[cpp]
  1. static void Surface_init(JNIEnv* env, jobject clazz,jobject session,jint, jstring jname, jint dpy,   
  2. jint w, jint h, jint format, jint flags)  
  3. {  
  4.     if (session == NULL) {  
  5.         doThrowNPE(env);  
  6.         return;  
  7. }  
  8. //取得SurfaceComposerClient对象  
  9.     SurfaceComposerClient* client =  
  10.             (SurfaceComposerClient*)env->GetIntField(session, sso.client);  
  11.     //调用SurfaceComposerClient的createSurface函数在SurfaceFlinger服务端创建Layer对象，并返回ISurface  
  12.     //代理对象，并通过ISurface代理对象在应用程序端创建一个SurfaceControl对象，用于控制Surface  
  13.     sp<SurfaceControl> surface;  
  14.     if (jname == NULL) {  
  15.         surface = client->createSurface(dpy, w, h, format, flags);  
  16.     } else {  
  17.         const jchar* str = env->GetStringCritical(jname, 0);  
  18.         const String8 name(str, env->GetStringLength(jname));  
  19.         env->ReleaseStringCritical(jname, str);  
  20.         surface = client->createSurface(name, dpy, w, h, format, flags);  
  21.     }  
  22.     if (surface == 0) {  
  23.         jniThrowException(env, OutOfResourcesException, NULL);  
  24.         return;  
  25. }  
  26. //将创建的SurfaceControl对象指针保存到Java层的Surface的成员变量mSurfaceControl中  
  27.     setSurfaceControl(env, clazz, surface);  
  28. }  

该函数首先得到前面创建好的SurfaceComposerClient对象，通过该对象向SurfaceFlinger端的Client对象发送创建Surface的请求，最后得到一个SurfaceControl对象。

frameworks\native\libs\gui\SurfaceComposerClient.cpp

[cpp]
  1. sp<SurfaceControl> SurfaceComposerClient::createSurface(  
  2.         const String8& name,  
  3.         DisplayID display,  
  4.         uint32_t w,  
  5.         uint32_t h,  
  6.         PixelFormat format,  
  7.         uint32_t flags)  
  8. {  
  9.     sp<SurfaceControl> result;  
  10. if (mStatus == NO_ERROR) {  
  11.     //通过IsurfaceComposerClient的代理对象请求服务端的Client创建Surface  
  12.         ISurfaceComposerClient::surface_data_t data;  
  13.         sp<ISurface> surface = mClient->createSurface(&data, name,  
  14.                 display, w, h, format, flags);  
  15.         //通过ISurface的代理对象创建SurfaceControl  
  16.         if (surface != 0) {  
  17.             result = new SurfaceControl(this, surface, data);  
  18.         }  
  19.     }  
  20.     return result;  
  21. }  

SurfaceComposerClient将Surface创建请求转交给保存在其成员变量中的Bp SurfaceComposerClient对象来完成，在SurfaceFlinger端的Client本地对象会返回一个ISurface代理对象给 应用程序，通过该代理对象为应用程序当前创建的Surface创建一个SurfaceControl对象。

frameworks\native\include\gui\ISurfaceComposerClient.h

[cpp]
  1. virtual sp<ISurface> createSurface( surface_data_t* params,  
  2.                                         const String8& name,  
  3.                                         DisplayID display,  
  4.                                         uint32_t w,  
  5.                                         uint32_t h,  
  6.                                         PixelFormat format,  
  7.                                         uint32_t flags)  
  8.     {  
  9.         Parcel data, reply;  
  10.         data.writeInterfaceToken(ISurfaceComposerClient::getInterfaceDescriptor());  
  11.         data.writeString8(name);  
  12.         data.writeInt32(display);  
  13.         data.writeInt32(w);  
  14.         data.writeInt32(h);  
  15.         data.writeInt32(format);  
  16.         data.writeInt32(flags);  
  17.         remote()->transact(CREATE_SURFACE, data, &reply);  
  18.         params->readFromParcel(reply);  
  19.         return interface_cast<ISurface>(reply.readStrongBinder());  
  20.     }  

服务端处理

frameworks\native\include\gui\ISurfaceComposerClient.h

[cpp]
  1. status_t BnSurfaceComposerClient::onTransact(  
  2.     uint32_t code, const Parcel& data, Parcel* reply, uint32_t flags)  
  3. {  
  4.      switch(code) {  
  5.         case CREATE_SURFACE: {  
  6.             CHECK_INTERFACE(ISurfaceComposerClient, data, reply);  
  7.             surface_data_t params;  
  8.             String8 name = data.readString8();  
  9.             DisplayID display = data.readInt32();  
  10.             uint32_t w = data.readInt32();  
  11.             uint32_t h = data.readInt32();  
  12.             PixelFormat format = data.readInt32();  
  13.             uint32_t flags = data.readInt32();  
  14.             //Client继承于BnSurfaceComposerClient，调用Client的createSurface函数处理  
  15.             sp<ISurface> s = createSurface(¶ms, name, display, w, h,  
  16.                     format, flags);  
  17.             params.writeToParcel(reply);  
  18.             reply->writeStrongBinder(s->asBinder());  
  19.             return NO_ERROR;  
  20.         } break;  
  21.         default:  
  22.             return BBinder::onTransact(code, data, reply, flags);  
  23.     }  
  24. }  

frameworks\native\services\surfaceflinger\SurfaceFlinger.cpp$ Client

[cpp]
  1. sp<ISurface> Client::createSurface(  
  2.         ISurfaceComposerClient::surface_data_t* params,  
  3.         const String8& name,  
  4.         DisplayID display, uint32_t w, uint32_t h, PixelFormat format,  
  5.         uint32_t flags)  
  6. {  
  7.     sp<MessageBase> msg = new MessageCreateSurface(mFlinger.get(),  
  8.             params, name, this, display, w, h, format, flags);  
  9.     //将Surface创建请求转换为异步消息处理方式发送到SurfaceFlinger消息队列中，由SurfaceFlinger服务来完成  
  10.     mFlinger->postMessageSync(msg);  
  11.     return static_cast<MessageCreateSurface*>( msg.get() )->getResult();  
  12. }  

MessageCreateSurface消息是专门为应用程序请求创建Surface而定义的一种消息类型：

[cpp]
  1. /* 
  2.  * createSurface must be called from the GL thread so that it can 
  3.  * have access to the GL context. 
  4.  */  
  5. class MessageCreateSurface : public MessageBase {  
  6.     sp<ISurface> result;  
  7.     SurfaceFlinger* flinger;  
  8.     ISurfaceComposerClient::surface_data_t* params;  
  9.     Client* client;  
  10.     const String8& name;  
  11.     DisplayID display;  
  12.     uint32_t w, h;  
  13.     PixelFormat format;  
  14.     uint32_t flags;  
  15. public:  
  16.     MessageCreateSurface(SurfaceFlinger* flinger,  
  17.             ISurfaceComposerClient::surface_data_t* params,  
  18.             const String8& name, Client* client,  
  19.             DisplayID display, uint32_t w, uint32_t h, PixelFormat format,uint32_t flags)  
  20.         : flinger(flinger), params(params), client(client), name(name),display(display),  
  21.         w(w), h(h), format(format), flags(flags)  
  22.     {  
  23.     }  
  24.     sp<ISurface> getResult() const { return result; }  
  25.     //MessageCreateSurface消息的处理过程  
  26.     virtual bool handler() {  
  27.         result = flinger->createSurface(params, name, client,  
  28.                 display, w, h, format, flags);  
  29.         return true;  
  30.     }  
  31. };  

Client将应用程序创建Surface的请求转换为异步消息投递到SurfaceFlinger的消息队列中，将创建Surface的任务转交给SurfaceFlinger。

frameworks\native\services\surfaceflinger\SurfaceFlinger.cpp

[cpp]
  1. sp<ISurface> SurfaceFlinger::createSurface(  
  2.         ISurfaceComposerClient::surface_data_t* params,  
  3.         const String8& name,  
  4.         const sp<Client>& client,  
  5.         DisplayID d, uint32_t w, uint32_t h, PixelFormat format,  
  6.         uint32_t flags)  
  7. {  
  8.     sp<LayerBaseClient> layer;  
  9.     sp<ISurface> surfaceHandle;  
  10.     if (int32_t(w|h) < 0) {  
  11.         ALOGE("createSurface() failed, w or h is negative (w=%d, h=%d)",int(w), int(h));  
  12.         return surfaceHandle;  
  13.     }  
  14.     //ALOGD("createSurface for (%d x %d), name=%s", w, h, name.string());  
  15.     sp<Layer> normalLayer;  
  16.     //根据flags创建不同类型的Surface  
  17.     switch (flags & eFXSurfaceMask) {  
  18.         case eFXSurfaceNormal:  
  19.             normalLayer = createNormalSurface(client, d, w, h, flags, format);  
  20.             layer = normalLayer;  
  21.             break;  
  22.         case eFXSurfaceBlur:  
  23.             // for now we treat Blur as Dim, until we can implement it  
  24.             // efficiently.  
  25.         case eFXSurfaceDim:  
  26.             layer = createDimSurface(client, d, w, h, flags);  
  27.             break;  
  28.         case eFXSurfaceScreenshot:  
  29.             layer = createScreenshotSurface(client, d, w, h, flags);  
  30.             break;  
  31.     }  
  32.     //为客户端的Surface创建好Layer对象  
  33.     if (layer != 0) {  
  34.         layer->initStates(w, h, flags);  
  35.         layer->setName(name);  
  36.         //将创建好的Layer对象保存在Client中  
  37.         ssize_t token = addClientLayer(client, layer);  
  38.         //创建BSurface本地Binder对象  
  39.         surfaceHandle = layer->getSurface();  
  40.         if (surfaceHandle != 0) {  
  41.             //token为当前Layer对象在Client中的id号  
  42.             params->token = token;  
  43.             //Identity是每个Layer对象标号，SurfaceFlinger每创建一个Layer对象，自动加1  
  44.             params->identity = layer->getIdentity();  
  45.             //将创建好的Layer对象保存在SurfaceFlinger中  
  46.             if (normalLayer != 0) {  
  47.                 Mutex::Autolock _l(mStateLock);  
  48.                 mLayerMap.add(layer->getSurfaceBinder(), normalLayer);  
  49.             }  
  50.         }  
  51.         setTransactionFlags(eTransactionNeeded);  
  52.     }  
  53.     return surfaceHandle;  
  54. }  

SurfaceFlinger根据标志位创建对应类型的Surface，当前系统定义了5种类型的Surface：

普遍Surface的创建过程：

[cpp]
  1. sp<Layer> SurfaceFlinger::createNormalSurface(  
  2.         const sp<Client>& client, DisplayID display,  
  3.         uint32_t w, uint32_t h, uint32_t flags,  
  4.         PixelFormat& format)  
  5. {  
  6.     // initialize the surfaces  
  7.     switch (format) { // TODO: take h/w into account  
  8.     case PIXEL_FORMAT_TRANSPARENT:  
  9.     case PIXEL_FORMAT_TRANSLUCENT:  
  10.         format = PIXEL_FORMAT_RGBA_8888;  
  11.         break;  
  12.     case PIXEL_FORMAT_OPAQUE:  
  13. #ifdef NO_RGBX_8888  
  14.         format = PIXEL_FORMAT_RGB_565;  
  15. #else  
  16.         format = PIXEL_FORMAT_RGBX_8888;  
  17. #endif  
  18.         break;  
  19.     }  
  20. #ifdef NO_RGBX_8888  
  21.     if (format == PIXEL_FORMAT_RGBX_8888)  
  22.         format = PIXEL_FORMAT_RGBA_8888;  
  23. #endif  
  24.     //在SurfaceFlinger端为应用程序的Surface创建对应的Layer对象  
  25.     sp<Layer> layer = new Layer(this, display, client);  
  26.     status_t err = layer->setBuffers(w, h, format, flags);  
  27.     if (CC_LIKELY(err != NO_ERROR)) {  
  28.         ALOGE("createNormalSurfaceLocked() failed (%s)", strerror(-err));  
  29.         layer.clear();  
  30.     }  
  31.     return layer;  
  32. }  

在SurfaceFlinger服务端为应用程序创建的Surface创建对应的Layer对象。应用程序请求创建Surface过程如下：

 

Layer构造过程

frameworks\native\services\surfaceflinger\LayerBase.cpp

[cpp]
  1. LayerBase::LayerBase(SurfaceFlinger* flinger, DisplayID display)  
  2.     : dpy(display), contentDirty(false),  
  3.       sequence(uint32_t(android_atomic_inc(&sSequence))),  
  4.       mFlinger(flinger), mFiltering(false),  
  5.       mNeedsFiltering(false),  
  6.       mOrientation(0),  
  7.       mPlaneOrientation(0),  
  8.       mTransactionFlags(0),  
  9.       mPremultipliedAlpha(true), mName("unnamed"), mDebug(false)  
  10. {  
  11.     const DisplayHardware& hw(flinger->graphicPlane(0).displayHardware());  
  12.     mFlags = hw.getFlags();  
  13. }  

 

[cpp]
  1. LayerBaseClient::LayerBaseClient(SurfaceFlinger* flinger, DisplayID display,  
  2.         const sp<Client>& client)  
  3.     : LayerBase(flinger, display),  
  4.       mHasSurface(false),  
  5.       mClientRef(client),  
  6.     //为每个Layer对象分配一个唯一的标示号  
  7.       mIdentity(uint32_t(android_atomic_inc(&sIdentity)))  
  8. {  
  9. }  

frameworks\native\services\surfaceflinger\Layer.cpp

[cpp]
  1. Layer::Layer(SurfaceFlinger* flinger,  
  2.         DisplayID display, const sp<Client>& client)  
  3.     :   LayerBaseClient(flinger, display, client),  
  4.         mTextureName(-1U),  
  5.         mQueuedFrames(0),  
  6.         mCurrentTransform(0),  
  7.         mCurrentScalingMode(NATIVE_WINDOW_SCALING_MODE_FREEZE),  
  8.         mCurrentOpacity(true),  
  9.         mRefreshPending(false),  
  10.         mFrameLatencyNeeded(false),  
  11.         mFrameLatencyOffset(0),  
  12.         mFormat(PIXEL_FORMAT_NONE),  
  13.         mGLExtensions(GLExtensions::getInstance()),  
  14.         mOpaqueLayer(true),  
  15.         mNeedsDithering(false),  
  16.         mSecure(false),  
  17.         mProtectedByApp(false)  
  18. {  
  19.     mCurrentCrop.makeInvalid();  
  20.     glGenTextures(1, &mTextureName);  
  21. }  

第一次强引用Layer对象时，onFirstRef()函数被回调

[cpp]
  1. void Layer::onFirstRef()  
  2. {  
  3.     LayerBaseClient::onFirstRef();  
  4.     //创建BufferQueue对象  
  5. sp<BufferQueue> bq = new SurfaceTextureLayer();  
  6.     //创建SurfaceTexture对象  
  7.     mSurfaceTexture = new SurfaceTexture(mTextureName, true,  
  8.             GL_TEXTURE_EXTERNAL_OES, false, bq);  
  9.     mSurfaceTexture->setConsumerUsageBits(getEffectiveUsage(0));  
  10.     //设置buffer可用监听，生产者就是通过回调机制来通知消费者buffer数据已经填充好了  
  11.     mSurfaceTexture->setFrameAvailableListener(new FrameQueuedListener(this));  
  12.     //设置同步模式  
  13.     mSurfaceTexture->setSynchronousMode(true);  
  14.     //设置缓冲区个数  
  15. #ifdef TARGET_DISABLE_TRIPLE_BUFFERING  
  16. #warning "disabling triple buffering"  
  17.     mSurfaceTexture->setBufferCountServer(2);  
  18. #else  
  19.     mSurfaceTexture->setBufferCountServer(3);  
  20. #endif  
  21. }  

BufferQueue构造过程

frameworks\native\libs\gui\ SurfaceTexture.cpp

[cpp]
  1. SurfaceTextureLayer::SurfaceTextureLayer()  
  2.     : BufferQueue(true) {  
  3. }  

frameworks\native\libs\gui\BufferQueue.cpp

[cpp]
  1. BufferQueue::BufferQueue(  bool allowSynchronousMode, int bufferCount ) :  
  2.     mDefaultWidth(1),  
  3.     mDefaultHeight(1),  
  4.     mPixelFormat(PIXEL_FORMAT_RGBA_8888),  
  5.     mMinUndequeuedBuffers(bufferCount),  
  6.     mMinAsyncBufferSlots(bufferCount + 1),  
  7.     mMinSyncBufferSlots(bufferCount),  
  8.     mBufferCount(mMinAsyncBufferSlots),  
  9.     mClientBufferCount(0),  
  10.     mServerBufferCount(mMinAsyncBufferSlots),  
  11.     mSynchronousMode(false),  
  12.     mAllowSynchronousMode(allowSynchronousMode),  
  13.     mConnectedApi(NO_CONNECTED_API),  
  14.     mAbandoned(false),  
  15.     mFrameCounter(0),  
  16.     mBufferHasBeenQueued(false),  
  17.     mDefaultBufferFormat(0),  
  18.     mConsumerUsageBits(0),  
  19.     mTransformHint(0)  
  20. {  
  21.     // Choose a name using the PID and a process-unique ID.  
  22.     mConsumerName = String8::format("unnamed-%d-%d", getpid(), createProcessUniqueId());  
  23.     ST_LOGV("BufferQueue");  
  24.     //由于BufferQueue与SurfaceFlinger处于同一进程中，因此这里获取到SurfaceFlinger的本地Binder对象  
  25.     sp<ISurfaceComposer> composer(ComposerService::getComposerService());  
  26.     //通过SurfaceFlinger来创建图形buffer分配器  
  27.     mGraphicBufferAlloc = composer->createGraphicBufferAlloc();  
  28.     if (mGraphicBufferAlloc == 0) {  
  29.         ST_LOGE("createGraphicBufferAlloc() failed in BufferQueue()");  
  30.     }  
  31. }  

GraphicBufferAlloc构造过程

frameworks\native\services\surfaceflinger\SurfaceFlinger.cpp

[cpp]
  1. sp<IGraphicBufferAlloc> SurfaceFlinger::createGraphicBufferAlloc()  
  2. {  
  3.     sp<GraphicBufferAlloc> gba(new GraphicBufferAlloc());  
  4.     return gba;  
  5. }  

SurfaceTexture构造过程

frameworks\native\libs\gui\ SurfaceTexture.cpp

[cpp]
  1. SurfaceTexture::SurfaceTexture(GLuint tex, bool allowSynchronousMode,  
  2.         GLenum texTarget, bool useFenceSync, const sp<BufferQueue> &bufferQueue) :  
  3.     mCurrentTransform(0),  
  4.     mCurrentTimestamp(0),  
  5.     mFilteringEnabled(true),  
  6.     mTexName(tex),  
  7. #ifdef USE_FENCE_SYNC  
  8.     mUseFenceSync(useFenceSync),  
  9. #else  
  10.     mUseFenceSync(false),  
  11. #endif  
  12.     mTexTarget(texTarget),  
  13.     mEglDisplay(EGL_NO_DISPLAY),  
  14.     mEglContext(EGL_NO_CONTEXT),  
  15.     mAbandoned(false),  
  16.     mCurrentTexture(BufferQueue::INVALID_BUFFER_SLOT),  
  17.     mAttached(true)  
  18. {  
  19.     // Choose a name using the PID and a process-unique ID.  
  20.     mName = String8::format("unnamed-%d-%d", getpid(), createProcessUniqueId());  
  21.     ST_LOGV("SurfaceTexture");  
  22.     if (bufferQueue == 0) {  
  23.         ST_LOGV("Creating a new BufferQueue");  
  24.         mBufferQueue = new BufferQueue(allowSynchronousMode);  
  25.     }  
  26.     else {  
  27.         mBufferQueue = bufferQueue;  
  28.     }  
  29.     memcpy(mCurrentTransformMatrix, mtxIdentity,  
  30.             sizeof(mCurrentTransformMatrix));  
  31.     // Note that we can't create an sp<...>(this) in a ctor that will not keep a  
  32.     // reference once the ctor ends, as that would cause the refcount of 'this'  
  33.     // dropping to 0 at the end of the ctor.  Since all we need is a wp<...>  
  34.     // that's what we create.  
  35.     wp<BufferQueue::ConsumerListener> listener;  
  36.     sp<BufferQueue::ConsumerListener> proxy;  
  37.     //将当前SurfaceTexture对象保存到ProxyConsumerListener成员变量中，由ProxyConsumerListener  
  38.     //来代理接收FrameAvailable通知  
  39.     listener = static_cast<BufferQueue::ConsumerListener*>(this);  
  40.     proxy = new BufferQueue::ProxyConsumerListener(listener);  
  41.     //将ProxyConsumerListener对象设置到BufferQueue中，当buffer可被消费时，由BufferQueue  
  42.     //通知ProxyConsumerListener。BufferQueueProxyConsumerListenerSurfaceTexture  
  43.     status_t err = mBufferQueue->consumerConnect(proxy);  
  44.     if (err != NO_ERROR) {  
  45.         ST_LOGE("SurfaceTexture: error connecting to BufferQueue: %s (%d)",  
  46.                 strerror(-err), err);  
  47.     } else {  
  48.         mBufferQueue->setConsumerName(mName);  
  49.         mBufferQueue->setConsumerUsageBits(DEFAULT_USAGE_FLAGS);  
  50.     }  
  51. }  

根据buffer可用监听器的注册过程，我们知道，当生产者也就是应用程序填充好图形buffer数据后，通过回调方式通知消费者的过程如下：

在服务端为Surface创建Layer过程中，分别创建了SurfaceTexture、BufferQueue和GraphicBufferAlloc对象，它们之间的关系如下：

ISurface本地对象创建过程

以上完成Layer对象创建后，通过layer->getSurface()来创建ISurface的Binder本地对象，并将其代理对象返回给应用程序。

frameworks\native\services\surfaceflinge\ Layer.cpp

[cpp]
  1. sp<ISurface> Layer::createSurface()  
  2. {  
  3.     sp<ISurface> sur(new BSurface(mFlinger, this));  
  4.     return sur;  
  5. }  

总结一下Surface创建过程，应用程序通过SurfaceComposerClient请求SurfaceFlinger创建一个Surface，在SurfaceFlinger服务端将会创建的对象有：

1.         一个Layer对象：

2.         一个SurfaceTexture对象

3.         一个BufferQueue对象：用于管理当前创建的Surface的图形buffer

4.         一个GraphicBufferAlloc对象：用于分配图形buffer

5.         一个BSurface本地Binder对象：用于获取BufferQueue的Binder代理对象

关于Surface创建过程的详细分析请参考。Android在SurfaceFlinger进程为应用程序定义了4个Binder对象：

1.         SurfaceFlinger： 有名Binder对象，可通过服务查询方式获取；

2.         Client：                 无名Binder对象，只能由SurfaceFlinger服务创建；

3.         BSurface：           无名Binder对象，只能由Client服务创建；

4.         BufferQueue：      无名Binder对象，只能通过BSurface服务返回；

以上各个Binder对象提供的接口函数如下所示：

应用程序本地窗口Surface创建过程

从前面分析可知，SurfaceFlinger在处理应用程序请求创建Surface中，在SurfaceFlinger服务端仅仅创建了Layer对象，那么应用程序本地窗口Surface在什么时候、什么地方创建呢？

我们知道Surface继承于SurfaceTextureClient，而SurfaceTextureClient是面向应用程序的本地创建，因此它就应该是在应用程序进程中创建。在前面的分析中，我们也知道，SurfaceFlinger

为应用程序创建好了Layer对象并返回ISurface的代理对象给应用程序，应用程序通过该代理对象创建了一个SurfaceControl对 象，Java层Surface需要通过android_view_Surface.cpp中的JNI函数来操作native层的Surface，在操作 native层Surface前，首先需要获取到native的Surface，应用程序本地窗口Surface就是在这个时候创建的。

frameworks\base\core\jni\android_view_Surface.cpp

[cpp]
  1. static sp<Surface> getSurface(JNIEnv* env, jobject clazz)  
  2. {  
  3.     //从Java层的Surface对象中获取native的Surface对象指针  
  4.     sp<Surface> result(Surface_getSurface(env, clazz));  
  5.     //native Surface还未创建  
  6.     if (result == 0) {  
  7.         /* 
  8.          * if this method is called from the WindowManager's process, it means 
  9.          * the client is is not remote, and therefore is allowed to have 
  10.          * a Surface (data), so we create it here. 
  11.          * If we don't have a SurfaceControl, it means we're in a different 
  12.          * process. 
  13.          */  
  14.         SurfaceControl* const control =  
  15.             (SurfaceControl*)env->GetIntField(clazz, so.surfaceControl);  
  16.         if (control) {  
  17.             //创建native Surface  
  18.             result = control->getSurface();  
  19.             if (result != 0) {  
  20.                 result->incStrong(clazz);  
  21.                 env->SetIntField(clazz, so.surface, (int)result.get());  
  22.             }  
  23.         }  
  24.     }  
  25.     return result;  
  26. }  

frameworks\native\libs\gui\Surface.cpp

[cpp]
  1. sp<Surface> SurfaceControl::getSurface() const  
  2. {  
  3.     Mutex::Autolock _l(mLock);  
  4.     if (mSurfaceData == 0) {  
  5.         sp<SurfaceControl> surface_control(const_cast<SurfaceControl*>(this));  
  6.         //构造应用程序本地窗口  
  7.         mSurfaceData = new Surface(surface_control);  
  8.     }  
  9.     return mSurfaceData;  
  10. }  

 

[cpp]
  1. Surface::Surface(const sp<SurfaceControl>& surface)  
  2.     : SurfaceTextureClient(),  
  3.       mSurface(surface->mSurface),  
  4.       mIdentity(surface->mIdentity)  
  5. {  
  6.     sp<ISurfaceTexture> st;  
  7.     if (mSurface != NULL) {  
  8.         st = mSurface->getSurfaceTexture();  
  9.     }  
  10.     init(st);  
  11. }  

Surface继承于SurfaceTextureClient类，在构造Surface时，首先会调用SurfaceTextureClient的构造函数：

frameworks\native\libs\gui\SurfaceTextureClient.cpp

[cpp]
  1. SurfaceTextureClient::SurfaceTextureClient() {  
  2.     SurfaceTextureClient::init();  
  3. }  

 

[cpp]
  1. void SurfaceTextureClient::init() {  
  2.     // Initialize the ANativeWindow function pointers.  
  3.     ANativeWindow::setSwapInterval  = hook_setSwapInterval;  
  4.     ANativeWindow::dequeueBuffer    = hook_dequeueBuffer;  
  5.     ANativeWindow::cancelBuffer     = hook_cancelBuffer;  
  6.     ANativeWindow::lockBuffer       = hook_lockBuffer;  
  7.     ANativeWindow::queueBuffer      = hook_queueBuffer;  
  8.     ANativeWindow::query            = hook_query;  
  9.     ANativeWindow::perform          = hook_perform;  
  10.     const_cast<int&>(ANativeWindow::minSwapInterval) = 0;  
  11.     const_cast<int&>(ANativeWindow::maxSwapInterval) = 1;  
  12.     mReqWidth = 0;  
  13.     mReqHeight = 0;  
  14.     mReqFormat = 0;  
  15.     mReqUsage = 0;  
  16.     mTimestamp = NATIVE_WINDOW_TIMESTAMP_AUTO;  
  17.     mCrop.clear();  
  18.     mScalingMode = NATIVE_WINDOW_SCALING_MODE_FREEZE;  
  19.     mTransform = 0;  
  20.     mDefaultWidth = 0;  
  21.     mDefaultHeight = 0;  
  22.     mUserWidth = 0;  
  23.     mUserHeight = 0;  
  24.     mTransformHint = 0;  
  25.     mConsumerRunningBehind = false;  
  26.     mConnectedToCpu = false;  
  27. }  

父类SurfaceTextureClient构造完成后，通过ISurface的代理对象BpSurface请求BSurface获取BufferQueue的代理对象。

frameworks\native\services\surfaceflinge\ Layer.cpp

[cpp]
  1. class BSurface : public BnSurface, public LayerCleaner {  
  2.     wp<const Layer> mOwner;  
  3.     virtual sp<ISurfaceTexture> getSurfaceTexture() const {  
  4.         sp<ISurfaceTexture> res;  
  5.         sp<const Layer> that( mOwner.promote() );  
  6.         if (that != NULL) {  
  7.             res = that->mSurfaceTexture->getBufferQueue();  
  8.         }  
  9.         return res;  
  10.     }  
  11. public:  
  12.     BSurface(const sp<SurfaceFlinger>& flinger,const sp<Layer>& layer)  
  13.         : LayerCleaner(flinger, layer), mOwner(layer) { }  
  14. };  

最后调用Surface的init函数进行初始化

frameworks\native\libs\gui\Surface.cpp

[cpp]
  1. void Surface::init(const sp<ISurfaceTexture>& surfaceTexture)  
  2. {  
  3.     if (mSurface != NULL || surfaceTexture != NULL) {  
  4.         ALOGE_IF(surfaceTexture==0, "got a NULL ISurfaceTexture from ISurface");  
  5.         if (surfaceTexture != NULL) {  
  6.             setISurfaceTexture(surfaceTexture);  
  7.             setUsage(GraphicBuffer::USAGE_HW_RENDER);  
  8.         }  
  9.   
  10.         DisplayInfo dinfo;  
  11.         SurfaceComposerClient::getDisplayInfo(0, &dinfo);  
  12.         const_cast<float&>(ANativeWindow::xdpi) = dinfo.xdpi;  
  13.         const_cast<float&>(ANativeWindow::ydpi) = dinfo.ydpi;  
  14.         const_cast<uint32_t&>(ANativeWindow::flags) = 0;  
  15.     }  
  16. }  

到此应用程序的本地窗口Surface就创建完成了，通过上面的分析，可以知道，应用程序本地窗口的创建会在应用程序进程和SurfaceFlinger进程分别创建不同的对象：

1. SurfaceFlinger进程：Layer、SurfaceTexture、BufferQueue等；

2. 应用程序进程：Surface、SurfaceControl、SurfaceComposerClient等；

ISurfaceTexture是应用程序与BufferQueue的传输通道。

ISurfaceComposerClient是应用程序与SurfaceFlinger间的桥梁,在应用进程中则被封装在 SurfaceComposerClient这个类中。这是一个匿名binder server,由应用程序调用SurfaceFlinger这个实名binder的createConnection方法来获取到,服务端的实现是 SurfaceFlinger::Client。任何有UI界面的程序都在SurfaceFlinger中有且仅有一个Client实例。
ISurface:由应用程序调用ISurfaceComposerClient::createSurface()得到,同时在SurfaceFlinger这一进程中将会有一个Layer被创建,代表了一个“画面”。ISurface就是控制这一画面的handle。
Surface:从逻辑关系上看,它是上述ISurface的使用者。从继承关系上看,它是一个SurfaceTextureClient,也就是本地窗 口。SurfaceTextureClient内部持有ISurfaceTexture,即BufferQueue的实现接口。
以上Surface、Layer、SurfaceTexture、BufferQueue，应用程序和Client之间的关系如下图所示：

Surface的图形buffer申请过程

在创建完应用程序本地窗口Surface后，想要在该Surface上绘图，首先需要为该Surface分配图形buffer。我们前面介绍了 Android应用程序图形缓冲区的分配都是由SurfaceFlinger服务进程来完成，在请求创建Surface时，在服务端创建了一个 BufferQueue本地Binder对象，该对象负责管理应用程序一个本地窗口Surface的图形缓冲区。在BufferQueue中定义了图形 buffer的四个状态：

[cpp]
  1. enum BufferState {  
  2.     // FREE indicates that the buffer is not currently being used and  
  3.     // will not be used in the future until it gets dequeued and  
  4.     // subsequently queued by the client.  
  5.     // aka "owned by BufferQueue, ready to be dequeued"  
  6.     FREE = 0,  
  7.   
  8.     // DEQUEUED indicates that the buffer has been dequeued by the  
  9.     // client, but has not yet been queued or canceled. The buffer is  
  10.     // considered 'owned' by the client, and the server should not use  
  11.     // it for anything.  
  12.     //  
  13.     // Note that when in synchronous-mode (mSynchronousMode == true),  
  14.     // the buffer that's currently attached to the texture may be  
  15.     // dequeued by the client.  That means that the current buffer can  
  16.     // be in either the DEQUEUED or QUEUED state.  In asynchronous mode,  
  17.     // however, the current buffer is always in the QUEUED state.  
  18.     // aka "owned by producer, ready to be queued"  
  19.     DEQUEUED = 1,  
  20.   
  21.     // QUEUED indicates that the buffer has been queued by the client,  
  22.     // and has not since been made available for the client to dequeue.  
  23.     // Attaching the buffer to the texture does NOT transition the  
  24.     // buffer away from the QUEUED state. However, in Synchronous mode  
  25.     // the current buffer may be dequeued by the client under some  
  26.     // circumstances. See the note about the current buffer in the  
  27.     // documentation for DEQUEUED.  
  28.     // aka "owned by BufferQueue, ready to be acquired"  
  29.     QUEUED = 2,  
  30.   
  31.     // aka "owned by consumer, ready to be released"  
  32.     ACQUIRED = 3  
  33. };  

BufferQueue对图形buffer的管理采用消费者-生产者模型，所有的buffer都由 BufferQueue管理，当生产者也就是应用程序需要绘图时，必须向BufferQueue申请绘图缓冲区，并且将图形buffer设置为 DEQUEUED出列状态，此时只有应用程序才能访问这块图形buffer。当应用程序完成绘图后，需要将图形缓冲区归还给BufferQueue管理， 并设置当前buffer为QUEUED入列状态，同时通知消费者绘图完成。消费者又将向BufferQueue申请已完成的图形buffer，并将当前申 请的图形buffer设置为ACQUIRED状态，此时的图形buffer只能被消费者处理。

客户端请求

frameworks\native\libs\gui\SurfaceTextureClient.cpp

[cpp]
  1. int SurfaceTextureClient::dequeueBuffer(android_native_buffer_t** buffer) {  
  2.     ATRACE_CALL();  
  3.     ALOGV("SurfaceTextureClient::dequeueBuffer");  
  4.     Mutex::Autolock lock(mMutex);  
  5.     //图形buffer的索引号  
  6.     int buf = -1;  
  7.     int reqW = mReqWidth ? mReqWidth : mUserWidth;  
  8.     int reqH = mReqHeight ? mReqHeight : mUserHeight;  
  9.     //请求服务端的BufferQueue  
  10.     status_t result = mSurfaceTexture->dequeueBuffer(&buf, reqW, reqH,  
  11.             mReqFormat, mReqUsage);  
  12.     if (result < 0) {  
  13.         ALOGV("dequeueBuffer: ISurfaceTexture::dequeueBuffer(%d, %d, %d, %d)"  
  14.              "failed: %d", mReqWidth, mReqHeight, mReqFormat, mReqUsage,  
  15.              result);  
  16.         return result;  
  17.     }  
  18.     sp<GraphicBuffer>& gbuf(mSlots[buf].buffer);  
  19.     //结果为RELEASE_ALL_BUFFERS，则释放所有的buffer  
  20.     if (result & ISurfaceTexture::RELEASE_ALL_BUFFERS) {  
  21.         freeAllBuffers();  
  22.     }  
  23.     //结果为BUFFER_NEEDS_REALLOCATION，则请求重新分配图形buffer  
  24.     if ((result & ISurfaceTexture::BUFFER_NEEDS_REALLOCATION) || gbuf == 0) {  
  25.         //请求服务端的BufferQueue  
  26.         result = mSurfaceTexture->requestBuffer(buf, &gbuf);  
  27.         if (result != NO_ERROR) {  
  28.             ALOGE("dequeueBuffer: ISurfaceTexture::requestBuffer failed: %d",result);  
  29.             return result;  
  30.         }  
  31.     }  
  32.     *buffer = gbuf.get();  
  33.     return OK;  
  34. }  

frameworks\native\libs\gui\ISurfaceTexture.cpp$ BpSurfaceTexture

[cpp]
  1. virtual status_t dequeueBuffer(int *buf, uint32_t w, uint32_t h,  
  2.         uint32_t format, uint32_t usage) {  
  3.     Parcel data, reply;  
  4.     data.writeInterfaceToken(ISurfaceTexture::getInterfaceDescriptor());  
  5.     data.writeInt32(w);  
  6.     data.writeInt32(h);  
  7.     data.writeInt32(format);  
  8.     data.writeInt32(usage);  
  9.     status_t result = remote()->transact(DEQUEUE_BUFFER, data, &reply);  
  10.     if (result != NO_ERROR) {  
  11.         return result;  
  12.     }  
  13.     *buf = reply.readInt32();  
  14.     result = reply.readInt32();  
  15.     return result;  
  16. }  

服务端处理

frameworks\native\libs\gui\ISurfaceTexture.cpp$BnSurfaceTexture

[cpp]
  1. status_t BnSurfaceTexture::onTransact(  
  2.     uint32_t code, const Parcel& data, Parcel* reply, uint32_t flags)  
  3. {  
  4.     switch(code) {  
  5.         case DEQUEUE_BUFFER: {  
  6.             CHECK_INTERFACE(ISurfaceTexture, data, reply);  
  7.             uint32_t w      = data.readInt32();  
  8.             uint32_t h      = data.readInt32();  
  9.             uint32_t format = data.readInt32();  
  10.             uint32_t usage  = data.readInt32();  
  11.             int buf;  
  12.             int result = dequeueBuffer(&buf, w, h, format, usage);  
  13.             reply->writeInt32(buf);  
  14.             reply->writeInt32(result);  
  15.             return NO_ERROR;  
  16.         } break;  
  17.     }  
  18.     return BBinder::onTransact(code, data, reply, flags);  
  19. }  

frameworks\native\libs\gui\BufferQueue.cpp

[cpp]
  1. status_t BufferQueue::dequeueBuffer(int *outBuf, uint32_t w, uint32_t h,  
  2.         uint32_t format, uint32_t usage) {  
  3.     ATRACE_CALL();  
  4.     ST_LOGV("dequeueBuffer: w=%d h=%d fmt=%#x usage=%#x", w, h, format, usage);  
  5.     if ((w && !h) || (!w && h)) {  
  6.         ST_LOGE("dequeueBuffer: invalid size: w=%u, h=%u", w, h);  
  7.         return BAD_VALUE;  
  8.     }  
  9.     status_t returnFlags(OK);  
  10.     EGLDisplay dpy = EGL_NO_DISPLAY;  
  11.     EGLSyncKHR fence = EGL_NO_SYNC_KHR;  
  12.   
  13.     { // Scope for the lock  
  14.         Mutex::Autolock lock(mMutex);  
  15.         if (format == 0) {  
  16.             format = mDefaultBufferFormat;  
  17.         }  
  18.         // turn on usage bits the consumer requested  
  19.         usage |= mConsumerUsageBits;  
  20.         int found = -1;  
  21.         int foundSync = -1;  
  22.         int dequeuedCount = 0;  
  23.         bool tryAgain = true;  
  24.         while (tryAgain) {  
  25.             if (mAbandoned) {  
  26.                 ST_LOGE("dequeueBuffer: SurfaceTexture has been abandoned!");  
  27.                 return NO_INIT;  
  28.             }  
  29.             const int minBufferCountNeeded = mSynchronousMode ? mMinSyncBufferSlots : mMinAsyncBufferSlots;  
  30.             const bool numberOfBuffersNeedsToChange = !mClientBufferCount &&  
  31.                     ((mServerBufferCount != mBufferCount) ||(mServerBufferCount < minBufferCountNeeded));  
  32.                       
  33.             if (!mQueue.isEmpty() && numberOfBuffersNeedsToChange) {  
  34.                 // wait for the FIFO to drain  
  35.                 mDequeueCondition.wait(mMutex);  
  36.                 // NOTE: we continue here because we need to reevaluate our  
  37.                 // whole state (eg: we could be abandoned or disconnected)  
  38.                 continue;  
  39.             }  
  40.   
  41.             if (numberOfBuffersNeedsToChange) {  
  42.                 // here we're guaranteed that mQueue is empty  
  43.                 freeAllBuffersLocked();  
  44.                 mBufferCount = mServerBufferCount;  
  45.                 if (mBufferCount < minBufferCountNeeded)  
  46.                     mBufferCount = minBufferCountNeeded;  
  47.                 mBufferHasBeenQueued = false;  
  48.                 returnFlags |= ISurfaceTexture::RELEASE_ALL_BUFFERS;  
  49.             }  
  50.             // look for a free buffer to give to the client  
  51.             found = INVALID_BUFFER_SLOT;  
  52.             foundSync = INVALID_BUFFER_SLOT;  
  53.             dequeuedCount = 0;  
  54.             for (int i = 0; i < mBufferCount; i++) {  
  55.                 const int state = mSlots[i].mBufferState;  
  56.                 if (state == BufferSlot::DEQUEUED) {  
  57.                     dequeuedCount++;//统计已经被生产者出列的buffer个数  
  58.                 }  
  59.                 if (state == BufferSlot::FREE) {  
  60.                     /*  
  61.                      * mFrameNumber用于标示buffer入列序号，buffer入列时都会 
  62.                      * mFrameNumber自动加一，通过mFrameNumber可以判断buffer入列的先后顺序 
  63.                      */  
  64.                     bool isOlder = mSlots[i].mFrameNumber < mSlots[found].mFrameNumber;  
  65.                     if (found < 0 || isOlder) {  
  66.                         foundSync = i;  
  67.                         found = i;  
  68.                     }  
  69.                 }  
  70.             }  
  71.             // clients are not allowed to dequeue more than one buffer  
  72.             // if they didn't set a buffer count.  
  73.             if (!mClientBufferCount && dequeuedCount) {  
  74.                 ST_LOGE("dequeueBuffer: can't dequeue multiple buffers without "  
  75.                         "setting the buffer count");  
  76.                 return -EINVAL;  
  77.             }  
  78.             // See whether a buffer has been queued since the last  
  79.             // setBufferCount so we know whether to perform the  
  80.             // mMinUndequeuedBuffers check below.  
  81.             if (mBufferHasBeenQueued) {  
  82.                 // make sure the client is not trying to dequeue more buffers  
  83.                 // than allowed.  
  84.                 const int avail = mBufferCount - (dequeuedCount+1);  
  85.                 if (avail < (mMinUndequeuedBuffers-int(mSynchronousMode))) {  
  86.                     ST_LOGE("dequeueBuffer: mMinUndequeuedBuffers=%d exceeded ""(dequeued=%d)",  
  87.                             mMinUndequeuedBuffers-int(mSynchronousMode),  
  88.                             dequeuedCount);  
  89.                     return -EBUSY;  
  90.                 }  
  91.             }  
  92.             // if no buffer is found, wait for a buffer to be released  
  93.             tryAgain = found == INVALID_BUFFER_SLOT;  
  94.             if (tryAgain) {  
  95.                 mDequeueCondition.wait(mMutex);  
  96.             }  
  97.         }  
  98.         if (found == INVALID_BUFFER_SLOT) {  
  99.             // This should not happen.  
  100.             ST_LOGE("dequeueBuffer: no available buffer slots");  
  101.             return -EBUSY;  
  102.         }  
  103.         //状态为FREE、合适的buffer索引号  
  104.         const int buf = found;  
  105.         *outBuf = found;  
  106.         ATRACE_BUFFER_INDEX(buf);  
  107.         const bool useDefaultSize = !w && !h;  
  108.         if (useDefaultSize) {  
  109.             // use the default size  
  110.             w = mDefaultWidth;  
  111.             h = mDefaultHeight;  
  112.         }  
  113.         const bool updateFormat = (format != 0);  
  114.         if (!updateFormat) {  
  115.             // keep the current (or default) format  
  116.             format = mPixelFormat;  
  117.         }  
  118.         // buffer is now in DEQUEUED (but can also be current at the same time,  
  119.         // if we're in synchronous mode)  
  120.         mSlots[buf].mBufferState = BufferSlot::DEQUEUED;  
  121.         const sp<GraphicBuffer>& buffer(mSlots[buf].mGraphicBuffer);  
  122.         //如果当前buffer不合适，则创建一个新的图形buffer  
  123.         if ((buffer == NULL) ||  
  124.             (uint32_t(buffer->width)  != w) ||  
  125.             (uint32_t(buffer->height) != h) ||  
  126.             (uint32_t(buffer->format) != format) ||  
  127.             ((uint32_t(buffer->usage) & usage) != usage))  
  128.         {  
  129.             status_t error;  
  130.             //创建新的图形buffer  
  131.             sp<GraphicBuffer> graphicBuffer(  
  132.                     mGraphicBufferAlloc->createGraphicBuffer(w, h, format, usage, &error));  
  133.             if (graphicBuffer == 0) {  
  134.                 ST_LOGE("dequeueBuffer: SurfaceComposer::createGraphicBuffer ""failed");  
  135.                 return error;  
  136.             }  
  137.             if (updateFormat) {  
  138.                 mPixelFormat = format;  
  139.             }  
  140.             //根据buffer索引，初始化mSlots中对应的元素  
  141.             mSlots[buf].mAcquireCalled = false;  
  142.             mSlots[buf].mGraphicBuffer = graphicBuffer;  
  143.             mSlots[buf].mRequestBufferCalled = false;  
  144.             mSlots[buf].mFence = EGL_NO_SYNC_KHR;  
  145.             mSlots[buf].mEglDisplay = EGL_NO_DISPLAY;  
  146.             //设置返回结果为BUFFER_NEEDS_REALLOCATION  
  147.             returnFlags |= ISurfaceTexture::BUFFER_NEEDS_REALLOCATION;  
  148.         }  
  149.         dpy = mSlots[buf].mEglDisplay;  
  150.         fence = mSlots[buf].mFence;  
  151.         mSlots[buf].mFence = EGL_NO_SYNC_KHR;  
  152.     }  // end lock scope  
  153.     if (fence != EGL_NO_SYNC_KHR) {  
  154.         EGLint result = eglClientWaitSyncKHR(dpy, fence, 0, 1000000000);  
  155.         // If something goes wrong, log the error, but return the buffer without  
  156.         // synchronizing access to it.  It's too late at this point to abort the  
  157.         // dequeue operation.  
  158.         if (result == EGL_FALSE) {  
  159.             ST_LOGE("dequeueBuffer: error waiting for fence: %#x", eglGetError());  
  160.         } else if (result == EGL_TIMEOUT_EXPIRED_KHR) {  
  161.             ST_LOGE("dequeueBuffer: timeout waiting for fence");  
  162.         }  
  163.         eglDestroySyncKHR(dpy, fence);  
  164.     }  
  165.     ST_LOGV("dequeueBuffer: returning slot=%d buf=%p flags=%#x", *outBuf,  
  166.             mSlots[*outBuf].mGraphicBuffer->handle, returnFlags);  
  167.     return returnFlags;  
  168. }  

BufferQueue中有一个mSlots数组用于管理其内的各缓冲区，最大容量为32。mSlots在程序一开始就 静态分配了32个BufferSlot大小的空间。但BufferSlot的内部变指针mGraphicBuffer所指向的图形buffer空间却是动 态分配的。

图形缓冲区创建过程

如果从mSlots数组中找到了一个状态为FREE的图形buffer，但由于该图形buffer不合适，因此需要重新创建一个GraphicBuffer对象。

frameworks\native\services\surfaceflinger\SurfaceFlinger.cpp

[cpp]
  1. sp<GraphicBuffer> GraphicBufferAlloc::createGraphicBuffer(uint32_t w, uint32_t h,  
  2.         PixelFormat format, uint32_t usage, status_t* error) {  
  3.     //构造一个GraphicBuffer对象  
  4.     sp<GraphicBuffer> graphicBuffer(new GraphicBuffer(w, h, format, usage));  
  5.     status_t err = graphicBuffer->initCheck();  
  6.     *error = err;  
  7.     if (err != 0 || graphicBuffer->handle == 0) {  
  8.         if (err == NO_MEMORY) {  
  9.             GraphicBuffer::dumpAllocationsToSystemLog();  
  10.         }  
  11.         ALOGE("GraphicBufferAlloc::createGraphicBuffer(w=%d, h=%d) "  
  12.              "failed (%s), handle=%p",  
  13.                 w, h, strerror(-err), graphicBuffer->handle);  
  14.         return 0;  
  15.     }  
  16.     return graphicBuffer;  
  17. }  

frameworks\native\libs\ui\GraphicBuffer.cpp

[cpp]
  1. GraphicBuffer::GraphicBuffer(uint32_t w, uint32_t h,   
  2.         PixelFormat reqFormat, uint32_t reqUsage)  
  3.     : BASE(), mOwner(ownData), mBufferMapper(GraphicBufferMapper::get()),  
  4.       mInitCheck(NO_ERROR), mIndex(-1)  
  5. {  
  6.     width  =   
  7.     height =   
  8.     stride =   
  9.     format =   
  10.     usage  = 0;  
  11.     handle = NULL;  
  12.     //分配图形buffer存储空间  
  13.     mInitCheck = initSize(w, h, reqFormat, reqUsage);  
  14. }  

根据图形buffer的宽高、格式等信息为图形缓冲区分配存储空间

[cpp]
  1. status_t GraphicBuffer::initSize(uint32_t w, uint32_t h, PixelFormat format,  
  2.         uint32_t reqUsage)  
  3. {  
  4.     GraphicBufferAllocator& allocator = GraphicBufferAllocator::get();  
  5.     status_t err = allocator.alloc(w, h, format, reqUsage, &handle, &stride);  
  6.     if (err == NO_ERROR) {  
  7.         this->width  = w;  
  8.         this->height = h;  
  9.         this->format = format;  
  10.         this->usage  = reqUsage;  
  11.     }  
  12.     return err;  
  13. }  

使用GraphicBufferAllocator对象来为图形缓冲区分配内存空间，GraphicBufferAllocator是对Gralloc模块中的gpu设备的封装类。关于GraphicBufferAllocator内存分配过程请查看，图形缓冲区分配完成后，还会映射到SurfaceFlinger服务进程的虚拟地址空间。

应用程序获取图形buffer首地址

我们知道，Surface为应用程序这边用于描述画板类，继承于SurfaceTextureClient类，是面向应用程序的本地窗口，实现 了EGL窗口协议。在SurfaceTextureClient中定义了一个大小为32的mSlots数组，用于保存当前Surface申请的图形 buffer。每个Surface在SurfaceFlinger服务端有一个layer对象与之对应，在前面也介绍了，每个Layer又拥有一个 SurfaceTexture对象，每个SurfaceTexture对象又持有一个buffer队列BufferQue，BufferQue同样为每个 Layer定义了一个大小为32的mSlots数组，同样用来保存每个Layer所使用的buffer。只不过应用程序端的mSlots数组元素和服务端 的mSlots数组元素定义不同，应用程序在申请图形buffer时必须保存这两个队列数据中的buffer同步。

如果重新为图形buffer分配空间，那么BufferQueue的dequeueBuffer函数返回值中需要加上 BUFFER_NEEDS_REALLOCATION标志。客户端在发现这个标志后，它还应调用requestBuffer()来取得最新的buffer 地址。

客户端请求

frameworks\native\libs\gui\SurfaceTextureClient.cpp

[cpp]
  1. int SurfaceTextureClient::dequeueBuffer(android_native_buffer_t** buffer) {  
  2.     ...  
  3.     if ((result & ISurfaceTexture::BUFFER_NEEDS_REALLOCATION) || gbuf == 0) {  
  4.         //获取图形buffer的首地址  
  5.         result = mSurfaceTexture->requestBuffer(buf, &gbuf);  
  6.         if (result != NO_ERROR) {  
  7.             ALOGE("dequeueBuffer: ISurfaceTexture::requestBuffer failed: %d",  
  8.                     result);  
  9.             return result;  
  10.         }  
  11.     }  
  12.     *buffer = gbuf.get();  
  13.     return OK;  
  14. }  

frameworks\native\libs\gui\ISurfaceTexture.cpp$ BpSurfaceTexture

[cpp]
  1. virtual status_t requestBuffer(int bufferIdx, sp<GraphicBuffer>* buf) {  
  2.     Parcel data, reply;  
  3.     data.writeInterfaceToken(ISurfaceTexture::getInterfaceDescriptor());  
  4.     data.writeInt32(bufferIdx);  
  5.     status_t result =remote()->transact(REQUEST_BUFFER, data, &reply);  
  6.     if (result != NO_ERROR) {  
  7.         return result;  
  8.     }  
  9.     bool nonNull = reply.readInt32();  
  10.     if (nonNull) {  
  11.         //在应用程序进程中创建一个GraphicBuffer对象  
  12.         sp<GraphicBuffer> p = new GraphicBuffer();  
  13.         result = reply.read(*p);  
  14.         if (result != NO_ERROR) {  
  15.             p = 0;  
  16.             return result;  
  17.         }  
  18.         *buf = p;  
  19.     }  
  20.     result = reply.readInt32();  
  21.     return result;  
  22. }  

frameworks\native\libs\ui\GraphicBuffer.cpp

[cpp]
  1. GraphicBuffer::GraphicBuffer()  
  2.     : BASE(), mOwner(ownData), mBufferMapper(GraphicBufferMapper::get()),  
  3.       mInitCheck(NO_ERROR), mIndex(-1)  
  4. {  
  5.     width  =   
  6.     height =   
  7.     stride =   
  8.     format =   
  9.     usage  = 0;  
  10.     handle = NULL;  
  11. }  

服务端进程接收到应用程序进程requestBuffer请求后，将新创建的GraphicBuffer对象发送给应用 程序。上面可以看到，应用程序进程这边也创建了一个GraphicBuffer对象，在SurfaceFlinger服务进程中也同样创建了一个 GraphicBuffer对象，SurfaceFlinger服务进程只是将它进程中创建的GraphicBuffer对象传输给应用程序进程，我们知 道，一个对象要在进程间传输必须继承于Flattenable类，并且实现flatten和unflatten方法，flatten方法用于序列化该对 象，unflatten方法用于反序列化对象。

 

GraphicBuffer同样继承于Flattenable类并实现了flatten和unflatten方法，在应 用程序读取来自服务进程的GraphicBuffer对象时，也就是result = reply.read(*p)，会调用GraphicBuffer类的unflatten函数进行反序列化过程： 

[cpp]
  1. status_t GraphicBuffer::unflatten(void const* buffer, size_t size,  
  2.         int fds[], size_t count)  
  3. {  
  4.     if (size < 8*sizeof(int)) return NO_MEMORY;  
  5.     int const* buf = static_cast<int const*>(buffer);  
  6.     if (buf[0] != 'GBFR') return BAD_TYPE;  
  7.       
  8.     const size_t numFds  = buf[6];  
  9.     const size_t numInts = buf[7];  
  10.   
  11.     const size_t sizeNeeded = (8 + numInts) * sizeof(int);  
  12.     if (size < sizeNeeded) return NO_MEMORY;  
  13.   
  14.     size_t fdCountNeeded = 0;  
  15.     if (count < fdCountNeeded) return NO_MEMORY;  
  16.       
  17.     if (handle) {  
  18.         // free previous handle if any  
  19.         free_handle();  
  20.     }  
  21.     if (numFds || numInts) {  
  22.         width  = buf[1];  
  23.         height = buf[2];  
  24.         stride = buf[3];  
  25.         format = buf[4];  
  26.         usage  = buf[5];  
  27.         //创建一个native_handle对象  
  28.         native_handle* h = native_handle_create(numFds, numInts);  
  29.         memcpy(h->data,          fds,     numFds*sizeof(int));  
  30.         memcpy(h->data + numFds, &buf[8], numInts*sizeof(int));  
  31.         handle = h;  
  32.     } else {  
  33.         width = height = stride = format = usage = 0;  
  34.         handle = NULL;  
  35.     }  
  36.     mOwner = ownHandle;  
  37.     if (handle != 0) {  
  38.         //使用GraphicBufferMapper将服务端创建的图形buffer映射到当前进程地址空间  
  39.         status_t err = mBufferMapper.registerBuffer(handle);  
  40.         if (err != NO_ERROR) {  
  41.             native_handle_close(handle);  
  42.             native_handle_delete(const_cast<native_handle*>(handle));  
  43.             handle = NULL;  
  44.             return err;  
  45.         }  
  46.     }  
  47.     return NO_ERROR;  
  48. }  

应用程序进程得到服务端进程返回来的GraphicBuffer对象后，还需要将该图形buffer映射到应用程序进程地址空间，有关图形缓存区的映射详细过程请查看。

服务端处理

frameworks\native\libs\gui\ISurfaceTexture.cpp$BnSurfaceTexture

[cpp]
  1. status_t BnSurfaceTexture::onTransact(  
  2.     uint32_t code, const Parcel& data, Parcel* reply, uint32_t flags)  
  3. {  
  4.     switch(code) {  
  5.         case REQUEST_BUFFER: {  
  6.             CHECK_INTERFACE(ISurfaceTexture, data, reply);  
  7.             int bufferIdx   = data.readInt32();  
  8.             sp<GraphicBuffer> buffer;  
  9.             //通过BufferQueue的requestBuffer函数来获得重新分配的图形buffer  
  10.             int result = requestBuffer(bufferIdx, &buffer);  
  11.             reply->writeInt32(buffer != 0);  
  12.             //将GraphicBuffer对象写回到应用程序进程，因此GraphicBuffer必须是Flattenable的子类  
  13.             if (buffer != 0) {  
  14.                 reply->write(*buffer);  
  15.             }  
  16.             reply->writeInt32(result);  
  17.             return NO_ERROR;  
  18.         } break;  
  19.     }  
  20.     return BBinder::onTransact(code, data, reply, flags);  
  21. }  

frameworks\native\libs\gui\BufferQueue.cpp

[cpp]
  1. status_t BufferQueue::requestBuffer(int slot, sp<GraphicBuffer>* buf) {  
  2.     ATRACE_CALL();  
  3.     ST_LOGV("requestBuffer: slot=%d", slot);  
  4.     Mutex::Autolock lock(mMutex);  
  5.     if (mAbandoned) {  
  6.         ST_LOGE("requestBuffer: SurfaceTexture has been abandoned!");  
  7.         return NO_INIT;  
  8.     }  
  9.     if (slot < 0 || mBufferCount <= slot) {  
  10.         ST_LOGE("requestBuffer: slot index out of range [0, %d]: %d",  
  11.                 mBufferCount, slot);  
  12.         return BAD_VALUE;  
  13.     }  
  14.     mSlots[slot].mRequestBufferCalled = true;  
  15.     *buf = mSlots[slot].mGraphicBuffer;  
  16.     return NO_ERROR;  
  17. }  

由于GraphicBuffer继承于Flattenable类，在中介绍了，将一个对象写入到Parcel中，需要使用flatten函数序列化该对象：

frameworks\native\libs\ui\GraphicBuffer.cpp

[cpp]
  1. status_t GraphicBuffer::flatten(void* buffer, size_t size,  
  2.         int fds[], size_t count) const  
  3. {  
  4.     size_t sizeNeeded = GraphicBuffer::getFlattenedSize();  
  5.     if (size < sizeNeeded) return NO_MEMORY;  
  6.   
  7.     size_t fdCountNeeded = GraphicBuffer::getFdCount();  
  8.     if (count < fdCountNeeded) return NO_MEMORY;  
  9.   
  10.     int* buf = static_cast<int*>(buffer);  
  11.     buf[0] = 'GBFR';  
  12.     buf[1] = width;  
  13.     buf[2] = height;  
  14.     buf[3] = stride;  
  15.     buf[4] = format;  
  16.     buf[5] = usage;  
  17.     buf[6] = 0;  
  18.     buf[7] = 0;  
  19.   
  20.     if (handle) {  
  21.         buf[6] = handle->numFds;  
  22.         buf[7] = handle->numInts;  
  23.         native_handle_t const* const h = handle;  
  24.         memcpy(fds,     h->data,             h->numFds*sizeof(int));  
  25.         memcpy(&buf[8], h->data + h->numFds, h->numInts*sizeof(int));  
  26.     }  
  27.   
  28.     return NO_ERROR;  
  29. }  

到此我们就介绍完了应用程序请求BufferQueue出列一个可用图形buffer的完整过程，那么应用程序什么时候发出这个请求呢？我们知道， 在使用Surface绘图前，需要调用SurfaceHolder的lockCanvas()函数来锁定画布，然后才可以在画布上作图，应用程序就是在这 个时候向SurfaceFlinger服务进程中的BufferQueue申请图形缓存区的。

应用程序释放图形buffer过程

当应用程序完成绘图后，需要调用SurfaceHolder的unlockCanvasAndPost(canvas)函数来释放画布，并请求SurfaceFlinger服务进程混合并显示该图像。

从以上时序图可以看到，应用程序完成绘图后，首先对当前这块图形buffer进行解锁，然后调用queueBuffer()函数请求 SurfaceFlinger服务进程中的BufferQueue将当前已绘制好图形的buffer入列，也就是将当前buffer交还给 BufferQueue管理。应用程序这个生产者在这块buffer中生产出了图像产品后，就需要将buffer中的图像产品放到BufferQueue 销售市场中交易，SurfaceFlinger这个消费者得知市场上有新的图像产品出现，就立刻请求VSync信号，在下一次VSync到来 时，SurfaceFlinger混合当前市场上的所有图像产品，并显示到屏幕上，从而完成图像产品的消费过程。

客户端请求

frameworks\native\libs\gui\SurfaceTextureClient.cpp 

[cpp]
  1. int SurfaceTextureClient::queueBuffer(android_native_buffer_t* buffer) {  
  2.     ATRACE_CALL();  
  3.     ALOGV("SurfaceTextureClient::queueBuffer");  
  4.     Mutex::Autolock lock(mMutex);  
  5.     int64_t timestamp;  
  6.     if (mTimestamp == NATIVE_WINDOW_TIMESTAMP_AUTO) {  
  7.         timestamp = systemTime(SYSTEM_TIME_MONOTONIC);  
  8.         ALOGV("SurfaceTextureClient::queueBuffer making up timestamp: %.2f ms",  
  9.              timestamp / 1000000.f);  
  10.     } else {  
  11.         timestamp = mTimestamp;  
  12.     }  
  13.     int i = getSlotFromBufferLocked(buffer);  
  14.     if (i < 0) {  
  15.         return i;  
  16.     }  
  17.     // Make sure the crop rectangle is entirely inside the buffer.  
  18.     Rect crop;  
  19.     mCrop.intersect(Rect(buffer->width, buffer->height), &crop);  
  20.   
  21.     ISurfaceTexture::QueueBufferOutput output;  
  22.     ISurfaceTexture::QueueBufferInput input(timestamp, crop, mScalingMode,  
  23.             mTransform);  
  24.     status_t err = mSurfaceTexture->queueBuffer(i, input, &output);  
  25.     if (err != OK)  {  
  26.         ALOGE("queueBuffer: error queuing buffer to SurfaceTexture, %d", err);  
  27.     }  
  28.     uint32_t numPendingBuffers = 0;  
  29.     output.deflate(&mDefaultWidth, &mDefaultHeight, &mTransformHint,&numPendingBuffers);  
  30.     mConsumerRunningBehind = (numPendingBuffers >= 2);  
  31.     return err;  
  32. }  

frameworks\native\libs\gui\ ISurfaceTexture.cpp $BpSurfaceTexture

[cpp]
  1. virtual status_t queueBuffer(int buf,const QueueBufferInput& input, QueueBufferOutput* output) {  
  2.     Parcel data, reply;  
  3.     data.writeInterfaceToken(ISurfaceTexture::getInterfaceDescriptor());  
  4.     data.writeInt32(buf);  
  5.     memcpy(data.writeInplace(sizeof(input)), &input, sizeof(input));  
  6.     status_t result = remote()->transact(QUEUE_BUFFER, data, &reply);  
  7.     if (result != NO_ERROR) {  
  8.         return result;  
  9.     }  
  10.     memcpy(output, reply.readInplace(sizeof(*output)), sizeof(*output));  
  11.     result = reply.readInt32();  
  12.     return result;  
  13. }  

服务端处理

frameworks\native\libs\gui\ ISurfaceTexture.cpp $BnSurfaceTexture

[cpp]
  1. status_t BnSurfaceTexture::onTransact(  
  2.     uint32_t code, const Parcel& data, Parcel* reply, uint32_t flags)  
  3. {  
  4.     switch(code) {  
  5.         case QUEUE_BUFFER: {  
  6.             CHECK_INTERFACE(ISurfaceTexture, data, reply);  
  7.             int buf = data.readInt32();  
  8.             QueueBufferInput const* const input =  
  9.                     reinterpret_cast<QueueBufferInput const *>(  
  10.                             data.readInplace(sizeof(QueueBufferInput)));  
  11.             QueueBufferOutput* const output =  
  12.                     reinterpret_cast<QueueBufferOutput *>(  
  13.                             reply->writeInplace(sizeof(QueueBufferOutput)));  
  14.             status_t result = queueBuffer(buf, *input, output);  
  15.             reply->writeInt32(result);  
  16.             return NO_ERROR;  
  17.         } break;  
  18.     }  
  19.     return BBinder::onTransact(code, data, reply, flags);  
  20. }  

frameworks\native\libs\gui\ BufferQueue.cpp

[cpp]
  1. status_t BufferQueue::queueBuffer(int buf,  
  2.         const QueueBufferInput& input, QueueBufferOutput* output) {  
  3.     ATRACE_CALL();  
  4.     ATRACE_BUFFER_INDEX(buf);  
  5.     Rect crop;  
  6.     uint32_t transform;  
  7.     int scalingMode;  
  8.     int64_t timestamp;  
  9.     input.deflate(×tamp, &crop, &scalingMode, &transform);  
  10.     ST_LOGV("queueBuffer: slot=%d time=%#llx crop=[%d,%d,%d,%d] tr=%#x "  
  11.             "scale=%s",  
  12.             buf, timestamp, crop.left, crop.top, crop.right, crop.bottom,  
  13.             transform, scalingModeName(scalingMode));  
  14.     sp<ConsumerListener> listener;  
  15.   
  16.     { // scope for the lock  
  17.         Mutex::Autolock lock(mMutex);  
  18.         if (mAbandoned) {  
  19.             ST_LOGE("queueBuffer: SurfaceTexture has been abandoned!");  
  20.             return NO_INIT;  
  21.         }  
  22.         if (buf < 0 || buf >= mBufferCount) {  
  23.             ST_LOGE("queueBuffer: slot index out of range [0, %d]: %d",  
  24.                     mBufferCount, buf);  
  25.             return -EINVAL;  
  26.         } else if (mSlots[buf].mBufferState != BufferSlot::DEQUEUED) {  
  27.             ST_LOGE("queueBuffer: slot %d is not owned by the client "  
  28.                     "(state=%d)", buf, mSlots[buf].mBufferState);  
  29.             return -EINVAL;  
  30.         } else if (!mSlots[buf].mRequestBufferCalled) {  
  31.             ST_LOGE("queueBuffer: slot %d was enqueued without requesting a "  
  32.                     "buffer", buf);  
  33.             return -EINVAL;  
  34.         }  
  35.         const sp<GraphicBuffer>& graphicBuffer(mSlots[buf].mGraphicBuffer);  
  36.         Rect bufferRect(graphicBuffer->getWidth(), graphicBuffer->getHeight());  
  37.         Rect croppedCrop;  
  38.         crop.intersect(bufferRect, &croppedCrop);  
  39.         if (croppedCrop != crop) {  
  40.             ST_LOGE("queueBuffer: crop rect is not contained within the "  
  41.                     "buffer in slot %d", buf);  
  42.             return -EINVAL;  
  43.         }  
  44.         if (mSynchronousMode) {  
  45.             // In synchronous mode we queue all buffers in a FIFO.  
  46.             mQueue.push_back(buf);  
  47.   
  48.             // Synchronous mode always signals that an additional frame should  
  49.             // be consumed.  
  50.             listener = mConsumerListener;  
  51.         } else {  
  52.             // In asynchronous mode we only keep the most recent buffer.  
  53.             if (mQueue.empty()) {  
  54.                 mQueue.push_back(buf);  
  55.   
  56.                 // Asynchronous mode only signals that a frame should be  
  57.                 // consumed if no previous frame was pending. If a frame were  
  58.                 // pending then the consumer would have already been notified.  
  59.                 listener = mConsumerListener;  
  60.             } else {  
  61.                 Fifo::iterator front(mQueue.begin());  
  62.                 // buffer currently queued is freed  
  63.                 mSlots[*front].mBufferState = BufferSlot::FREE;  
  64.                 // and we record the new buffer index in the queued list  
  65.                 *front = buf;  
  66.             }  
  67.         }  
  68.         mSlots[buf].mTimestamp = timestamp;  
  69.         mSlots[buf].mCrop = crop;  
  70.         mSlots[buf].mTransform = transform;  
  71.         switch (scalingMode) {  
  72.             case NATIVE_WINDOW_SCALING_MODE_FREEZE:  
  73.             case NATIVE_WINDOW_SCALING_MODE_SCALE_TO_WINDOW:  
  74.             case NATIVE_WINDOW_SCALING_MODE_SCALE_CROP:  
  75.                 break;  
  76.             default:  
  77.                 ST_LOGE("unknown scaling mode: %d (ignoring)", scalingMode);  
  78.                 scalingMode = mSlots[buf].mScalingMode;  
  79.                 break;  
  80.         }  
  81.         mSlots[buf].mBufferState = BufferSlot::QUEUED;  
  82.         mSlots[buf].mScalingMode = scalingMode;  
  83.         mFrameCounter++;  
  84.         mSlots[buf].mFrameNumber = mFrameCounter;  
  85.         mBufferHasBeenQueued = true;  
  86.         //通知有buffer入列  
  87.         mDequeueCondition.broadcast();  
  88.         output->inflate(mDefaultWidth, mDefaultHeight, mTransformHint,  
  89.                 mQueue.size());  
  90.         ATRACE_INT(mConsumerName.string(), mQueue.size());  
  91.     } // scope for the lock  
  92.     //通知消费者buffer已入列  
  93.     if (listener != 0) {  
  94.         listener->onFrameAvailable();  
  95.     }  
  96.     return OK;  
  97. }  

在 前面构造SurfaceTexture对象时，通过mBufferQueue->consumerConnect(proxy)将 ProxyConsumerListener监听器保存到了BufferQueue的成员变量mConsumerListener中，同时又将 SurfaceTexture对象保存到ProxyConsumerListener的成员变量mConsumerListener中。

frameworks\native\libs\gui\SurfaceTexture.cpp

[cpp]
  1. SurfaceTexture::SurfaceTexture(GLuint tex, bool allowSynchronousMode,  
  2.         GLenum texTarget, bool useFenceSync, const sp<BufferQueue> &bufferQueue)   
  3. {  
  4.     ...  
  5.     wp<BufferQueue::ConsumerListener> listener;  
  6.     sp<BufferQueue::ConsumerListener> proxy;  
  7.     listener = static_cast<BufferQueue::ConsumerListener*>(this);  
  8.     proxy = new BufferQueue::ProxyConsumerListener(listener);  
  9.     status_t err = mBufferQueue->consumerConnect(proxy);  
  10.     ....  
  11. }  

因此BufferQueue通过回调ProxyConsumerListener的onFrameAvailable()函数来通知消费者图形buffer已经准备就绪。

frameworks\native\libs\gui\ BufferQueue.cpp 

[cpp]
  1. void BufferQueue::ProxyConsumerListener::onFrameAvailable() {  
  2.     sp<BufferQueue::ConsumerListener> listener(mConsumerListener.promote());  
  3.     if (listener != NULL) {  
  4.         listener->onFrameAvailable();  
  5.     }  
  6. }  

ProxyConsumerListener又回调SurfaceTexture的onFrameAvailable()函数来处理。

frameworks\native\libs\gui\ SurfaceTexture.cpp

[cpp]
  1. void SurfaceTexture::onFrameAvailable() {  
  2.     ST_LOGV("onFrameAvailable");  
  3.   
  4.     sp<FrameAvailableListener> listener;  
  5.     { // scope for the lock  
  6.         Mutex::Autolock lock(mMutex);  
  7.         listener = mFrameAvailableListener;  
  8.     }  
  9.   
  10.     if (listener != NULL) {  
  11.         ST_LOGV("actually calling onFrameAvailable");  
  12.         listener->onFrameAvailable();  
  13.     }  
  14. }  

在 Layer对象的onFirstRef()函数中，通过调用SurfaceTexture的setFrameAvailableListener函数来为 SurfaceTexture设置buffer可用监器为FrameQueuedListene，其实就是将FrameQueuedListener对象 保存到SurfaceTexture的成员变量mFrameAvailableListener中：

frameworks\native\services\surfaceflinger\ Layer.cpp 

[cpp]
  1. mSurfaceTexture->setFrameAvailableListener(new FrameQueuedListener(this));  

因此buffer可用通知最终又交给FrameQueuedListener来处理：

[cpp]
  1. struct FrameQueuedListener : public SurfaceTexture::FrameAvailableListener {  
  2.         FrameQueuedListener(Layer* layer) : mLayer(layer) { }  
  3. private:  
  4.     wp<Layer> mLayer;  
  5.     virtual void onFrameAvailable() {  
  6.         sp<Layer> that(mLayer.promote());  
  7.         if (that != 0) {  
  8.             that->onFrameQueued();  
  9.         }  
  10.     }  
  11. };  

FrameQueuedListener的onFrameAvailable()函数又调用Layer类的onFrameQueued()来处理

[cpp]
  1. void Layer::onFrameQueued() {  
  2.     android_atomic_inc(&mQueuedFrames);  
  3.     mFlinger->signalLayerUpdate();  
  4. }  

接着又通知SurfaceFlinger来更新Layer层。

frameworks\native\services\surfaceflinger\ SurfaceFlinger.cpp 

[cpp]
  1. void SurfaceFlinger::signalLayerUpdate() {  
  2.     mEventQueue.invalidate();  
  3. }  

该函数就是向SurfaceFlinger的事件队列中发送一个Vsync信号请求

frameworks\native\services\surfaceflinger\ MessageQueue.cpp 

[cpp]
  1. void MessageQueue::invalidate() {  
  2.     mEvents->requestNextVsync();  
  3. }  

应用程序入列一个图形buffer的整个过程如下：

转载于:https://www.cnblogs.com/shakin/p/4521803.html

你可能感兴趣的文章
数据类与生成数据库表所需组成
查看>>
2017普及组第三题 洛谷P3957 跳房子（解题报告）
查看>>
mysql 权限管理
查看>>
TSS 内核栈 用户栈的关系
查看>>
【kd-tree】bzoj4066 简单题
查看>>
logistic regression
查看>>
【动态规划】【记忆化搜索】CODEVS 3415 最小和 CodeVS原创
查看>>
MySQL高阶语法
查看>>
Spring CommonsMultipartResolver 上传文件
查看>>
为什么 Objective-C 很难
查看>>
【算法专题】仙人掌图问题
查看>>
httpClient
查看>>
对象序列化
查看>>
暑假周报告（第五周）
查看>>
C# DES加密解密类分享
查看>>
bitnami下webmin安装
查看>>
什么是viewport，为什么需要viewport
查看>>
Team Name
查看>>
String类
查看>>
JAVA中各种日期表示字母
查看>>
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！-- 愿君每日到此一游！
当前时间: 2024-12-23 23:42:38   当前IP: 18.191.84.179   联系邮箱:javaeecc@qq.com     Copyright © 2020 - 2022 baihongyu.com 京ICP备2021015314号-2
强烈建议你试试无所不能的CHAT-GPT，快点击我
强烈建议你试试无所不能的CHAT-GPT，快点击我