基于android的实时视频流传输系统

1. android 实时视频采集—Camera预览采集与显示（平台系统camera功能理解分享）

        本文之所以有必要编写并作记录，主要原因是因为在工作中开发出一个万能的自定义camera预览控件之后，本是一个提高效率以及提供一个强大能力的控件，但是产品并不能理解这个万能控件存在的意义，产品无法与技术设计相结合的理解使用；并且发现我们的智能业务部Camera自定义预览技术虽然是使用多年，但是我们并没有真正的形成规范，由于产品在不能够理解系统平台（Android/iOS）给产品和研发带来了什么，导致产品可能会出现在不理解系统平台以及系统知识的情况下，臆想产品所谓的形态；当产品设计脱离了系统平台所支持的技术点以及设计的初衷，就会导致回归问题的时候，出现不必要的讨论，其根结就是一点：“信息不同步，知识不同步”。

        所以，为了提高效率，就采用记录和分享的方式，尝试性推动产品、测试、研发三者对工程与架构的同步理解，更深的懂得程序架构设计意义，尝试性通过信息同步的方式，在一个统一的知识储备的平台下，共同完成一个更高效，和高品质的工程产品。（为了能够让非技术：产品设计，以及测试都能够理解，所以，使用了更多的白话解释）

        附：强大灵活的FsCameraTextureView（第一版，自适应截取）（ 第二版本版本：自适应展示）

        首先，抛出几个问题，

      1）什么是摄像头支持的previewSize？

      2）什么是视频或者图片的pictureSize?

      3)  如何获取和查看摄像头支持的PreViewSize 和PictureSize ？

      4）手机预览所见的区域SurfaceView(TextureView)与camera 的previewSize的关系是什么？

      5）为什么会设计了两种预览方式view，两种预览方式都会有什么样子的效果呢？

一，概述

通过Android Camera拍摄预览中设置setPreviewCallback实现onPreviewFrame接口，实时截取每一帧视频流数据（简单说来，就是通过设置一个接口，接收系统回调通知我们的每一帧数据）

二，知识点

    1， camera支持的格式：

    2，拍照流程

    3，camera权限

  三，Android Camera中PreviewSize、 PictureSize、 SurfaceView(TextureView)之间的关系

        1，PreviewSize：

          相机预览时候的能支持的尺寸，简单的说一下，就是预览的大小，也就是拍照前能够看到的图片大小。（通过Android手机相机可以试一下，这个参数设置不同，同样的焦距下，拍摄桌子上一个固定距离的东西，看到的视野会不同）

          相机的预览尺寸，不能随意的设置值，只能通过camera的parameters的getSupportedPreviewSizes方法，获取支持的预览尺寸列表，并从列表中选择一个设置在parameters中。（通俗简单的说就是，获取camera中能够支持的预览大小合集，如果你想要查看某个预览对应的尺寸，就把该尺寸设置到camera的属性中即可，则camera会返回相对应尺寸的预览数据流提供显示）。

        2，PictureSize :

指的是拍照之后，最终拍摄到的图片大小，也就是图片的质量。图片尺寸同样也只能从支持的列表中选取一个设置。 调用camera的takePicture方法（拍照）后，获得拍照的图像数据，注意picturesize和previewsize的宽高比也要保证一致，否则获取的图片会将preview时的图像裁剪成picturesize的比例。 previewsize的分辨率，只会影响预览时的分辨率，不会影响获取图片的分辨率，所以preview只是确定了图像的取景最大范围。最终图片的分辨率是由picturesize来决定。 所以，最好的设置方法，例如：previewsize为1280*720，picturesize为2560*1440。（由于我们没有拍照业务，目前这个知识，不做深究）

        3，SurfaceView(TextureView)

          用于展示camera预览图像的view，就是将preview获得的数据，放在这个view上。所以如果preview的宽高比和SurfaceView的宽高比不一样，就会导致看到的图像拉伸变形。图像拉伸变形解决的办法：

          （1）就是在确定preview的分辨率后，重新设置SurfaceView宽高；

          （2）如果SurfaceView宽高定死，则需要获取一个比例适合SurfaceView尺寸的PreviewSize 的preview，尽量小的裁剪，然后填充在SurfaceView中。

        4，利用图片的显示方式，理解Preview与SurfaceView（TextureView）显示关系

          ImageView （UI上面设计的一个控件）与图片bitmap 的关系，比如限定死一个ImageView的大小，但是图片与ImageView尺寸不一致，就会有几种方案，首先选取一张长方形1920*1080的图片，ImageView就是紫色部分，无论长宽比都比ImageView要大。

图片适配例1：拉伸填充ScaleType.FIT_XY :虽然被全部填充，但是整个图片为了适配图片已经扭曲，失真，图片缩放到控件大小，完全填充控件大小展示。

图片适配例2：等比例裁剪填充ScaleType.CENTER_CROP ，因为在该模式下，图片会被等比缩放直到完全填充整个ImageView，并居中显示。该模式也是最常用的模式了。如图可以看到，图片的高度是能完全展示出来的，但是左右部分被进行了裁剪，并没有完全显示。

图片适配例3 :  ScaleType.CENTER_INSIDE，此模式，用以完全展示图片内容为目的。图片将被等比缩放到能够完整展示在ImageView中并居中，如果图片大小，小于控件尺寸，那么就直接居中展示该图片

            图片适配ImageView方式还有很多，就不一一列举，这三种已经足够重要，为什么讲解camera预览，却穿插了图片的适配，其实可以这么理解，camera的preview就是由多张图片组成，不断的像帧动画一样变化，而SurfaceView就是一个载体，相当于ImageView，业务中定死了SurfaceView的大小之后，被动的承载你选择的previewSize，来展示camera的Preview，你可以选择类似于前面三种例子来理解preview的填充，以下会举例说明preview的填充策略选择有哪几种方式，我们会采用哪种方式：

        1）拉伸填充，自适应view，不可取，比如：手机的SurfaceView是整个手机的屏幕尺寸（全屏填充），或者任意尺寸比例的surfaceView，使用这种方式，就如同（图片适配例1）的方式，导致视频扭曲，拉伸。

        2）等比例裁剪填充，目前我们项目中，采用的就是这种方式，并且提供给很多三方使用，已经成为一种独立，并且稳定的技术实现自定义view，简单说一下视频的适配策略方式，SurfaceView随便由业务方，自定义宽度大小，比如业务方选择了1900*1000的SurfaceView， 我们的适配过程是：（1）从PreviewSize列表中选取最接近SurfaceView尺寸的PreviewSize（假设该摄像头，只支持1920*1080，和320*640），1920*1080最接近，所以被获取；(此处展示一下蹩脚的英文Try to find an size match aspect ratio and size,尝试找到纵横比与view大小比适中的一个尺寸)（2）等比例裁剪填充到SurfaceView，首先我们设计的逻辑是，先选取一个缩放比例，假设等比例1920的图片按照SurfaceView的宽度等比例缩小到1900，而为了不让Preview失真，则高度1080等比例缩小的值是1068.75（等比例方程式，这里就不重复初中的知识，请自行计算），所以图片被压缩成为1900*1068这个尺寸，依旧保证图片完整，并且不失真。（3）将等比例缩减的图片，1900*1068进行显示在1900*1000的SurfaceView中，就会有一种效果类似（图片适配例2），宽度全部展示，高度被裁剪。（如同  图片适配例2中左右部分裁剪一样的道理）                       

          3）完全展示camera内容的缩放填充（类似图片适配例3），我们打开任意一部手机的camera，预览图像都没有全屏幕展示，类似拍照功能，所见即所得，PreviewSize是多少，就显示什么样子的比例尺寸，以及最后生产的照片比例就是多少，我们的自定义view，也可以随意设置大小，此模式下，用以完全展示camera内容为目的。Preview将被等比缩放到能够完整展示在SurfaceView中并居中，但是可能会有部分位置无法填充（类似图片适配例3显示效果）。

（该方式只是进行了技术储备，由于没有业务场景设计，所以没有使用，目前只是储备了这样的自定义控件）

四，灵活的自定义TextureView预览控件       

        FsCameraTextureView（第一版，自适应截取）：等比例裁剪填充，方式（适配方式2），采用前面说的适配方式2，而产出的一种自定义view，2019年5月产出至今，在金融APP，以及商城的app中使用，经过逐步优化，和多版本检验，目前该控件，拥有以下特点：  1）稳定：目前各个使用场景，均无逻辑崩溃，内存泄漏，线程等任意问题； 2）灵活：随意设置预览view的尺寸大小，自适应任意业务设计；不仅仅满足刷脸业务，并且满足任意相机预览业务方使用； 3）提高效率，减轻工作量：使用简单，操作步骤简洁，接入只需要两步；减轻接入端，或者想要使用相机预览的业务的工作量，不需要重复造车，并且安全稳定。

      输出的业务方有（经不完全统计）：（目前业务为保密进行公网保密处理）1）**创新科技业务部-区块链部门 2）泰国人脸识别业务SDK3）S D**Bank 人脸业务4）核验身份证业务5）HT**Bank 人脸业务 6）**云，商业平台部门

      FsAllPreviewCameraTextureView（技术储备版，全预览模式显示）：完全展示camera内容的缩放填充，采用前面说的（适配方式3）适合拍照相关的业务使用，优点同样是，外部业务随意改变view大小，可以自适应view，由于目前没有业务方使用，暂时做储备，不深入讲解。

如果可以控件开源成功，后期，我将开源这两个控件，让更多的使用方使用，我们也希望共同技术进步，提高工程产出的使用能力。

预计下一次分享内容是（临时命名）

1）人脸核验内存和线程爆表到泄漏为零

2）分享七年前参于的Scrum（如何提高岗位间效率所定制的敏捷开发过程）

本文参考：

https://www.jianshu.com/p/32e335d5b842

https://www.cnblogs.com/skyseraph/archive/2012/03/26/2418665.html

2. 如何把android手机画面实时传递到电脑上

首先，要实现该功能必须在WINDOWS系统上作如下的设置：

1、点击【控制面板】里面的【管理工具】

5、在手机点击播放后，在电脑的Windows Media Player上会自动显示手机上的图片

3. Android Camera 做实时视频采集传输的时候怎么才能让帧率达到100FPS

要想帧率高，有三条路可走：
1.降低采集分辨率。但这样会降低视频效果。
2.提高硬件速度，使用高性能的处理器，这是最快的方法。
3.基于现状，改进软件算法，提高代码执行效率。
可以想出来的只有这几条措施了。但基本想要达到100FPS，有点困难。

4. android视频流处理

《android逆向视频》网络网盘资源免费下载

链接:https://pan..com/s/1W1NAE-AeKbz0bb6E4mdXfA

5. 如何在Android实现一个流媒体服务器

现在，越来越多的朋友用上了宽带，如果仅仅只是将宽带用来下载软件、观看电影，那未免太浪费了。假如你的机器性能还不错的话，是否设想过将它架设为一台流媒体服务器。这样就可以与亲朋好友共享美妙的音乐或最新的电影，那种网络DJ的感受可真是无与伦比呀。 就现在的主流计算机硬件而言，搭建一台网络流媒体服务器应该没有什么困难，只要满足Pentium III 450MHz、256MB内存容量、足够的硬盘空间即可。但如果你还没有用上宽带，那么还是放弃吧，否则那时断时续的传播质量会让朋友们骂死你。

架设网络流媒体服务器

所谓流媒体技术，是指将连续的影像和声音信息经过压缩处理后放在网站服务器上，让用户能够一边下载一边观看、收听（即所谓的“在线欣赏”），而不需要等整个压缩文件下载到自己的机器上才可以欣赏的网络传输技术。目前，在这个领域中的竞争者主要有微软、RealNetworks、Apple三家公司，例如微软新近发布了Windows Media Services 9、RealNetworks公司新近发布的Helix Platform、Apple新近发布的Darwin streaming server 4.1，意图在流媒体领域大干一场。

一般来说，一个完整的流媒体服务系统需要三个部分组成：编码器、流服务器和播放器。编码器通过对内容来源（如MP3文件或者麦克风输入）进行编码，并将编码过的内容发送到流服务器；流服务器再将它们发布到Internet，这样客户端的播放器只要连接到流服务器就可以进行在线播放了。

利用Winamp架设MP3网络电台

当我们静静地在欣赏美妙的MP3音乐时，你是否曾经考虑过将这些原本属于个人的MP3音乐通过网络在局域网内进行发布，甚至还可以通过Internet进行发布？这样就可以让遍布世界的朋友们与你一起共享MP3音乐之旅。其实，要做到这一点并不难，你只要将本机创建为一台MP3流媒体服务器，将自己所喜爱的MP3音乐不停播放，然后通知朋友们访问你的这台MP3服务器就可以了。

说起MP3的播放，使用最广泛的莫过于Winamp了。对于MP3流媒体服务这个领域，Winamp的开发者Nullsoft公司当然不会放弃，专门发布了面向MP3的流服务器SHOUTcast Server。虽然它的功能没有Windows Media Server和Real Server强大，但它不仅对硬件的要求极低，更关键的是完全免费，使用起来没有后顾之忧。另外你还需要下载一个名为SHOUTcast DSP Plug-in的插件，只有安装了这个不起眼的插件，Winamp才能支持流媒体服务。

首先打开Winamp（请注意版本号必须在2.22以上），切换到“Options” | “Preferences”| “DSP/Effect”标签页，选中“Nullsoft SHOUTcast Source DSP v1.8.2a[dsp_sc.dll]”下的“Configure”按钮。打开“SHOUTcast Source”窗口，选择“Output”标签页，如图1所示，在“Address”栏内填入本机的IP地址。如果你想在Internet上广播MP3音乐，则必须键入本机的外部IP地址，然后就可以从程序组中运行SHOUTcast DAAS（GUI）程序以启动SHOUTcast服务。这时系统会自动连接到http://yp.shoutcast.com服务器，接下来请返回图1窗口点击“Connect”按钮。如果连接成功，该按钮会变为“disconnect”字样，这样我们就完成了在本机架设MP3流服务器的全部过程。

架设REAL格式的视频点播中心

如果是架设视频点播服务器，那么选择Real格式是非常明智的。因为RealProcer Plus这款功能强大的软件操作相当简单，每次使用时会弹出一个向导对话框进行操作提示。目前最新版本是10.0，我们只要选择8.5.1以上的版本即可。

从“工具”菜单下选择“创建网页”命令，此时会弹出一个如图2所示的向导式对话框，点击“前进”按钮选择你希望用于创建Web页面的Real多媒体文件。随后RealProcer会询问是创建“弹出式播放器”还是“嵌入式播放器”，一般建议选择后者，因为这样所需要的系统资源更低，当然启动速度也更快。至于播放器的界面，可以选择“标准播放器”，很快就可以创建成功。

最后，RM文件对象所在的目录会增加一些文件，请将这些文件与RM对象一起上传，不过要注意保证RM文件与HTML文件在同一目录下，否则播放器可能无法找到播放对象。

架设WMP流媒体服务器

微软的手伸得很长，什么领域都要插足一下。凭借着Windows操作系统的影响力，Windows Media Player市场占有率越来越高，而微软的*.asf、*.wmv、*.wma、*.avi等格式也开始被越来越多的用户所接受。

架设WMP流媒体服务器，你需要安装Windows Media Encoder才行，目前最新版本是9.0简体中文版。如图3所示，我们应该在这里选择“广播实况事件”，接着选择用来编码的音频和视频设备。注意请事先将音频和视频设备与计算机正确连接，否则会无法检测到。接着你还需要指定服务和发布点，当然也可以使用现有的发布点。然后Windows Media Encoder会自动创建服务器，并给出HTTP连接地址与局域网内部地址，请记住这些内容，最后点击“开始”按钮正式启动WMP流媒体服务器。

接下来，我们就可以将刚才记下的HTTP连接地址与局域网内部地址告诉给朋友们。他们只要打开IE，输入正确的IP地址和端口号，很快就可以访问WMP流媒体服务器。

架设QT流媒体服务器

平时，我们见到的大多是打造MWF（矢量地图窗口文件，Map Window File）或RM流服务器，可是你可知道QuickTime（以下简称QT）流媒体服务器应该如何来打造吗？其实，借助苹果的QuickTime Streaming Server工具，我们可以在短时间内快速打造出一台QT流服务器。

首先我们要准备一些工具，QuickTime媒体播放工具当然是必不可少的。目前最新版本是6.5简体中文版，到处都可以找到，或者直接到苹果公司的网站下载，并且需要在服务器和客户端同时安装。Perl语言解析器，最低版本要求是5.0以上。QuickTime Streaming Server与用户见面最早是在1999年，当时以其开放源代码和基于标准的实时传输协议/实时流协议（RTP/RTSP）引擎深深地动摇了流媒体工业的基础，目前的最新版本是5.0，下载文件共9.2MB。

从http://developer.apple.com/darwin/projects/streaming/地址可以免费下载，但你必须拥有Apple的注册用户名才能登录（注册是免费的），这里有Mac OS X、Red Hat、Solaris、Windows NT/2000/XP等版本可供选择。下载回来的是一个自解压文件，释放后执行Install.bat运行安装程序，运行过程在命令提示符窗口中完成，最后还需要设置登录用户名、密码，如图4所示，当看到“Setup Complete!”的提示信息时即大功告成。QT流媒体服务器建设过程和RM类似，在这里就不再赘述。

如何共享音频和视频

共享音频

前面，我们利用Winamp、SHOUTcast Server将本机架设为一台MP3流服务器，那么该如何让遍布天南海北的朋友或局域网中的同事欣赏这些美妙音乐呢？

这有两种方法：一种是打开Winamp，从“Play”菜单下选择“Location”命令，或者直接键入“Ctrl-L”组合键打开一个对话框，然后在这里键入MP3流服务器的URL地址或者IP地址、端口号（缺省为8000），例如“http://192.168.0.1:8000”或者“http://61.277.1.24:8000”即可收听；另一种方法则更为简单，从IE中打开“http://192.168.0.1:8000”进入Web管理页面，如图5所示，然后点击“收听”按钮就可以在线收听MP3流音乐。

共享视频

虽然苹果的QuickTime Player的市场占有率远远不如Real或Windows Media Player，但忠实的用户依然不少。而且苹果毕竟是网络流媒体的开山鼻祖，因此许多最新大片都是采用QT格式。

首先必须在机器上启动QT服务，然后通知朋友们在远程计算机中打开QuickTime。从“文件”菜单中选择“在新的播放窗口中打开URL”命令，键入“rtsp://server/file.mov”来访问QT流服务器以实现远程播放。这里的“server”是服务器的IP地址，“file.mov”是媒体文件名，默认的RTSP传输端口是554端口。如果网络连接没有什么问题的话，如图6所示，那么你很快就可以连接成功。

建立播放列表或点播系统

辛辛苦苦架设了一台流媒体服务器，我们还可以建立播放列表或点播系统，甚至可以进行网络直播，反正已经用上了宽带，不用也是浪费。

配置QT流媒体服务器

打开IE，在地址栏中输入“http://server:1220”，这里的“server”代表服务器的IP地址。如果前面的配置没有什么问题的话，很快就会进入如图7所示的管理页面，这里以列表形式显示了当前的系统资源占用情况和相关的服务器信息。我们可以在这里查看连接到服务器的用户类型、IP地址、数据速率、数据传输量、包丢失比例、连接时间、连接文件等内容，也可以在这里设置映射文件夹、加密传输、最大连接用户数、分配带宽、重置密码、更改端口，如果你需要的话，还可以查看错误日志和操作日志。

创建播放列表

点击图7窗口右侧的“New MP3 Playlist”或“New Movie Playlist”按钮，我们可以创建一个MP3或影片的播放列表。不过这里需要说明的是，你需要将相关的媒体文件复制到C:Program FilesDarwin Streaming ServerMovies文件夹中才行。

如图8所示，我们可以在这里通过“Weight”旁边的小三角箭头重新调整播放列表的播放顺序，可惜的是QuickTime Streaming Server对简体中文的支持十分差劲，显示的竟然是一些乱码字符。最后，点击窗口右下角的“Save Changes”按钮就可以将这份新建的播放列表保存下来，以后如果需要更改的话可以选择“Edit Playlist”重新配置。

不过，如果你希望其他用户也能访问这份播放列表文件，还必须点击“Avaliable Playlists”列表框中的“Status”下的播放按钮，也就是让“Status”列的“Stopped”变为“Playing”才行。

实现网络直播

如果你还想在播放完MP3歌曲后说上一段话，那么简单的很，只要一个话筒就行了。不过，还需要在Winamp中进行一些设置，如图9所示，在“Input Device”下拉列表框中选择“Soundcard Input”项，这样才会出现图中的SoundCard Mixer设置项。如果使用默认的设置“Winamp（Recommended）”的话就只有Input Levels一项了，下面还有“Music Level”、“BGMusic Level”、“Mic Level”几个滑块可以调节音量的大小，而“Fade Time”是用来设

置移出时间值。

现在，你无需进行其它设置，准备一番后，清清嗓子，点击“Push to Talk”按钮，然后再按下“Lock”按钮锁定当前话音输入模式。接下来就可以对着麦克风开始你的网络直播之旅了，结束请再次按下“Lock”按钮解锁。

6. 基于的Android视频监控系统实现的疑问

做过一个类似的，不过得用浏览器， 当时是用的 html5的 websocket进行数据传输。这是内段 js代码

functioninitialize(){
			console.log("Initializing;room=${roomKey}.");
			card=document.getElementById("card");
			localVideo=document.getElementById("localVideo");
			miniVideo=document.getElementById("miniVideo");
			remoteVideo=document.getElementById("remoteVideo");
			resetStatus();
			openChannel();
			getUserMedia();
		}
		
		functiongetUserMedia(){
			try{
				navigator.webkitGetUserMedia({
					'audio':true,
					'video':true
				},onUserMediaSuccess,onUserMediaError);
				console.log(".");
			}catch(e){
				try{
					navigator.webkitGetUserMedia("video,audio",
							onUserMediaSuccess,onUserMediaError);
					console
							.log(".");
				}catch(e){
					alert("webkitGetUserMedia()failed.:flags?");
					console.log(":"
							+e.message);
				}
			}
		}
		
		functiononUserMediaSuccess(stream){
			console.log(".");
			varurl=webkitURL.createObjectURL(stream);
			localVideo.style.opacity=1;
			localVideo.src=url;
			localStream=stream;
			//CallercreatesPeerConnection.
			if(initiator)
				maybeStart();
		}
		
		functionmaybeStart(){
			if(!started&&localStream&&channelReady){
				setStatus("Connecting...");
				console.log("CreatingPeerConnection.");
				createPeerConnection();
				console.log("Addinglocalstream.");
				pc.addStream(localStream);
				started=true;
				//Callerinitiatesoffertopeer.
				if(initiator)
					doCall();
			}
		}

		functiondoCall(){
			console.log("Sendingoffertopeer.");
			if(isRTCPeerConnection){
				pc.createOffer(setLocalAndSendMessage,null,mediaConstraints);
			}else{
				varoffer=pc.createOffer(mediaConstraints);
				pc.setLocalDescription(pc.SDP_OFFER,offer);
				sendMessage({
					type:'offer',
					sdp:offer.toSdp()
				});
				pc.startIce();
			}
		}

		(sessionDescription){
			pc.setLocalDescription(sessionDescription);
			sendMessage(sessionDescription);
		}

		functionsendMessage(message){
			varmsgString=JSON.stringify(message);
			console.log('发出信息:'+msgString);
			path='message?r=${roomKey}'+'&u=${user}';
			varxhr=newXMLHttpRequest();
			xhr.open('POST',path,true);
			xhr.send(msgString);
		}

页面加载完之后会调用initialize方法，initialize方法中调用了getUserMedia方法，这个方法是通过本地摄像头获取视频的方法，在成功获取视频之后发送连接请求，并在客户端建立连接管道，最后通过sendMessage向另外一个客户端发送连接的请求