多人语言聊天以及多人视频聊天

客户端实现语音的采样并发送，同时接收服务器发来的语音数据并播放

代码如下：

public class Audioclient
{@SuppressWarnings({ "unused", "resource", "static-access" })
public static void recordAndRecieveMicrophone(String INET_ADDRESS, int INET_PORT,int FRAME_RATE) throws InterruptedException, LineUnavailableException, UnknownHostException, IOException {Socket socket = new Socket(INET_ADDRESS, INET_PORT);AudioInfo audioInfo=new AudioInfo(new AudioFormat(44100.0F, 16, 2, true, false));audioInfo.writestart();if(socket.isConnected()) {//server端使用readline来获取唯一标识符String uuid = UUID.randomUUID().toString().replaceAll("-", "")+'\n';OutputStream outputstream=socket.getOutputStream();outputstream.write(uuid.getBytes());System.out.println(uuid);}new Thread(new Runnable() {@Overridepublic void run() {ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);exec.scheduleAtFixedRate(new Runnable() {@Overridepublic void run() {try {audioInfo.write(socket);} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}, 0, (long) 1000 / FRAME_RATE, TimeUnit.MILLISECONDS);}}).start();AudioInfo audioRead=new AudioInfo(new AudioFormat(44100.0F, 16, 2, true, false));audioRead.readstart();new Thread(new Runnable() {@Overridepublic void run() {ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);exec.scheduleAtFixedRate(new Runnable() {@Overridepublic void run() {byte[] buffer=new byte[1024];InputStream is = null;try {is = socket.getInputStream();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}int size=0;while(true) {int ss1;try {is.read(buffer);audioRead.read(buffer);} catch (IOException e) {// TODO Auto-generated catch blockSystem.out.println("读取错误");}}}}, 0, (long) 1000 / FRAME_RATE, TimeUnit.MILLISECONDS);}}).start();
}
}

为方便后期更改添加编码封装方法，将语音的发送提取出来

public class AudioInfo {AudioFormat audioFormat;SourceDataLine line;ByteBuffer outBuffer;final int AUDIO_DEVICE_INDEX=4;byte[] audioBytes;TargetDataLine recordLine;public int length;public AudioInfo(AudioFormat audioFormat1) {this.audioFormat=audioFormat1;this.length=(int) (audioFormat.getSampleRate()*audioFormat.getChannels());}@SuppressWarnings("unused")public  void readstart() throws LineUnavailableException {final DataLine.Info info = new DataLine.Info(SourceDataLine.class, audioFormat);final SourceDataLine soundLine = (SourceDataLine) AudioSystem.getLine(info);soundLine.open(audioFormat);soundLine.start();this.line=soundLine;   }public void writestart() throws LineUnavailableException {DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);TargetDataLine sline = (TargetDataLine) AudioSystem.getLine(dataLineInfo);sline.open(audioFormat);sline.start();this.recordLine=sline;this.audioBytes=new byte[this.length];}public void stop() {if(line!=null)line.close();if(recordLine!=null)recordLine.close();}public void read(byte[] samples) {outBuffer = ByteBuffer.wrap(samples);line.write(outBuffer.array(), 0, outBuffer.capacity());outBuffer.clear();}/** 把缓冲区中的音频数据通过套接字发出去*/public  void write(Socket s) throws IOException {int nBytesRead = recordLine.read(audioBytes, 0, recordLine.available());//16位音频格式,需要将byte[]转成short[]int nSamplesRead = nBytesRead / 2;short[] samples = new short[nSamplesRead];ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);OutputStream outputstream=s.getOutputStream();byte[] simples=new byte[nBytesRead];ByteBuffer.wrap(simples).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().put(sBuff.array());outputstream.write(simples);}
}

同时，要想实现排己性的语音转发，需要服务器拥有套接字的唯一标识

import java.net.Socket;public class OnlySocket{public  Socket socket;public  String uuid;public OnlySocket(Socket s, String uuid) {this.socket=s;this.uuid=uuid;}public Socket getSocket() {return socket;}public String getUUid() {return uuid;}
}

sever端

public class pushAndpoll {static int i=0;private static Set<OnlySocket> clientList=new HashSet<>();@SuppressWarnings({ "resource", "null" })public static void main(String[] args) throws IOException, LineUnavailableException {ExecutorService es=Executors.newFixedThreadPool(40);ServerSocket ss = null;try {ss=new ServerSocket(5000);} catch (IOException e) {// TODO Auto-generated catch blockSystem.out.println("服务器启动失败");}if(ss!=null) {System.out.println("服务器已启动");System.out.println(ss.getLocalSocketAddress());}while(true) {Socket s=ss.accept();if(s!=null) {System.out.println((++i)+"个客户端链接");InputStream inStream = s.getInputStream(); BufferedReader reader = new BufferedReader(new InputStreamReader(inStream));String uuid=reader.readLine();OnlySocket onlysocket=new OnlySocket(s,uuid);       clientList.add(onlysocket);System.out.println(onlysocket.uuid);es.execute(receive(onlysocket));}}}@SuppressWarnings("unused")private static Runnable receive(final OnlySocket s) throws LineUnavailableException, UnknownHostException, IOException {AudioInfo audioInfo=new AudioInfo(new AudioFormat(44100.0F, 16, 2, true, false));return new Runnable() {@Overridepublic void run() {BufferedInputStream infile;BufferedOutputStream outfile;try {infile = new BufferedInputStream(s.socket.getInputStream());for(OnlySocket onlysocket:clientList) {if(onlysocket!=null && onlysocket.uuid !=s.uuid) {outfile = new BufferedOutputStream(onlysocket.socket.getOutputStream());byte[] b = new byte[1024];int i;i = infile.read(b);while (i!=-1) {outfile.write(b, 0, i);outfile.flush();i = infile.read(b);}outfile.flush();}}} catch (IOException e) {// TODO Auto-generated catch blocSystem.exit(1);}}};}
}

关于视频的推流编码封装拉流解码在javacv的仓库上有很多demo，这里不再分享，其中有几点浅薄的经验想与大家分享，目前有三种主流流媒体服务协议，分别为rtmp，rtsp以及HLS。其中，我所用过rtmp以及HLS。

nginx加rtmp插件形成的流媒体服务器

支持直播流转HLS，rtmp点播，rtmp直播：其中根据我的多次尝试，如果在虚拟机建构服务器的前提下，通过内网穿透，有一定几率（直播的情况下）直流会直接断开，由于多次调试和查询无果，以至于一度放弃。在成功拉到流的前提下，（rtmp直播仅开启live选项）延迟为6.7秒，或许是rtmp插件的缓存问题，但nginx的反向代理及负载均衡功能确实很强大。

SRS 简单的rtmp服务器

同样支持上述的功能，不过不存在，由于帧的丢失导致直流的断开情况，很稳定且快速，且为阿里的开源项目，中文文档全面。
RTMP协议下的拉流推流，由本地内网穿透到杭州的服务器，再穿透回来，时间约为3.4秒，与nginx-rtmp约两倍的差距。

尝试通过socket分别传输图像与语音，创建自己的私有协议

语音的编码与传输很快能够通过，然而到图像时，虽然能够拉到流，但是由于javacv的蹩脚，或许是我不够熟练，无法进行更一步的优化，在本地运行服务器，端口转发也会出现闪屏的现象，更别说网络服务器了。
查询调试后发现，原来我发的是一张张图片，也就是i帧，通过javacv的现有的编码器仅能发送推流给rtmp或者本地路径，于是放弃了。。。。后续打算通过c++深入底层，尝试实现私有协议的服务器。
RTMP本质上是将音频封装为flv，这也是flash能够播发rtmp链接的原因，发的是一小段一小段的flv。
HLS本质上是一个目录包含每一个切片，一个切片为一个短小的播放文件，自然播放文件越小，推流就越快，但如果过于小，就会导致解码时间比一个视频播放时间要长，可能会导致缓存区的覆盖，这时就需要设置好缓冲区。

关于文件以及黏包的现象，就可以进行切片，对于文件的中断传输与开始传输可以定义发送关键帧，以及通过MD5效验。