PC传输图片到Hololens

从 PC 端传输图片到 Hololens 显示。

在 Unity 中开发， PC 端的应用可以发布到其它平台，这里只在 unity 工程中运行了测试。

利用 HoloToolKit - Sharing 进行消息传输。

消息处理在 CustomMessages.cs 中定义

先注册发送图片消息的 ID: Img

public enum TestMessageID : byte{Img,Max}

定义发送图片的函数 SendImg(FileStream ImgFs)

这里的图片消息输入是文件流，图片转换为文件流的操作在后文发送方的脚本中。

 public void SendImg(FileStream ImgFs){// If we are connected to a session, broadcast our head infoif (serverConnection != null && serverConnection.IsConnected()){// Create an outgoing network message to contain all the info we want to sendNetworkOutMessage msg = CreateMessage((byte)TestMessageID.Img);try{//开辟一个字节组存文件流byte[] ImgFsSize = new byte[ImgFs.Length];
//读取数据流
BinaryReader strread = new BinaryReader(ImgFs);strread.Read(ImgFsSize, 0, ImgFsSize.Length);
//消息以字节组的形式写入Array
uint bytesize = (uint)ImgFsSize.Length;msg.Write(bytesize);msg.WriteArray(ImgFsSize, bytesize);}
catch (SocketException e){Debug.Log(e.Data.ToString());//关闭文件流ImgFs.Dispose();}// Send the message as a broadcast, which will cause the server to forward it to all other users in the session.serverConnection.Broadcast(msg,MessagePriority.Immediate,MessageReliability.UnreliableSequenced,MessageChannel.Avatar);}}

消息发送方 PC

挂载在图片发送 Button 上的脚本：

//文件名
public string ImgName;
//文件存放路径
public string desPathName;
......
void Start(){//待发送的图片放入 unity 资源文件 Resources 中desPathName = Application.dataPath + "/Resources/" + ImgName;}

注意：文件名 ImgName 在实例化时要 包含后缀（.png ，.jpg 等）。

mySendImg() 为图片发送 Button 的点击响应函数：

    public void mySendImg(){Debug.Log("start to send image: " + desPathName);
//将图片转换为文件流FileStream fs = new FileStream(desPathName,FileMode.OpenOrCreate,FileAccess.Read);
//发送图片消息
CustomMessages.Instance.SendImg(fs);}

消息接收方 Hololens

该脚本挂载在用于显示图片的Cube上：

using HoloToolkit.Sharing;
using HoloToolkit.Sharing.Tests;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using UnityEngine;
using System;public class IllustrateImageEvent : MonoBehaviour
{// Use this for initializationvoid Start(){//一开始隐藏显示图片的cubethis.GetComponent<Renderer>().enabled = false;
//接收图片消息CustomMessages.Instance.MessageHandlers[CustomMessages.TestMessageID.Img] = OnImgReceived;}void Update(){}private void OnImgReceived(NetworkInMessage msg){long userID = msg.ReadInt64();
//接收到的array的长度，之后写入要用long bytesSize = msg.ReadInt64();try{         //开辟空间存储图片byte[] bytes = new byte[(uint)bytesSize];//读取数据写入bytesmsg.ReadArray(bytes, (uint)bytesSize);Texture2D tex = new Texture2D(2, 2);//从bytes中读取数据保存到Texture2D  ，如果成功，就显示为cube的textureif (tex.LoadImage(bytes)){GetComponent<Renderer>().enabled = true;GetComponent<Renderer>().material.mainTexture = tex;}else{   //读取不成功，cube显示为红色GetComponent<Renderer>().enabled = true;GetComponent<Renderer>().material.color = Color.red;}}catch (Exception e){Debug.Log(e.Data.ToString());}}
}

总结

1. 关键点是 msg.WriteArray 。

一般利用 socket 进行图片传输是写成 byte 而不是 byte[ ] ，之前一直在尝试把 byte[ ] 装换为 byte，后来发现 HoloToolKit - Sharing 中有读写字节组的方法，注意还需要读写组的长度。

2. 之前尝试 @安小七Go 在《Unity3d使用socket传输图片》中的方法，发现 System.Drawing.dll 只能用于PC平台？至少发布到 uwp 不可用。

3. UWP 平台 + socket 传输消息＋[ Hololens + Unity ]　相关：

Building Windows Universal Games with Untiy

Hololens: How to deploy and read data file with app