Emotion-Journal

憋了一肚子负面情绪却没处释放？还在到处寻找管理、控制情绪的工具？快来emotion-journal吧

创意来源

情绪是一把双刃剑，良好的情绪控制有助于我们健康的生活。很多时候，我们因为外界各种各样的事情产生许许多多的情绪。“病由心生”由此而来。人不可能永远有好心情，生活中既然有挫折、有失败，就会有消极的情绪。所以我们希望推出一款简单，及时，便捷的产品帮助你放松心情以及随时随地监测自己的情绪变化。

详情描述

得益于人工智能的发展，我们使用微软认知服务和IBM Watson文本情绪分析，多方面感知用户当前的情绪状态。并在屏幕上实时反馈。由此我们实现了监控单天和单月的情绪控制情况。用户有2种可以选择的模式，下面将分别介绍

• 情绪模仿 用户任意做出表情，我们平台利用摄像头采集数据，接入微软认知服务，实时模仿用户的表情，并反馈在页面中。

• 人机交互 用户使用英语语音与本平台交流，我们使用流利说语音解析服务分析用户输入，结合IBM Watson文本情感分析服务得到用户表达的情感，传送到我们搭建的图灵机器人API，获得文字输出，结合相应的情绪，显示在页面中。

图片展示

使用的服务与API

• 微软认知服务(情绪识别api)
• IBM watson 文本情绪识别
• 流利说语音识别服务
• 青云云服务
• 图灵机器人api
• 百度翻译api

解决的问题

• 机器人实时模仿用户的表情。
• 机器人与用户语言对话，并根据对话内容反馈表情。
• 憋了一肚子负面情绪却没处释放？还在到处寻找管理、控制情绪的工具？快来emotion-journal吧

项目使用指南

项目界面有3个可见的交互按钮

• 视频框的打开和关闭
• 情绪模仿/人机交互的切换
• 语音采集 用户打开界面后默认进入情绪模仿功能，页面中的动画表情可以根据用户的表情一起变换。当按下按钮2（情绪模仿/人机交互的切换按钮）进入人机交互的功能，用户按下按钮3开始录音，说一段话（暂时只能输入英语）后按下按钮3结束录音，本平台会根据输入做出相应的回答与表情，在页面中反馈出来。

功能设计说明

项目整体包含2个功能，下面将具体说明：

• 情绪感知与反馈功能 整体过程为：情绪图片捕捉、图片情绪分析、情绪模仿展示
• 人机交互与情绪反馈功能 整体实现步骤为：语音输入、语音转文字、文字情感分析、文字反馈生成、模拟情绪反馈展示 在界面上包括辅助的功能：摄像头打开/关闭 、情绪模仿/人机交互切换 、 语音录制开始与结束

核心记说说明

本项目的后台部分核心技术主要由：用户脸部图像的情感分析，用户对话文本情感分析，用户对话交互以及CSS3动画展示4个部分组成。

• 用户的脸部情感分析：使用了微软的认知服务中的情感部分，由于需要分析的图像的大小较大，为了加快图像识别的速度，我们团队引入了青云的对象存储服务以及CDN加速服务提高了应用服务器到微软的认知服务器之间的访问速度。
• 用户对话文本情感分析：使用了流利说的语音识别服务获取了用户的语音的文本结果。在文本结果的情感分析分析，使用了IBM Watson的文本的情感分析Tone Analyzer技术。
• 用户对话交互：使用了图灵机器人的对话API以及百度的翻译API完成。
• 大量使用 CSS3 动画绘制机器人表情，并使用 HTML5 Media 技术获取用户的音频和视频。

未来发展规划

设计并完善用户注册及登录服务，以便更好得管理、分析用户的情绪状况

将平台移植到移动端，便于用户随时监控情绪，查看统计状态