Skip to content

Commit

Permalink
README.md 更新
Browse files Browse the repository at this point in the history
  • Loading branch information
shianqi committed May 7, 2017
1 parent 1f0ba06 commit 122d2d9
Show file tree
Hide file tree
Showing 4 changed files with 39 additions and 10 deletions.
49 changes: 39 additions & 10 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,35 +1,64 @@
# Emotion-Journal
憋了一肚子负面情绪却没处释放?还在到处寻找管理、控制情绪的工具?快来emotion-journal吧

![Emotion-Journal](./font-end/img/logo.gif)

## 创意来源
情绪是一把双刃剑,良好的情绪控制有助于我们健康的生活。很多时候,我们因为外界各种各样的事情产生许许多多的情绪。“病由心生”由此而来。人不可能永远有好心情,生活中既然有挫折、有失败,就会有消极的情绪。所以我们希望推出一款简单,及时,便捷的产品帮助你放松心情以及随时随地监测自己的情绪变化。


## 详情描述
得益于人工智能的发展,我们使用微软认知服务和IBM Watson文本情绪分析,多方面感知用户当前的情绪状态。并在屏幕上实时反馈。由此我们实现了监控单天和单月的情绪控制情况。用户有2种可以选择的模式,下面将分别介绍

1.情绪模仿
* 情绪模仿
用户任意做出表情,我们平台利用摄像头采集数据,接入微软认知服务,实时模仿用户的表情,并反馈在页面中。

2.人机交互
* 人机交互
用户使用英语语音与本平台交流,我们使用流利说语音解析服务分析用户输入,结合IBM Watson文本情感分析服务得到用户表达的情感,传送到我们搭建的图灵机器人API,获得文字输出,结合相应的情绪,显示在页面中。

## 图片展示

![人脸表情识别](./font-end/img/a.gif)
![语音聊天](./font-end/img/b.gif)

## 使用的服务与API
微软认知服务(情绪识别api)
* 微软认知服务(情绪识别api)
* IBM watson 文本情绪识别
* 流利说语音识别服务
* 青云云服务
* 图灵机器人api
* 百度翻译api

IBM watson 文本情绪识别
## 解决的问题

流利说语音识别服务
* 机器人实时模仿用户的表情。
* 机器人与用户语言对话,并根据对话内容反馈表情。
* 憋了一肚子负面情绪却没处释放?还在到处寻找管理、控制情绪的工具?快来emotion-journal吧

青云云服务
## 项目使用指南

图灵机器人api
项目界面有3个可见的交互按钮
* 视频框的打开和关闭
* 情绪模仿/人机交互的切换
* 语音采集
用户打开界面后默认进入情绪模仿功能,页面中的动画表情可以根据用户的表情一起变换。当按下按钮2(情绪模仿/人机交互的切换按钮)进入人机交互的功能,用户按下按钮3开始录音,说一段话(暂时只能输入英语)后按下按钮3结束录音,本平台会根据输入做出相应的回答与表情,在页面中反馈出来。

百度翻译api
## 功能设计说明
项目整体包含2个功能,下面将具体说明:
* 情绪感知与反馈功能
整体过程为:情绪图片捕捉、图片情绪分析、情绪模仿展示
* 人机交互与情绪反馈功能
整体实现步骤为:语音输入、语音转文字、文字情感分析、文字反馈生成、模拟情绪反馈展示
在界面上包括辅助的功能:摄像头打开/关闭 、情绪模仿/人机交互切换 、 语音录制开始与结束

## 解决的问题
憋了一肚子负面情绪却没处释放?还在到处寻找管理、控制情绪的工具?快来emotion-journal吧
## 核心记说说明

本项目的后台部分核心技术主要由:用户脸部图像的情感分析,用户对话文本情感分析,用户对话交互以及CSS3动画展示4个部分组成。

* 用户的脸部情感分析:使用了微软的认知服务中的情感部分,由于需要分析的图像的大小较大,为了加快图像识别的速度,我们团队引入了青云的对象存储服务以及CDN加速服务提高了应用服务器到微软的认知服务器之间的访问速度。
* 用户对话文本情感分析:使用了流利说的语音识别服务获取了用户的语音的文本结果。在文本结果的情感分析分析,使用了IBM Watson的文本的情感分析Tone Analyzer技术。
* 用户对话交互:使用了图灵机器人的对话API以及百度的翻译API完成。
* 大量使用 CSS3 动画绘制机器人表情,并使用 HTML5 Media 技术获取用户的音频和视频。

## 未来发展规划
设计并完善用户注册及登录服务,以便更好得管理、分析用户的情绪状况
Expand Down
Binary file added font-end/img/a.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added font-end/img/b.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added font-end/img/logo.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit 122d2d9

Please sign in to comment.