在本教程中，我们将在 Raspberry Pi 4 上实现一个情绪识别系统（也就是面部表情识别系统）。核心思路是利用预训练模型，从实时视频流中识别出人的面部表情。训练模型用到的数据集是 FER2013，网络结构则是一个类似 VGG 的卷积神经网络（CNN）。
面部表情识别系统的应用场景其实相当广泛。它可以用于研究或分析人类的情绪状态；不少公司把它整合到内部系统中，用来监测员工的抑郁倾向；一些游戏公司也在尝试用这个技术来记录玩家在游戏过程中的满意度。接下来，我们就在 Raspberry Pi 上构建一个既简单又实用的表情识别系统。
在树莓派上执行面部表情识别的步骤
整个实现过程可以拆解为三个关键环节：
1. 检测输入视频流中的人脸。
2. 找到人脸的感兴趣区域（ROI）。
3. 应用面部表情识别模型，预测出人的表情。
这里我们定义了六个类别：愤怒、恐惧、快乐、中性、悲伤、惊喜。最终预测的结果会归属于其中之一。事实上，Raspberry Pi 之前已经用在不少图像处理项目上，比如面部标志检测和人脸识别，有兴趣的话也可以翻翻看。
面部表情识别所需的组件
这个项目涉及的硬件很少，只需要：
- Raspberry Pi（推荐 4 代）
- Pi 摄像头模块（或者 USB 摄像头）
软件方面，核心就是在 Pi 上安装带 OpenCV 的环境。OpenCV 负责数字图像处理，这部分的常见应用还包括物体检测、人脸识别和人数统计。
在树莓派 4 上安装 OpenCV
安装 OpenCV 和其他依赖项之前，先把 Raspberry Pi 系统更新到最新版本：
```
sudo apt-get update
```
然后安装 OpenCV 所需的依赖包：
```
sudo apt-get install libhdf5-dev -y
sudo apt-get install libhdf5-serial-dev -y
sudo apt-get install libatlas-base-dev -y
sudo apt-get install libjasper-dev -y
sudo apt-get install libqtgui4 -y
sudo apt-get install libqt4-test -y
```
最后用 pip 安装 OpenCV：
```
pip3 install opencv-contrib-python==4.1.0.25
```
在树莓派 4 上安装 TensorFlow 和 Keras
先装必要的库：
```
sudo apt-get install python3-numpy
sudo apt-get install libblas-dev
sudo apt-get install liblapack-dev
sudo apt-get install python3-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install gfortran
sudo apt-get install python3-setuptools
sudo apt-get install python3-scipy
sudo apt-get update
sudo apt-get install python3-h5py
```
之后用 pip 安装 TensorFlow 和 Keras（如果默认 Python 环境是 Python3，就用 pip3）：
```
pip3 install tensorflow
pip3 install keras
```
为面部表情识别编程 Raspberry Pi
项目目录的完整代码可以从官方链接下载（略）。这里我们重点解释代码的关键部分，方便理解。
下载的项目文件夹包含一个子文件夹（Haarcascades）、一个 Python 文件（emotion1.py）和一个预训练模型（ferjj.h5）。
先导入必要的包。注意这里使用的是 TensorFlow API 来调用 Keras 库。
```python
from tensorflow.keras import Sequential
from tensorflow.keras.models import load_model
import cv2
import numpy as np
from tensorflow.keras.preprocessing.image import img_to_array
```
接着加载预训练模型，并创建一个字典，将标签分配给六个类别：
```python
class_labels = {0: 'Angry', 1: 'Fear', 2: 'Happy', 3: 'Neutral', 4: 'Sad', 5: 'Surprise'}
classes = list(class_labels.values())
```
提供 Haarcascade 分类器的路径：
```python
face_classifier = cv2.CascadeClassifier('./Haarcascades/haarcascade_frontalface_default.xml')
```
设计一个函数，用来在检测到的人脸框上叠加文字标签：
```python
def text_on_detected_boxes(text, text_x, text_y, image, font_scale=1,
font=cv2.FONT_HERSHEY_SIMPLEX,
FONT_COLOR=(0, 0, 0),
FONT_THICKNESS=2,
rectangle_bgr=(0, 255, 0)):
(text_width, text_height) = cv2.getTextSize(text, font, fontScale=font_scale, thickness=2)[0]
box_coords = ((text_x-10, text_y+4), (text_x + text_width+10, text_y - text_height-5))
cv2.rectangle(image, box_coords[0], box_coords[1], rectangle_bgr, cv2.FILLED)
cv2.putText(image, text, (text_x, text_y), font, fontScale=font_scale, color=FONT_COLOR, thickness=FONT_THICKNESS)
```
在图像上测试我们的面部表情识别
`face_detector_image(img)` 函数负责处理静态图像。它先将图像转为灰度，然后用分类器检测人脸，提取 ROI，并返回相关信息。
```python
def face_detector_image(img):
gray = cv2.cvtColor(img.copy(), cv2.COLOR_BGR2GRAY)
faces = face_classifier.detectMultiScale(gray, 1.3, 5)
if faces is ():
return (0, 0, 0, 0), np.zeros((48, 48), np.uint8), img
allfaces = []
rects = []
for (x, y, w, h) in faces:
cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)
roi_gray = gray[y:y + h, x:x + w]
roi_gray = cv2.resize(roi_gray, (48, 48), interpolation=cv2.INTER_AREA)
allfaces.append(roi_gray)
rects.append((x, w, y, h))
return rects, allfaces, img
```
接下来，把 ROI 喂给模型进行预测，并将结果叠加到图像上。
```python
def emotionImage(imgPath):
img = cv2.imread(imgPath)
rects, faces, image = face_detector_image(img)
i = 0
for face in faces:
roi = face.astype("float") / 255.0
roi = img_to_array(roi)
roi = np.expand_dims(roi, axis=0)
preds = classifier.predict(roi)[0]
label = class_labels[preds.argmax()]
label_position = (rects[i][0] + int((rects[i][1] / 2)), abs(rects[i][2] - 10))
i = +1
text_on_detected_boxes(label, label_position[0], label_position[1], image)
cv2.imshow("Emotion Detector", image)
cv2.waitKey(0)
cv2.destroyAllWindows()
```
视频流上的面部表情识别
`face_detector_video(img)` 函数用于视频流。它同样先灰度化，再调用分类器检测人脸，最后返回坐标、ROI 和原帧。
```python
def face_detector_video(img):
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_classifier.detectMultiScale(gray, 1.3, 5)
if faces is ():
return (0, 0, 0, 0), np.zeros((48, 48), np.uint8), img
for (x, y, w, h) in faces:
cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), thickness=2)
roi_gray = gray[y:y + h, x:x + w]
roi_gray = cv2.resize(roi_gray, (48, 48), interpolation=cv2.INTER_AREA)
return (x, w, y, h), roi_gray, img
```
下面这个函数将模型应用于视频流的每一帧，并实时显示预测结果。
```python
def emotionVideo(cap):
while True:
ret, frame = cap.read()
rect, face, image = face_detector_video(frame)
if np.sum([face]) != 0.0:
roi = face.astype("float") / 255.0
roi = img_to_array(roi)
roi = np.expand_dims(roi, axis=0)
preds = classifier.predict(roi)[0]
label = class_labels[preds.argmax()]
label_position = (rect[0] + rect[1]//50, rect[2] + rect[3]//50)
text_on_detected_boxes(label, label_position[0], label_position[1], image)
fps = cap.get(cv2.CAP_PROP_FPS)
cv2.putText(image, str(fps), (5, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)
else:
cv2.putText(image, "No Face Found", (5, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2)
cv2.imshow('All', image)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
```
主函数中，可以选择运行视频模式或图像模式。如果要用图像识别，注释掉前两行，并取消后面两行的注释，同时提供图片路径。
```python
if __name__ == '__main__':
camera = cv2.VideoCapture(0) # 如果用USB摄像头，把0改成1
emotionVideo(camera)
# IMAGE_PATH = "provide the image path"
# emotionImage(IMAGE_PATH)
```
在 Raspberry Pi 上测试我们的面部表情识别系统
启动脚本之前，先把 Pi 摄像头模块正确连接到 Pi，就像下面这样：
确认摄像头正常工作后，运行 Python 脚本。你会看到一个弹出窗口，显示实时视频源。一旦 Pi 检测到面部表情，就会用绿色框标出，并在框上方显示对应的情绪标签。
