小刚面向西南方向时，他的背面朝向的是与西南方向相对的方向。在地理方位中，当一个方向确定时，与之相对的方向是其180度角的方向。

我们知道四个基本方位顺时针依次是：东、南、西、北，每个基本方位间的角度都是90度。

如果小刚面向西南方向，那么他面向的是南和西之间的方向，即南偏西45度或西偏南45度的方向。因此，他的背面应该是与这个方向相对的方向，即北偏东45度或东偏北45度的方向。

所以，小刚面向西南方向时，他的背面朝向的是东北方向。这是因为西南方向和东北方向在方位上是相对的，它们之间的角度正好是180度。

总结来说，小刚面向西南方向时，他的背面朝向的是东北方向。这个结论是通过分析方位的相对关系得出的，确保了答案的准确性和完整性。