Как посчитать долю в квартире в данном случае?

Квартира в натуре не делится, если у нее нет отдельных входов, выходов, а такое бывает только в объединенных квартирах. Поэтому доли и есть доли в указанном размере. При желании можно определить порядок пользования, он не всегда с точностью совпадет с долями, но там возможна компенсация пользования. вам нужно смотреть сколько жилой площади и определять по размерам комнат. Насчет выделения брату 5 метров, то непонятно зачем и идет ли речь об общей или жилой площади. Если это опека и по другой сделке разрешает так сделать, то вероятно от общей площади. Это около 1/8 доли