Фельджандармерия была сформирована при мобилизации германской армии в 1939 г. Ее сотрудниками были преимущественно обладавшие большим опытом бывшие чины гражданской полиции из подразделений гражданской жандармерии (в особенности моторизированной — Моtorisierte Gendarmerie), а также армейские унтер-офицеры. Высшая командная структура фельджандармерии находилась в подчинении Верховного командования сухопутных войск (Ober/commando des Heeres, ОКХ), к которому был прикомандирован старший по званию офицер фельджандармерии. Он находился в непосредственном подчинении генерал-квартирмейстера сухопутных войск и отвечал за все вопросы, касающиеся фельджандармерии, в том числе за работу с личным составом, назначения на должности и т.д. Он отвечал также за назначение обязанностей военной жандармерии и контроль над их выполнением — вплоть до установления правил дорожного
Следующие по уровню командиры состояли при командовании каждой из армий (Агтее Ober/commando). Это были штаб-офицеры, отвечавшие за деятельность фельджандармерии в зоне ответственности каждой из армий. Штаб-офицер контролировал все подразделения фельджандармерии, приданные армии, и отвечал за поддержание порядка и дисциплины, в особенности за обеспечение дорожного движения и порядка на путях следования войск при крупных передислокациях.
Каждая полевая армия вермахта располагала батальоном фельджандармерии {Feldgendarmerie Bafaillon), а каждая дивизия — ротой {Feldgendarmerietrupp). Типичный батальон фельджандармерии периода Второй мировой войны имел следующую структуру:
Группа управления: 1 офицер, 1 старший унтер-офицер, 2 унтер-офицера, 3 рядовых. Транспортные средства: 1 автомобиль повышенной проходимости, 1 небольшой автобус.
Отделение технической поддержки: 1 унтер-офицер, 3 рядовых. Транспортные средства: 1 мотоцикл, 1 автомобиль повышенной проходимости.
Три взвода, в каждом: 1 офицер, 3 унтер-офицера-водителя, 17 унтер-офицеров, 10 рядовых. Транспортные средства: 3 мотоцикла без колясок, 2 мотоцикла с колясками, 8 автомобилей «Кюбельваген».
Группа обеспечения: по одному унтер-офицеру делопроизводителю, технику, оружейнику, повару; по одному рядовому повару, оружейнику, делопроизводителю, сапожнику; 4 рядовых-водителя. Транспортные средства: по 2 двухтонных и трехтонных автомобиля.
Типичная рота фельджандармерии (в данном случае танковая) должна была включать: 1 офицера-командира, 2 офицеров — командиров взводов, 3 унтер-офицера-мотоциклиста, 3 солдата-мотоциклиста, 8 унтер-офицеров-водителей, 4 солдат-водителей, 13 рядовых и 30 унтер-офицеров.
Транспортные средства роты фельджандармерии танковой или моторизованной дивизии должны были располагать: 6 мотоциклами без колясок и 4 — с колясками (на колясках устанавливались пулеметы MG-34 или MG-42); 17 автомобилями повышенной проходимости (обычно «Кюбельвагены»); 2 двухтонными автомобилями (чаще всего тяжелыми автомобилями повышенной проходимости, такими как «Хорьх» или «Штейр» с четырьмя ведущими колесами); и 2 трехтонными грузовиками (как правило, «Опель-блиц» или другой подобный легкий грузовик).
