Вооружение армейских жандармов первоначально было сведено к ручному оружию. Использовались разнообразные автоматические пистолеты: унтер-офицеры и солдаты обычно располагали «Вальтерами» Р38 или «Люггерами» Р08, тогда как офицеры предпочитали более компактные «Вальтер» РР или РРК. Большинство унтер-офицеров имело также пистолеты-пулеметы МР-38/40. Хотя на некоторых фотографиях военной поры можно увидеть жандармов, вооруженных карабинами «Маузер» Каг98к, это оружие особенного распространения не имело.
Отличные пулеметы MG-34 или MG-40 с ленточным питанием использовались в подразделениях фельджандармерии для установки на транспортных средствах и для защиты блокпостов. На последних этапах войны многим военным жандармам пришлось принимать участие в боях; при этом широкое распространение получили смертоносные средства борьбы с танками — «Панцерфаусты» (в качестве примера мы приводим рассказ Гейнца Хойера об успешной борьбе с советскими танками во время битвы за Берлин).
Бывшие полицейские, переведенные в фельджандармерию, получали соответствующие воинские звания, сохраняя свои прежние звания, полученные в полиции. Практически фельджандармерия в армии выполняла те же обязанности, что и полиция порядка (Ordnungspolizei) в гражданской среде. Среди многочисленных и разнообразных задач фельджандармерии можно привести следующие (причем этот список отнюдь не полон): контроль дорожного движения; поддержание воинского порядка и дисциплины; сбор и сопровождение военнопленных; сбор и возвращение в части отставших; предотвращение грабежей; надзор и контроль гражданского населения на оккупированных территориях; разоружение гражданского населения; обыск взятых в плен солдат неприятеля с целью обнаружения документов, карт или иной полезной информации; проверка документов у солдат, находящихся в увольнении или следующих к месту службы; сбор вражеских пропагандистских листовок и предотвращение их распространения; обеспечение патрулирования улиц на оккупированных территориях; предотвращение саботажа; контроль за эвакуированными; деятельность по поддержанию безопасности во взаимодействии с тайной полевой полицией — Geheime Feldpolizei (борьба со шпионажем, слежка за политически неблагонадежными лицами и т.п.); арест дезертиров; пограничный контроль; борьба с партизанами. После оккупации Чехословакии и Польши были организованы учебные центры фельджандармерии в Праге и Литцманнштадте-Гёрнау.
Чины фельджандармерии имели право следовать через запретные зоны, блокпосты, караульные посты и так далее, а также при необходимости проводить розыск военнослужащих и военного имущества. При проведении подобных мероприятий военным жандармам должна была оказываться необходимая помощь. В случае возникновения разногласий военный жандарм имел преимущество перед любым другим военнослужащим того же звания, независимо от рода войск. Фельджандарм, как и военный полицейский любой другой армии, имел в глазах военнослужащих вермахта репутацию упрямого службиста, всегда готового придраться к «безвинному». Но все же не вызывает сомнений огромное значение военных жандармов в обеспечении контроля и безопасности транспортных путей. В этом отношении фельджандармерия не отличается от военной полиции других стран. Ни одна армия не может функционировать в отсутствие безопасных путей снабжения и действенного транспортного контроля.
В конце войны многие подразделения фельджандармерии использовались как боевые части, действуя в обороне и бросаясь в безнадежные контратаки, особенно на Восточном фронте. Некоторые из военных жандармов в те дни получили награды за храбрость. Золотым Немецким крестом были награждены майор Вернер Вебер (682-й батальон фельджандармерии); лейтенант резерва Петер Шольц (1544-я рота фельджандармерии); обер-ефрейтор Ганс Шлоттер (2-й батальон железнодорожной патрульной службы); обер-лейтенант резерва Йоханнес Кандзиора (2-я рота 531 -го батальона фельджандармерии).
