Вариативное подкрепление поведения

стырено у фрицморгена:

Когда человек получает что-либо нахаляву: выигрыш в лотерею, пригоршню жетонов в лотке у «однорукого бандита», новый мобильник от бабушки или «выстрелившую» в сто раз акцию стартапа, у него в голове образуется очень опасное заблуждение: «деньги можно заработать, не работая». Следующий раз, когда у нашего героя возникает желание поправить свои финансовые дела, он вспоминает о выигрыше и пытается воспроизвести удачную ситуацию. Покупает ещё один лотерейный билет, скармливает «однорукому бандиту» ещё один жетон, ещё раз тыкается заплаканной мордочкой в плечо бабушке.

Вторая попытка, успеха, разумеется, не приносит, равно как и третья, однако рано или поздно выигрыш таки выпадает на табло: может быть, небольшой. Тут-то капкан и захлопывается окончательно.

Карен Прайор в книге «Не рычите на собаку» объясняет, как работает этот механизм «дрессировки»:

Если у вас машина новая и всегда хорошо заводилась, а однажды, когда вы сели в неё, повернули ключ, и она не завелась, то вы, может быть, и попробуете завести её ещё несколько раз, но скоро решите, что что-нибудь не в порядке, и позвоните в гараж. Поведение, состоящее в поворачивании ключа, при отсутствии ожидаемого немедленного подкрепления быстро угаснет. С другой стороны, если у вас вместо машины старая консервная банка, которая ещё ни разу не заводилась с первой попытки, и каждый раз требуется целая вечность для того, чтобы привести её в движение, вы можете продолжать попытки её завести в течение получаса; ваше поведение по поворачиванию ключа происходит в низковероятностном режиме подкрепления и поэтому сильнейшим образом поддерживается.

Если давать дельфину рыбку за каждый прыжок, то скоро прыжки станут невысокими, небрежными, лишь бы отделаться. Если теперь перестать давать рыбу, дельфин тут же перестает прыгать. Но, если после того как животное научилось прыгать за рыбку, начать подкреплять первый прыжок, затем третий и так далее наугад, поведение будет поддерживаться на более высоком уровне: не получив подкрепления, животное станет прыгать чаще, стараясь угадать счастливый номер, и прыжки могут даже усилиться…

Действенность вариатавного подкрепления лежит в основе всех азартных игр. Если каждый раз, опустив в автомат 5 центов, будете получать десять, то скоро вы потеряете к этому интерес. Да, вы будете делать деньги, но какой это нудный способ! Людям нравится играть с автоматом именно потому, что невозможно предугадать заранее, то ли ничего не получишь, то ли какую-то мелочь, то ли сразу кучу денег, и когда именно будет это подкрепление (это может быть только один самый первый раз). Почему одни люди втягиваются в азартную игру, а другие могут поиграть и бросить, это уже другой вопрос, но для тех, кто попался на крючок, этим крючком стал вариативный режим положительного подкрепления. Чем длительнее интервалы между подкреплениями в вариативном режиме, тем сильнее он стимулирует поведение. Однако режимы с длительными интервалами работают против вас, когда вы пытаетесь угасить поведение. Если поведение не подкреплять совсем, то скоро появится тенденция к его угасанию; но если оно все-таки время от времени подкрепляется — неважно сколь эпизодично — одна сигарета, одна рюмка, одна поблажка ворчуну или нытику — и поведение вместо того, чтобы угасаться, может быть значительно усилено режимом с длительными интервалами между подкреплениями.