В генетике поведения животных применяются различные подходы. Одним из наиболее распространенных является селекция животных (чаще всего крыс или мышей) на высокие и низкие показатели поведенческого признака (например, скорости обучения в лабиринте). Проводя искусственный отбор "глупых" и "умных" животных, как правило, удается получить линии, имеющие значительные различия в поведении. На это может потребоваться 10-20 поколений. Часто используют и уже существующие, так называемые инбредные, генетические линии животных, селекция которых велась по признакам, не связанным с поведением. В таком случае в имеющихся линиях проводят тестирование на выявление поведенческих различий и дальнейшее изучение отобранных линий.
Выведение новых линий или выявление различий в поведении не является главной целью большинства работ по генетике поведения. Это лишь предварительный этап. Если он приводит к успеху, это говорит нам лишь о том, что интересующий нас поведенческий признак наследуется, но мы пока не можем ответить на вопрос "как? ". Для ответа на этот вопрос проводят экспериментальные скрещивания животных, имеющих контрастные формы поведения (например, "умных" с "глупыми" или агрессивных с неагрессивными и т.п.). Если признак зависит от небольшого числа генов (от одного до трех), то в результате таких скрещиваний могут быть выявлены доминантный, промежуточный, рецессивный типы наследования или наследование, сцепленное с полом. Если же признак определяется большим числом генов, то необходимо обратиться к методам количественной генетики.
Помимо механизмов наследования, на животных можно изучать и различные эффекты среды, в том числе материнские влияния, эффекты депривации или, наоборот, обогащенной среды на формирование поведения в онтогенезе и т.п. Например, при изучении материнских эффектов мы можем произвольно подбирать мать, вынашивающую или вскармливающую потомство, или пересаживать ядро оплодотворенной яйцеклетки одной матери в цитоплазму другой, что, естественно, абсолютно неосуществимо на человеке. Животные служат удобной моделью для подобных манипуляций.
При изучении мутаций, затрагивающих мозг и поведение, проводится всестороннее изучение мутантных форм, включая морфологические, физиологические, биохимические и молекулярно-генетические исследования. Современный уровень развития биотехнологии позволяет применять новые методы, которые качественно отличаются от традиционных и включают такие приемы, как создание рекомбинантных инбредных линий, химерных и мозаичных животных, генный нокаут и др.
Всю историю становления и развития психогенетики можно условно поделить на пять этапов. Периодизация первых трех этапов была предложена в 1973 г.В. Томпсоном и Г. Уайльдом (Thompson W. R., Wilde G. J. S., 1973).
Первый этап (1865 - начало 1900-х) связан с научной деятельностью Ф. Гальтона и его учеников. В 1865 г. увидела свет первая научная публикация по психогенетике "Наследственный талант и характер". В ней Ф. Гальтон впервые высказал идею о наследуемости психических качеств и о возможности улучшения природы человека, для чего предложил способствовать рождению потомства от одаренных людей. Вслед за этим вышла его знаменитая книга "Наследственный гений" (1869), а также статьи "Люди науки, их воспитание и характер" (1874) и "История близнецов как критерий относительной силы природы и воспитания" (1876).Ф. Гальтоном и его учеником К. Пирсоном были разработаны основные вариационно-статистические подходы, которые и поныне используются в психогенетических исследованиях.
Второй этап - до конца 30-х гг. ХХ столетия - характеризуется интенсивным развитием методологии психогенетики. Близнецовый метод, идея которого впервые была предложена Ф. Гальтоном, окончательно сложился и прочно вошел в практику. Были разработаны надежные методы определения зиготности близнецов (Siemens H., 1927). В 20-е гг. в методический арсенал психогенетики прочно вошел метод приемных детей, который и сейчас, наряду с близнецовым, является одним из основных (Gordon K., 1919; Burks B., 1928).
Благодаря совместным усилиям генетиков и математиков, совершенствовались методы количественной генетики. Это в значительной мере способствовало и развитию психогенетики, поскольку большинство психологических признаков относятся к категории количественных, т.е. требуют измерения и применения вариационно-статистических методов. Такие признаки нельзя было исследовать без создания соответствующих измерительных инструментов, поэтому развитие психогенетики шло параллельно с развитием психодиагностики. Все большее распространение начали получать стандартизованные интеллектуальные и личностные тесты. Были введены в научный обиход такие основополагающие понятия, как "валидность", "надежность", "репрезентативность", "шкалирование". Для оценки степени сходства между родственниками разрабатывались методы корреляционного и регрессионного анализа (К. Пирсон, Р. Фишер, С. Райт). С. Райтом был разработан метод "коэффициентов путей", который и поныне широко применяется в психогенетике для анализа причин и следствий в системе коррелирующих признаков. Были заложены основы дисперсионного и факторного анализа, без которых немыслимы современная психодиагностика и психогенетика. Появилась возможность количественно оценивать относительный вклад наследственности и среды в вариативность психологических признаков. Развивались методы популяционной генетики, без которых психогенетика также не могла обойтись, поскольку изучала причины межиндивидуальной изменчивости в человеческих популяциях.
На третьем этапе (до конца 60-х гг.) психогенетика развивалась экстенсивно. Это был период накопления фактического материала. В генетические исследования включались самые разнообразные характеристики, но доминирующим направлением по-прежнему оставалось изучение роли наследственности и среды в вариативности интеллекта и других когнитивных особенностей. Значительное место занимало изучение наследственных и средовых причин психических заболеваний (в основном шизофрении) и умственной отсталости. Продолжала развиваться генетика поведения животных. В 1960 г. вышла первая обобщающая монография по генетике поведения (J. Fuller и W. Thompson). В этом же году была основана "Ассоциация генетики поведения" ("Behavior Genetics Assotiation"), начал выходить журнал "Генетика поведения" ("Behavior Genetics"). Это означало, что генетика поведения окончательно оформилась как самостоятельная область науки.
Четвертый этап (до конца 80-х гг.) вновь характеризуется смещением акцентов на развитие методологии психогенетики. На первых этапах наиболее распространенным экспериментальным подходом было применение коэффициентов корреляции или конкордантности для оценки сходства между родственниками с дальнейшим вычислением показателя наследуемости (h2) по некоторым простейшим формулам. Получаемые при этом статистические характеристики позволяли примерно оценить относительный вклад наследственных и средовых факторов в формирование межиндивидуальной вариативности изучаемого признака. По мере развития экспериментальных и математических подходов обнаружились некоторые недостатки и ограничения основных методов, применяемых в психогенетике. В первую очередь это касалось наиболее распространенного во всем мире метода близнецов. Возникла необходимость совершенствования основных экспериментальных схем и методов статистической обработки, поскольку ставились под сомнение получаемые результаты. Стало ясно, что для того чтобы преодолеть возникший кризис, необходимо включать в исследования значительное количество родственников различной степени родства, более тщательно анализировать особенности среды и проводить возрастные, в том числе и лонгитюдные, исследования. Все это требовало обработки значительных массивов экспериментальных данных. Без совершенствования математического аппарата психогенетики и развития машинной обработки данных это было бы невозможно. Создавшаяся ситуация была разрешена благодаря компьютеризации науки. Быстрое совершенствование компьютерных технологий подтолкнуло исследователей к разработке принципиально новых подходов. В этот период начали интенсивно развиваться новые генетико-математические методы (структурное моделирование, метод путей). Психогенетика получила для своих исследований мощный инструмент, который позволял в короткие сроки проводить обработку значительных массивов данных и проверять самые сложные гипотезы. Одной из наиболее популярных компьютерных программ является LISREL (LIneal Structural RELation).
В этот же период происходит некоторое смещение доминирующих направлений. Неослабевающий долгие годы интерес к исследованию наследуемости интеллекта уступает место другим характеристикам человеческой индивидуальности (когнитивным стилям, темпераменту, личности, психофизиологическим особенностям, различным нарушениям развития). Все более тщательно изучаются различные аспекты средовых влияний, создаются специальные методики для изучения семейной среды. Во всем мире начинают закладываться лонгитюдные проекты исследования близнецов и приемных детей, позволяющие проследить траектории развития и генетическую преемственность.