Формування понятійного мислення, у тому числі релігійних понять і уявлень, Батай зв'язує з перетворювальною діяльністю людини, опираючись на ідею Маркса про обумовленість свідомості людини цією діяльністю. Формування понятійного мислення, на думку Батая, сприяло становленню суспільної людини й втраті іманентного стану, властивого тварині. Не маючи виразної свідомості, тварина, на думку Батая, нічого не сприймає в тимчасовій довжині, і тому споживається іншою твариною так, начебто її не було у світі.
Здатність виготовити знаряддя праці за своїм розсудом в відповідності із наміченими результатами свідчить, на думку Батая, про встановлення порядку "світу речей", який мислитель розглядає в якості антипода світу тварин. В "світі речей" свідомість знаходить виразність, дійсність сприймається в часі, виникає відношення супідрядності. "Світ речей" накладає відбиток на того, хто його створив. Знаряддя праці перетворює як природу, так і людину. Вслід за Фейєрбахом Батай стверджує, що "якщо людина й скоряє світ, то лише в тому ступені, у якому вона випустить із уваги, що цей світ і є вона сама: вона відкидає цей світ, але виходить, що відкидає самого себе". Але на відміну від Фейєрбаха Батай зводить буття не тільки до його матеріальних проявів. Релігійні уявлення, на думку мислителя, формувалися в відповідності з потребами, обумовленими способом життя людей в "світі речей". Поява уявлень про "Вищу Істоту", згідно Батая, продиктовано потребою визначити якусь цінність, що перевершувала б інші цінності. Але подібне прагнення до звеличення, на думку мислителя, навпроти, привело до приниження "Вищої Істоти", оскільки воно було уособлено. "Уособлення "Вищої Істоти" об'єктивно приводить до того, що її положення у світобудові виявляється в ряді інших уособлених сутностей однієї з нею природи, які сполучають у собі ознаки як суб'єктів, так і об'єктів". [35, 81]
Уявлення про "Вищу Істоту", на думку Батая, має двоїстий характер. З одного боку, мислитель, слідом за Фейєрбахом, вважає, що людина вподібнює "Вищу Істоту" самому собі, а з іншої сторони, думає, що вона "несе в собі божественні риси знеособленого смутно помітного й іманентного існування". Батай стверджує, що поняття "Вищої Істоти" зводить невимовну й безмежну у своїх проявах божественну реальність до об'єкта, наділеного відмінними рисами й чітко помітними межами. Під впливом зміни суспільного укладу поняття "Вищої Істоти", що виникло в первісних народів, на думку мислителя, трансформувалося в поняття християнського Бога. Розкриваючи зв'язок християнства з первісними віруваннями, Батай критикує ідею християнського Бога. Наділення божественного певними якостями применшує, з точки зору Батая, його природу. Християнські уявлення про "Вищу Істоту", на думку Батая, свідчать не про зрілість світовідчування християн, а про "цілком певне й нічим не заповнене ослаблене сприйняття світу, властиве тваринам", подібні уявлення зародилися ще в первісних народів як перше усвідомлення свого Бога. Батай критикує властиве християнству протиставлення духу й тіла. Це уявлення, на думку мислителя, виникло з невиправданого протиставлення ілюзорного містичного світу, населеного безтілесними парфумами, і світу світського, що складається з речей і тіл.
Дуалістичне світосприймання, на думку Батая, формувалося по мірі взаємопроникнення суспільної моралі й уявлень про божественний світ. Духовний світ, з погляду мислителя поступово став розглядатися як божественний, набуваючи при цьому раціональність і моральне забарвлення. Матеріальному світу почали приписувати поділ на пагубне й доброчесне. Божество в християнстві наділили здатністю впливати на дійсність, що вело до підпорядкування сакрального світу реальному. Християнство, з погляду Батая, за допомогою моралі підкоряє реальну світобудову універсальному порядку розуму.
Опираючись на ідею Фейєрбаха про те, що в християнстві обожнюються духовні сили людини, Батай стверджує, що наділення християнського Бога здатністю діяти раціонально, виходячи з моральних міркувань, відповідає потребам реального світу й веде від світу інтимного. Іманентним для людини стає реальний світ. Людина не знаходить в християнських обрядах втраченого інтимного навіть на час їхнього здійснення. Дуалістичний світогляд, на думку мислителя, не дозволяє людині піднятися над "світом речей", змушуючи розум покоритися верховенству зла, що проривається в сплесках насильства.
У роботі "Внутрішній досвід" (1943), що ввійшла першою частиною в "Суму атеології", Батай критикує християнську мораль порятунку. Мислитель будує заперечливу саму себе теологію - атеологію, виходячи з передумови про вичерпаність традиційних релігій, у яких Батай, слідом за просвітниками, бачить у першу чергу засіб поневолення. Він формулює ряд принципів, на яких базується атеологія. [35, 84]
Перший принцип атеології - це звернення до "внутрішнього досвіду", який припускає відмову від існуючих авторитетів і цінностей, які, на думку філософа, для більшості людей не мають змісту. Батай намагається прорватися до невимовного, у зв'язку із чим у його концепції проявляються риси, властиві версіям негативної теології. Фокін справедливо вподібнює "внутрішній досвід" Батая руху свідомості за межі самого себе, від відомого до невідомого, від внутрішнього до зовнішнього, від життя до смерті. Основою досвіду Батай робить незнання. Мислитель уникає всіх устояних положень і раніше отриманих відповідей. Досвід позбавлений моральних, естетичних, практичних вимірів. Ані Бог, ані пізнання, ані буддійське рятування від страждань не є для Батая переконливими цілями. Екстаз, пережитий у досвіді, на думку Батая, відрізняється від християнської любові. Любов має на увазі володіння, - для неї необхідний об'єкт, який володіє суб'єктом. Саме по собі володіння, на думку мислителя, припускає насильство. Воно підкоряється диктату розуму. Не погоджуючись із насильством, що захлиснуло Європу в ХХ столітті, Батай заходить невиправдано далеко, вбачаючи його прояви навіть у християнській любові. У проголошуваному мислителем досвіді "немає більше ані суб'єкта, ані об'єкта, є зяючий пролом між ними".
Другим принципом атеології Батая є відмова від релігійної ідеї порятунку й всіх супутніх їй надій. Філософ викриває ідею порятунку як вершину будь-якого проекту. Батай гостро критикує протипоставлену ним авторитету й цінності внутрішнього досвіду християнську мораль порятунку.
Третім принципом атеології Батай називає самооспорювання. Мислитель протиставляє свою концепцію догматизму християнства, який стверджує, на думку мислителя, субстанціональність і одиничність кожної особистості. Людське "Я", пише Батай, не зводиться до якоїсь певної й незмінної єдності. Мислитель, слідом за Ніцше, вважає, що християнство відбиває сподівання слабких і принижених людей. Разом з тим, на думку Батая, не що інше, як крайня приниженість, може стати заставою непомірної гордині, почуття вибраності. При цьому Батай, будуючи атеологію, сам підносить свою особистість на пінакль, тобто туди, де суверенно розташовувалася вища мета християнського знання. Мислитель думає, що "внутрішній досвід вимагає, щоб той, хто відчуває його, для початку підніс себе до небес". Але пінакль є тільки вихідною точкою зору Батая. У цьому місці досвіду мислитель уподібнює себе християнському Богові, запитуючи: "Якби Бог був, чи не невдача не бути ним?" Розташувавшись на вершині, філософ не звертається до Бога, шукаючи в нього відповіді на хвилюючі його питання, хоча до цього, здавалося б, все розташовує: "Зі мною, ідіотом, Бог говорить із вуст у вуста!", але відвертає свою думку від традиційних форм релігійного знання. [35, 84-85]
Батай критикує догматичні передумови, які задають досвіду неналежні межі: той, хто знає, не може вийти за обрій знаного. Бог, Абсолют, Основа світу, визнані теологією, згідно Батая, - усього лише категорії розуму. На місці незбагненної невідомості виникає мертвий об'єкт теології, якому невідомість підкоряється, "тому що у вигляді Бога темна невідомість, що розкриває екстаз, поневолює себе завданням мого поневолення". Прагнення до пізнання Бога, навіть позбавленого форми й модусу, є зупинкою на шляху до невідомого.