第一次世界大战开始，维特根斯坦返回了奥地利，作为公民应征入伍。在战争期间，他依旧坚持哲学思考和创作。他在自己的背包里装入了一包纸，他带着走进了战壕，只要有空，他就继续进行哲学创作。不久，他被意大利人俘获。在监狱里他继续进行着思考，作为战俘的他完成了《逻辑哲学论》的写作。
《逻辑哲学论》只有仅仅几百页长，由7个命题组成，每个命题的下面又写上对该命题的评注，还有对评注的评注，甚至对评注的评注作出的评注。例如，他的第一页是这么开始的：
“1.世界是所发生的一切。
1.1世界是事实的总体，而不是事物的总体。
1.11世界为诸命题所规定，为它们即全部事实所规定。
1.12因为事实的总体规定那发生的事情，也规定那所有未发生的事情。
1.13在逻辑空间中的诸事实就是世界。
1.2世界分解为诸事实。
1.21每项事情可以发生或者不发生，其余的一切则保持原样。
2.发生的事情即事实，就是诸事态的存在。”
这样的写作格式不论在当时还是现代都显得十分独特，但这并不影响这部著作成为影响整个世界的伟大作品。在这部作品中，维特根斯坦表达了这样的观点：对于世界，我们是可以用严格的逻辑描述进行逻辑表达的，而我们的语言就是世界的反映。而对于不可言说的事物，譬如上帝，我们应当保持沉默。
关于这部在监狱写成的著作，它的出版还有一个故事。维特根斯坦在发表他早期的代表作《逻辑哲学论》的时候，想请他的老师罗素写一篇导言，于是就把原稿交给了他。罗素很高兴地答应了。但当罗素如约把导言交给维特根斯坦后，经过仔细的阅读，维特根斯坦断定罗素没有理解自己的哲学思想。于是他给罗素写了封信，在信中说：
“亲爱的罗素教授：
我觉得您写的那篇导言是在没有完全理解我的哲学思想的条件下写的。因此，我认为它不能够和我的著作一起刊印出版。尤其是它不能被译为德文出版，因为一旦您的英文风格的文采被去掉，那么这篇序言就显得十分肤浅，并且充满了误解。”
为此，他拒绝将序文和原文一起付印，结果出版商也因此拒绝出版他的书。以至于直到三年后，这本书才得以出版。
完成了这部著作后，维特根斯坦认为他已经解决了所有的哲学问题，于是怀着贵族式的热忱前往奥地利南部山区，投入格律克尔倡导的奥地利学校改革运动，成为一名小学教师。有着理想主义追求的维特根斯坦在这里过着苦行僧般的生活，对学生也充满了热情，然而却被无法理解的家长们视为“疯狂的家伙”。据说他还提出收养其中一个或两个学生的要求，但却被家长们断然拒绝了。直到后来，他逐渐对自己的观点产生了怀疑，这才重新回到了剑桥进行研究，并且接替摩尔成为哲学教授。
